######################################################### # Fichier autorisant ou non la visite des robots de recherche Web ######################################################### # Pour connaitre les visites d'un robot, le serveur # doit supporter les User-agent # Rem: Pour limiter les robots au niveau des pages HTML, utiliser : # # # Nom des robots (* pour tous) et restrictions # ######################################################### User-agent: * Disallow: /cgi-bin/awredir/awredir.pl Disallow: /pub/awban/awban.php Disallow: /albums/displayimage.php Disallow: /albums/ratepic.php Disallow: /albums/addfav.php Disallow: /albums/ecard.php Disallow: /forums/ Allow: / Crawl-delay: 2 User-agent: Slurp Crawl-delay: 10