# Massendownloader vom CGI Verzeichnis fernhalten User-agent: wget User-agent: webzip User-agent: webmirror User-agent: webcopy Disallow: /cgi-bin/ # robots.txt fuer http://www.phosylab.de/ User-agent: * Disallow: /temp/ # Die Dateien sind sehr kurzlebig Disallow: /logfiles/ # Die ändern sich jeden Tag Disallow: /bilder/ # Bilder nicht downloaden Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren # robots.txt fuer http://www.phosylab.com/ User-agent: * Disallow: /temp/ # Die Dateien sind sehr kurzlebig Disallow: /logfiles/ # Die ändern sich jeden Tag Disallow: /bilder/ # Bilder nicht downloaden Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren # robots.txt fuer http://www.phosylab.net/ User-agent: * Disallow: /temp/ # Die Dateien sind sehr kurzlebig Disallow: /logfiles/ # Die ändern sich jeden Tag Disallow: /bilder/ # Bilder nicht downloaden Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren # robots.txt fuer http://www.phosylab.fr/ User-agent: * Disallow: /temp/ # Die Dateien sind sehr kurzlebig Disallow: /logfiles/ # Die ändern sich jeden Tag Disallow: /bilder/ # Bilder nicht downloaden Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren User-agent: Die Blinde Kuh Disallow: / User-agent: Eule-Robot Disallow: /