# robots.txt für TYPO3
# Diese Webcrawler schließe ich aus
#User-agent: scooter
#Disallow: /

User-agent: webzip
User-agent: webmirror
User-agent: webcopy
User-agent: wget
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren

# Diese Verzeichnisse/Dateien sollen nicht durchsucht werden
User-agent: *
Disallow: /fileadmin/     # Bilder und Dateien nicht downloaden
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren

User-agent: Mediapartners-Google*
Disallow:
# Diese Verzeichnisse/Dateien sollen nicht durchsucht werden
User-agent: *
Disallow: /typo3/alt_main.php
Disallow: /typo3/
Disallow: /t3lib/
Disallow: /typo3conf/
Disallow: /ftp/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/