# die Namen der einzelnen Robots entnimmt man am besten (nach einiger Zeit) 
# dem Logfile des Servers

# das ansprechen eines bestimmtem Bots erfolgt mit "User-agent:....."
# das ausschließen von bestimmten Dateien erfolgt mit "Disallow: /verzeichnis"
# will man das komplette Web für Robots sperren gaht das mit "Disallow: /"

nach dem auswerten des Logfiles kann man die folgenden Abschnitte ergänzen

# alle Robots

User-agent: *
Disallow: /system


# [Seiten-speichern] fuer den IE abschalten
User-Agent:MSIECrawler
Disallow: /

# emailsammler draussen bleiben
# User-Agent: EmailCollector
# Disallow: /