User-agent: *
#  nicht indexieren
Disallow: /cgi-bin/   
Disallow: /stats/  

User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy

#  nicht indexieren
Disallow: /cgi-bin/   
Disallow: /stats/