#escludo le cartelle private ai robots e spider
User-Agent: *
Disallow: /private/
Disallow: /cgi-bin/
#escludo il robot che cerca indirizzi email x spam
User-Agent: EmailCollector
Disallow: /
#escludo il browser offline Teleport che impegna molto il server
User-Agent: Teleport
Disallow: /