Robots.txt

Disallow: /bla blokkeert alles dat begint met www.domein.nl/bla

Testen kan via Google Webmaster Tools.

Webmasterworld forumtopic

---

Voorbeelden

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /junk/

Disallow: /~joe/junk.html

Disallow: /~joe/foo.html

Disallow: /~joe/bar.html