Robots.txt: verschil tussen versies
Uit dotSearch
| Regel 4: | Regel 4: | ||
[http://www.webmasterworld.com/robots_txt/3987322.htm Webmasterworld forumtopic] | [http://www.webmasterworld.com/robots_txt/3987322.htm Webmasterworld forumtopic] | ||
| + | |||
---- | ---- | ||
| + | |||
'''Voorbeelden''' | '''Voorbeelden''' | ||
Huidige versie van 29 mrt 2010 om 22:15
Disallow: /bla blokkeert alles dat begint met www.domein.nl/bla
Testen kan via Google Webmaster Tools.
Voorbeelden
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html
