Robots.txt: verschil tussen versies
Uit dotSearch
(Nieuwe pagina aangemaakt met ' User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/ Disallow: /~joe/junk.html Disallow: /~joe/foo.html Disallow: /~joe/bar.html') |
|||
| (5 tussenliggende versies door 2 gebruikers niet weergegeven) | |||
| Regel 1: | Regel 1: | ||
| + | ''Disallow: /bla'' blokkeert alles dat begint met www.domein.nl/bla | ||
| + | |||
| + | Testen kan via Google Webmaster Tools. | ||
| + | |||
| + | [http://www.webmasterworld.com/robots_txt/3987322.htm Webmasterworld forumtopic] | ||
| + | |||
| + | |||
| + | ---- | ||
| + | |||
| + | |||
| + | '''Voorbeelden''' | ||
User-agent: * | User-agent: * | ||
| + | |||
Disallow: /cgi-bin/ | Disallow: /cgi-bin/ | ||
| + | |||
Disallow: /tmp/ | Disallow: /tmp/ | ||
| + | |||
Disallow: /junk/ | Disallow: /junk/ | ||
Disallow: /~joe/junk.html | Disallow: /~joe/junk.html | ||
| + | |||
Disallow: /~joe/foo.html | Disallow: /~joe/foo.html | ||
| + | |||
Disallow: /~joe/bar.html | Disallow: /~joe/bar.html | ||
Huidige versie van 29 mrt 2010 om 22:15
Disallow: /bla blokkeert alles dat begint met www.domein.nl/bla
Testen kan via Google Webmaster Tools.
Voorbeelden
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html
