Die slome Googlebot

[René]

Oorspronkelijk geplaatst door scribent

Bedankt Rene! Inderdaad is dit waarschijnlijk een factor die heeft meegespeeld.[...] Ik zag vanochtend in de statistieken onmiddellijk het resultaat: de googlebot heeft de hele site bezocht.

Mooi! Dat er maar veel bezoekertjes mogen komen.

Blijft de vraag waarom andere zoekmachines mijn site wel doorzochten en de googlebot niet. Een kwestie van een verschil in beleid, waarschijnlijk.

De internetstandaards (voor zover je daarover kunt spreken wat betreft robots.txt) spreken zich niet uit over dit speciale geval (wel over andere foutcodes), en elke zoekmachine doet dus wat hem goed dunkt.

Maar het gedrag van Google ligt dichter bij de beoogde standaard dan dat van andere zoekmachines. De strekking van de standaard is: geen robots.txt aanwezig betekent geen restricties, maar geen toegang tot robots.txt betekent: neem aan dat je de site niet in mag. Dit kun je min of meer afleiden uit "3.1 Access method" in de weinig-officiële Internet-Draft over robots.txt.