Die slome Googlebot

[scribent]

Mijn site (www.erikweijers.nl) is nu een week of tien online. Vanaf het begin heb ik er werk van gemaakt om links vanuit andere, inhoudelijk verwante sites geplaatst te krijgen. En dat is ook gelukt. Als ik nu mijn statistieken bekijk (leuk is dat!) zie ik dat er elke dag weer vijf a tien nieuwe bezoekers mijn site hebben gevonden - erg bescheiden aantallen, maar ik vind het toch hartverwarmend .

Wat me frustreert, is dat de site nog steeds niet via Google te vinden is. Andere zoekmachines als Msn en Yahoo hebben mijn site wel al uitgebreid gecrawld. De weinige bezoekers die op basis van trefwoorden/zinnen mijn site vinden, komen via die zoekmachines. Maar zoals bekend worden die zoekmachines nauwelijks gebruikt, vergeleken bij Google.

Wel is de 'Googlebot' al een keer op bezoek geweest, maar heeft zich er kennelijk met een jantje-van-leiden vanaf gemaakt. Want als ik in Google nota bene mijn eigen naam intyp, vind ik mijn eigen site nog niet eens .

Ik heb dus de indruk dat de Googlebot behoorlijk lui bezig is. Het lijkt wel of het beleid van Google is om een nieuwe site een overdreven lange tijd in de wachtkamer te plaatsen. Dat vind ik wel een beetje evil...

Ik ben benieuwd wat de ervaringen van anderen zijn en wat de nieuwste Google-gossip is...

[René]

Een zeer waarschijnlijke technische verklaring is dat jouw site een foutmelding geeft als Google netjes om robots.txt vraagt: http://www.erikweijers.nl/robots.txt geeft een pagina met "Internal Server Error". Robots.txt is een bestandje dat je op je site kunt plaatsen om zoekmachines te vertellen wat je wel en niet geïndexeerd wilt zien. Je mag dat bestandje best weglaten (dat betekent: zoekmachine, je mag hier alles indexeren), maar het is de bedoeling dat de server dan een "404 Not Found" geeft in plaats van een "500 Internal Server Error" als een zoekmachine naar dat bestandje vraagt. Hoewel deze situatie niet door internetstandaards wordt beschreven, is het aannemelijk dat Google de 500-foutmelding opvat als "ik mag deze site niet in". Een bevestiging hiervan zou zijn dat het opvragen van /robots.txt de enige bezoekjes van Googlebot zijn in de logfile van je webserver.

Verder zou je eens naar fouten in de html-codering van je site kunnen kijken, maar die zien er onschuldig uit en ik denk niet dat Google zich hierdoor laat tegenhouden.

Google heeft tegenwoordig inderdaad een langdurige wachtkamer, maar dat betreft de positie in de zoekresultaten en niet het opgenomen worden in de index.

Als je echt wilt weten wat er aan de hand is dan kun je dat bekijken met de Google Webmaster tools.

[erno@ernohannink.nl]

Goed punt René.

Verder nog interessante artikel over het zogenaamde Google Sandbox effect:

http://en.wikipedia.org/wiki/Sandbox_Effect
http://www.seomoz.org/article/sandbox-solutions

Hierbij laat ik het midden of deze theorie nu waarheid is of niet. Er wordt in SEO land veel gediscussieerd over deze theorie.
Wat wel mooi te zien is welk effect het op de bezoekersaantallen heeft als Google ineens wel ´mee doet´:
http://www.pearsonified.com/2006/10/...le_sandbox.php

[scribent]

Oorspronkelijk geplaatst door Rene

Een zeer waarschijnlijke technische verklaring is dat jouw site een foutmelding geeft als Google netjes om robots.txt vraagt:

Bedankt Rene! Inderdaad is dit waarschijnlijk een factor die heeft meegespeeld. Het had te maken met de .htaccess file. Deze is nu aangepast, zodat de Internal server error-foutmelding niet meer optreedt. Ik zag vanochtend in de statistieken onmiddellijk het resultaat: de googlebot heeft de hele site bezocht. Ik verwacht binnenkort vindbaar te zijn in de zoekresultaten...

Blijft de vraag waarom andere zoekmachines mijn site wel doorzochten en de googlebot niet. Een kwestie van een verschil in beleid, waarschijnlijk.

@Erno: inderdaad interessant, dat verhaal over het sandbox-effect. Als een heleboel webmasters het soort experimenteel onderzoek zouden doen als die jongen van Pearsonified, dan zou de magische Google-formule gereconstrueerd kunnen worden..

Overigens relativeert deze Chris Pearson in de volgende post het belang van de sandbox weer enigszins (zijn explosie van bezoekersaantallen had volgens hem ook met een nieuw cms te maken):

http://www.pearsonified.com/2006/11/..._one_month.php

[René]

Oorspronkelijk geplaatst door scribent

Bedankt Rene! Inderdaad is dit waarschijnlijk een factor die heeft meegespeeld.[...] Ik zag vanochtend in de statistieken onmiddellijk het resultaat: de googlebot heeft de hele site bezocht.

Mooi! Dat er maar veel bezoekertjes mogen komen.

Blijft de vraag waarom andere zoekmachines mijn site wel doorzochten en de googlebot niet. Een kwestie van een verschil in beleid, waarschijnlijk.

De internetstandaards (voor zover je daarover kunt spreken wat betreft robots.txt) spreken zich niet uit over dit speciale geval (wel over andere foutcodes), en elke zoekmachine doet dus wat hem goed dunkt.

Maar het gedrag van Google ligt dichter bij de beoogde standaard dan dat van andere zoekmachines. De strekking van de standaard is: geen robots.txt aanwezig betekent geen restricties, maar geen toegang tot robots.txt betekent: neem aan dat je de site niet in mag. Dit kun je min of meer afleiden uit "3.1 Access method" in de weinig-officiële Internet-Draft over robots.txt.

[scribent]

Oorspronkelijk geplaatst door Rene

Maar het gedrag van Google ligt dichter bij de beoogde standaard dan dat van andere zoekmachines.

Dan neem ik mijn suggestie, dat Google wellicht evil is, helemaal terug...

[scribent]

De Googlebot is nu lekker bezig en het is een aardige hobby om te bekijken op basis van welke trefwoorden/trefzinnen mensen bij mijn site terecht komen. Een paar grappige:

-katholieke arbeiders beweging nijmegen (een aantal van deze woorden komt voor in een artikel)

-céline beijer (mijn lerares Nederlands van de Middelbare School, die inderdaad een vermelding krijgt in een van de artikelen)

-nescio wolken (mooie zoekterm. Ik schreef een artikel over deze auteur, waarin inderdaad een citaat over een wolkenlucht staat)

-marielle de groot (hee die ken ik)

-lesbian

René, jij hebt vast ook wel een collectie van curieuze trefwoorden, of niet?