Martin Koksrud Bekkelund

I løpet av de siste månedene har jeg lagt merke til stadig nye tilskudd av spidere som besøker bekkelund.net. Dette er i seg selv hyggelig, og i utgangspunktet er dette positivt.

Derimot ser jeg av statistikkene at de største båndbreddetjuvene er nettopp disse spiderne. Enkelte av dem er heller ikke flinke til å identifisere seg selv, hvilket gjør det vanskelig å ta de seriøst. Imidlertid er det mange som identifiserer seg, hvilket gjør det greit å få en oversikt over hvilke spidere som besøker en mest. Oversikten er imidlertid litt overraskende, for enkelte av søkemotorene er ekstremt grådige i sin båndbreddebruk. Her er noen tanker om novembertallene på bekkelund.net:

• Schibsted-spiderne står for 17,98 % av den totale båndbreddebruken, med over en halv gigabyte båndbredde.
• Bloglines.com er neste spider på listen, og bruker 3,18 %.
• Googlebot og MSNbot bruker kun en drøy prosent hver.
• Indekseringen av bekkelund.net ser tilsynelatende like god ut i både Sesam, Google og MSN. Er det noen spidere som ikke sjekker for 304, kanskje?

Dersom du bruker robots.txt til å ekskludere agenter og spidere fra ditt domene, setter jeg stor pris på noen linjer om hvilke agenter du sperrer ute, og hvorfor.