Martin Koksrud Bekkelund

Martin Koksrud Bekkelund

Teknologi • Samfunn • Politikk

Søkemotorene stjeler båndbredden min

18.12.06

I løpet av de siste månedene har jeg lagt merke til stadig nye tilskudd av spidere som besøker bekkelund.net. Dette er i seg selv hyggelig, og i utgangspunktet er dette positivt.

Derimot ser jeg av statistikkene at de største båndbreddetjuvene er nettopp disse spiderne. Enkelte av dem er heller ikke flinke til å identifisere seg selv, hvilket gjør det vanskelig å ta de seriøst. Imidlertid er det mange som identifiserer seg, hvilket gjør det greit å få en oversikt over hvilke spidere som besøker en mest. Oversikten er imidlertid litt overraskende, for enkelte av søkemotorene er ekstremt grådige i sin båndbreddebruk. Her er noen tanker om novembertallene på bekkelund.net:

  • Schibsted-spiderne står for 17,98 % av den totale båndbreddebruken, med over en halv gigabyte båndbredde.
  • Bloglines.com er neste spider på listen, og bruker 3,18 %.
  • Googlebot og MSNbot bruker kun en drøy prosent hver.
  • Indekseringen av bekkelund.net ser tilsynelatende like god ut i både Sesam, Google og MSN. Er det noen spidere som ikke sjekker for 304, kanskje?

Dersom du bruker robots.txt til å ekskludere agenter og spidere fra ditt domene, setter jeg stor pris på noen linjer om hvilke agenter du sperrer ute, og hvorfor.

Martin skriver regelmessig om hvordan teknologi, samfunn og politikk påvirker hverandre. Legg igjen din e-postadresse og få nye artikler via e-post:

Flere artikler

Enda flere artikler? Besøk arkivet.

Om Martin

Martin Koksrud Bekkelund

Dette er Martin Koksrud Bekkelund sitt private nettsted, hvor han skriver om samspillet mellom teknologi, samfunn og politikk. Martin arbeider til daglig som direktør for produkt- og forretningsutvikling i et av Norges største selskaper. Les mer...

 

Facebook Twitter Instagram LinkedIn GitHub SlideShare Martin Koksrud Bekkelunds RSS-kanal

© 1995-2016 Martin Koksrud Bekkelund
OpphavsrettRSS og abonnementKontakt