Martin Bekkelund » Søkemotorene stjeler båndbredden min

Martin Bekkelund

Meny: Hovedsiden; Om Martin; Ta kontakt; Foto; RSS

Søkemotorene stjeler båndbredden min

I løpet av de siste månedene har jeg lagt merke til stadig nye tilskudd av spidere som besøker bekkelund.net. Dette er i seg selv hyggelig, og i utgangspunktet er dette positivt.

Derimot ser jeg av statistikkene at de største båndbreddetjuvene er nettopp disse spiderne. Enkelte av dem er heller ikke flinke til å identifisere seg selv, hvilket gjør det vanskelig å ta de seriøst. Imidlertid er det mange som identifiserer seg, hvilket gjør det greit å få en oversikt over hvilke spidere som besøker en mest. Oversikten er imidlertid litt overraskende, for enkelte av søkemotorene er ekstremt grådige i sin båndbreddebruk. Her er noen tanker om novembertallene på bekkelund.net:

Schibsted-spiderne står for 17,98 % av den totale båndbreddebruken, med over en halv gigabyte båndbredde.
Bloglines.com er neste spider på listen, og bruker 3,18 %.
Googlebot og MSNbot bruker kun en drøy prosent hver.
Indekseringen av bekkelund.net ser tilsynelatende like god ut i både Sesam, Google og MSN. Er det noen spidere som ikke sjekker for 304, kanskje?

Dersom du bruker robots.txt til å ekskludere agenter og spidere fra ditt domene, setter jeg stor pris på noen linjer om hvilke agenter du sperrer ute, og hvorfor.

Dato:	Mandag 18. Desember 2006
Kategorier:	WWW
RSS:	Abonner på kommentarer til denne artikkelen eller nye artikler fra Martin
Trackback:	Du kan legge igjen trackback fra din egen side.

2 kommentarer til «Søkemotorene stjeler båndbredden min»

Per-Erik Skramstad
19. Desember 2006 klokken 15:28

Jeg ser i Google Webmaster Tools at man kan justere spiderens crawl speed. Ved laveste crawl speed kommer spideren sjeldnere. Dette gjelder kanskje bare Google? En annen ting er vel at du sikkert ønsker Google velkommen any time?

Martin
19. Desember 2006 klokken 21:09

Søkemotorer er alltid velkomne. Google kommer regelmessig, som angitt i standardinnstillingene i Google Webmaster Tools, og gjør jobben oppskriftsmessig. Jeg har ikke orket å lese loggene fra webserveren, men jeg antar at Schibsted-spiderne ikke hensyntar HTTP-statuskoden 304, og det er her “problemet” ligger.

Hvis jeg har tid og ork skal jeg kontakte Sesam (som den grådigste spideren identifiserer seg som). I tillegg ser jeg en spider fra Webhuset, som ikke identifiserer seg, og som bruker mye båndbredde. Jeg sendte for en tid siden en henvendelse til Webhuset, men har ikke fått svar.

Ett trackback / pingback til «Søkemotorene stjeler båndbredden min»

Legg igjen en kommentar

Før du poster en kommentar må du være kjent med retningslinjene for kommentarposting, samt personvernpolitikken for bekkelund.net.

Felter merket med * må fylles ut. Din e-postadresse vil ikke være synlig.

Formatering med XHTML: Du kan bruke disse elementene til formatering: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> . Tekstbaserte uttrykksikoner konverteres automatisk til bilder. Hjelp til formatering.

Martin Bekkelund er fornøyd bruker av WordPress med hjemmelaget tema.
Du kan abonnere på både artikler som Atom, RSS 2.0 eller RSS 0.92, samt kommentarer som RSS 2.0.
Denne artikkelen ble til ved hjelp av 13 kopper espresso konsumert på 0.587 minutter.

Informasjon om opphavsrett og lisensiering 1995 - 2008 Martin Bekkelund