Om Martin
Martin liker
Søkemotorene stjeler båndbredden min
18.12.06 • 2 kommentarer
I løpet av de siste månedene har jeg lagt merke til stadig nye tilskudd av spidere som besøker bekkelund.net. Dette er i seg selv hyggelig, og i utgangspunktet er dette positivt.
Derimot ser jeg av statistikkene at de største båndbreddetjuvene er nettopp disse spiderne. Enkelte av dem er heller ikke flinke til å identifisere seg selv, hvilket gjør det vanskelig å ta de seriøst. Imidlertid er det mange som identifiserer seg, hvilket gjør det greit å få en oversikt over hvilke spidere som besøker en mest. Oversikten er imidlertid litt overraskende, for enkelte av søkemotorene er ekstremt grådige i sin båndbreddebruk. Her er noen tanker om novembertallene på bekkelund.net:
- Schibsted-spiderne står for 17,98 % av den totale båndbreddebruken, med over en halv gigabyte båndbredde.
- Bloglines.com er neste spider på listen, og bruker 3,18 %.
- Googlebot og MSNbot bruker kun en drøy prosent hver.
- Indekseringen av bekkelund.net ser tilsynelatende like god ut i både Sesam, Google og MSN. Er det noen spidere som ikke sjekker for 304, kanskje?
Dersom du bruker robots.txt til å ekskludere agenter og spidere fra ditt domene, setter jeg stor pris på noen linjer om hvilke agenter du sperrer ute, og hvorfor.
2 kommentarer
-
Søkemotorer er alltid velkomne. Google kommer regelmessig, som angitt i standardinnstillingene i Google Webmaster Tools, og gjør jobben oppskriftsmessig. Jeg har ikke orket å lese loggene fra webserveren, men jeg antar at Schibsted-spiderne ikke hensyntar HTTP-statuskoden 304, og det er her “problemet” ligger.
Hvis jeg har tid og ork skal jeg kontakte Sesam (som den grådigste spideren identifiserer seg som). I tillegg ser jeg en spider fra Webhuset, som ikke identifiserer seg, og som bruker mye båndbredde. Jeg sendte for en tid siden en henvendelse til Webhuset, men har ikke fått svar.
Har du synspunkter? Legg igjen en kommentar!
RSS og trackback
Med RSS kan du abonnere på nye kommentarer som postes til denne artikkelen.
Du kan legge igjen et trackback fra ditt eget nettsted ved å benytte trackback-adressen til denne artikkelen. Eventuelle tracback ser du under.
Flere artikler
- Holder de ord
- The Greatest Bits 3
- Røde kjemper
- Fremdrift
- Skydebatten
- Supertankere og robåter
- IT-realitetsorientering
- Altinn-skandalen
- Steve Jobs
- Webfonter
Enda flere artikler? Besøk arkivet.
Bekkelund.net er en blogg av Martin Bekkelund, hvor han lufter sine tanker om IT og IT-politikk. Martin arbeider til daglig som seniorrådgiver, foredragsholder og skribent i IT-bransjen, hvor han veileder bedrifter og organisasjoner i strategisk bruk av IT. Les mer...
© 1995-2012 Martin Bekkelund
Opphavsrett • RSS • Kontakt
Per-Erik Skramstad
19. desember 2006 15.28
Jeg ser i Google Webmaster Tools at man kan justere spiderens crawl speed. Ved laveste crawl speed kommer spideren sjeldnere. Dette gjelder kanskje bare Google? En annen ting er vel at du sikkert ønsker Google velkommen any time?