I løpet av de siste månedene har jeg lagt merke til stadig nye tilskudd av spidere som besøker bekkelund.net. Dette er i seg selv hyggelig, og i utgangspunktet er dette positivt.
Derimot ser jeg av statistikkene at de største båndbreddetjuvene er nettopp disse spiderne. Enkelte av dem er heller ikke flinke til å identifisere seg selv, hvilket gjør det vanskelig å ta de seriøst. Imidlertid er det mange som identifiserer seg, hvilket gjør det greit å få en oversikt over hvilke spidere som besøker en mest. Oversikten er imidlertid litt overraskende, for enkelte av søkemotorene er ekstremt grådige i sin båndbreddebruk. Her er noen tanker om novembertallene på bekkelund.net:
Dersom du bruker robots.txt til å ekskludere agenter og spidere fra ditt domene, setter jeg stor pris på noen linjer om hvilke agenter du sperrer ute, og hvorfor.
Enda flere artikler? Besøk arkivet.
Dette er Martin Koksrud Bekkelund sitt private nettsted, hvor han skriver om teknologiledelse og hvordan teknologi, samfunn og politikk påvirker hverandre. Martin arbeider til daglig som direktør for produkt- og forretningsutvikling i Posten Norge AS. Les mer...
© 1995-2021 Martin Koksrud Bekkelund
Opphavsrett • RSS og abonnement • Kontakt