Martin Koksrud Bekkelund

I jakten på båndbreddetjuver, spammere og annet pakk benytter jeg noen svært enkle teknikker for å finne ut hvordan jeg skal bli kvitt uønskede gjester, uten at jeg skal stoppe reelle besøkende eller søkemotorer.

Målet er svært enkelt: å forhindre uønskede kommentarer med reklame for ymse slibrige online-tjenester (casino, poker, etc.), samtidig som de samme spammerne ikke skal stjele båndbredde i forsøket på å legge igjen de omtalte kommentarene.

I tillegg ønsker jeg å stanse såkalte referer-spammere, det vil si spammere som forfalsker sin referer-informasjon (det vil si hvilket nettsted den besøkende kom fra) som legges igjen i webtjenerens loggfiler. Håpet til denne typen spammere er at loggene er fritt tilgjengelig for blant annet søkemotorer, slik at de får bedre rangering hos disse.

Ordfilter

Først og fremst benytter jeg et ordfilter for å filtrere ut alle uønskede ord som skitne spammere måtte legge igjen i webloggen. Listen er imidlertid den siste forsvarslinjen, og bør brukes som et supplement til utestengelsen. (Se avsnittet “Utestengelse” lenger ned i artikkelen.)

Ordfilteret jeg benytter er en del av standardfunksjonaliteten i WordPress, og kan beskues på spam-siden min.

Logger

Jeg er flittig leser av loggene fra webtjeneren min, for flere formål. Ett av målene er å se hvilke agenter som besøker meg, hvor ofte de er innom og ikke minst hvor mye båndbredde de bruker. Det hender rett som det er at jeg finner uidentifiserte agenter i loggen, hvor båndbreddebruken er svært høy. Her gjør jeg en manuell vurdering av hvorvidt agenten skal få videre tilgang, eller hvorvidt den skal utestenges. I noen få tilfeller har jeg kontaktet agentens eier for ytterligere informasjon om agentens funksjon og hensikt.

Sporing

Sporing av en agent gjøres mot en IP-adresse og er svært enkelt, enten du benytter for eksempel Linux eller Windows. Du starter et kommandovindu / konsoll og skriver henholdsvis:

1. traceroute 127.0.0.1

for Linux, og:

1. tracert 127.0.0.1

for Windows.

I kommandovinduet vil du se enten IP-adressen eller vertsnavnet dersom reverse lookup er tilgjengelig. Basert på denne informasjonen kan du gjøre deg opp en viss mening om hvorvidt agenten bør utestenges eller ikke, for eksempel dersom agenten besøker deg via en åpen proxy-tjener.

Utestengelse

På en Apache webtjener stenger du ute uønskede besøkende med .htaccess. Hensikten er todelt. For det første sperrer du selvfølgelig ute eventuelle spammere som måtte legge igjen skitne meldinger der de kan komme til. For det andre blir de forhindret i å stjele kostbar båndbredde fra domenet ditt, ved at du sperrer de ute før de i det hele tatt slipper inn. Som en bonus får spammerne ikke lagt igjen sin referer-informasjon i webtjenerens loggfiler.

“robots.txt”

Vil du gå litt mer sofistikert til verks finnes det en fil som heter “robots.txt“. Med “robots.txt” kan du gi instruksjoner til agenter som besøker ditt domene, for eksempel til hva som skal indekseres av søkemotorroboter, etc. Det er verdt å merke seg at useriøse agenter ikke hensyntar “robots.txt”.

Tips

Har du andre tips som er nyttige i denne sammenheng? Legg igjen en kommentar! :-)

Det er mulig å forfalske informasjon du mottar, som for eksempel agentnavnet. Du bør derfor se all tilgjengelig informasjon under ett når du vurderer utestengelse!

WWW