Webskærmskrabe: Nyttige tip fra Semalt

I dag kan data blive dit vigtigste aktiv. Som sådan er det aldrig en god ide at lade det glide i dine konkurrenters hænder. Nogle gange kan det dog være udfordrende at forhindre dette på grund af skrabning af skærmen. Dette er en teknik, der i årevis er blevet brugt til at udtrække data fra websider.

Denne metode udgør to væsentlige problemer for et firma. Først og fremmest kan dataene bruges til at få en fordel i forhold til en virksomhed, måske ved at underbudte priser samt at få information om produkter. Hvis det gøres vedvarende, kan teknikken også nedbringe ydelsen på et websted.

Generelt er skrabscrapning et koncept, der blev skabt af tidlige terminalemuleringsprogrammer for et par årtier siden. Det er en programmatisk teknik, der uddrager information fra skærme, der primært er designet til visning af mennesker. Programmet foregiver at være et menneske og læser dataene, indsamler værdifuld information og behandler dem til opbevaring.

Teknikken har udviklet sig markant gennem årene, især med opfindelsen af webcrawlere. Det udviklede sig yderligere med udviklingen af skærmskraberning via e-retail, for eksempel websteder med prissammenligning. Disse websteder anvender programmer, der med jævne mellemrum besøger populær e-retail for at få de seneste priser såvel som tilgængelighedsoplysninger for et givet produkt eller tjeneste. Disse data gemmes derefter i en database og bruges til at give sammenlignelige anmeldelser af e-detaillandskabet.

Konkurrencedygtig skærmskrabning har en række negative virkninger på et virksomheds IT-systemer, idet det blot er et andet eksempel på uønsket trafik. Nylige undersøgelser har vist, at mindst 61% af al trafik genereres af bots. Disse bots forbruger vitale ressourcer såvel som båndbredde beregnet til ægte webbrugere, hvilket kan resultere i en stigning i latenstid for virkelige kunder.

Skrabning af skærme har foregået i lang tid. Imidlertid er det først for nylig, at ofrene for denne opførsel begynder at reagere. Nogle har hævdet urimelig forretningspraksis og krænkelse af ophavsret, mens virksomhederne, der laver skrot, i modsætning hertil forsvarer sig ved at hævde informationsfrihed.

En masse webstedsejere har tyet til at skrive brugspolitikker på deres websider, som forbyder aggressiv skrabning. Desværre kan de ikke håndhæve disse politikker, og det ser derfor ikke ud til, at problemet snart forsvinder.

For mange år siden introducerede eBay et API, der giver gode skrabere adgang til dine data. Det forhindrer imidlertid ikke den ondsindede høstning af information, der skal bruges til konkurrencefordel. Det eneste virkelige forsvar kan opnås ved at bruge teknologi, der kan blokere ikke-menneskelige besøgende på dit websted. Dette gør det muligt for de virkelige brugere at få adgang til dit websted, mens de blokerer crawlerne for at forårsage skade.

Andre effektive måder, hvorpå man kan bekæmpe scrapning af skærme, er ved hjælp af teknikker såsom IP-omdømmeintelligens, forfalsket IP-kildedetektion, anmodning om responsadfærdsanalyse, realtidsbedømmelse af trusselsniveau og håndhævelse af geografisk placering.