AI Labyrint: Cloudflares nye verktøy lurer AI-søkemotorer med falske nettsider

Cloudflare har annonsert «AI Labyrinth», et verktøy designet for å bekjempe AI-drevne nett-scrapere som trekker ut data fra nettsteder uten tillatelse.

I stedet for å blokkere disse botene direkte, leder AI Labyrinth dem inn i en endeløs labyrint av AI-genererte sider, og kaster bort deres tid og databehandlingskraft.

«Når vi oppdager uautorisert crawling, vil vi i stedet for å blokkere forespørselen, lenke til en serie med AI-genererte sider som er overbevisende nok til å lokke en crawler til å traversere dem,» forklarte Cloudflare i et blogginnlegg.

«Men selv om innholdet ser ekte ut, er det faktisk ikke innholdet på nettstedet vi beskytter, så crawleren kaster bort tid og ressurser,» la Cloudflare til.

ArsTechnica påpeker at AI-skrapere er et problem fordi de høster enorme mengder data fra nettsteder, ofte uten tillatelse, for å trene AI-modeller. Dette skaper flere problemer: det kan krenke opphavsrettigheter, ved å omgå kontroller som eiere av nettsteder bruker til å regulere tilgang.

I tillegg kan skraping føre til misbruk av sensitiv eller proprietær data. Volumet av skraping har økt dramatisk, med Cloudflare som rapporterer over 50 milliarder crawler forespørsler daglig.

Denne storskala datautvinningen tømmer nettsider for ressurser, påvirker sideytelsen og privatlivet, samtidig som det bidrar til de økende bekymringene om datautnyttelse i AI-utvikling.

Mens nettsideeiere tradisjonelt har stolt på robots.txt filen for å fortelle botene hva de kan og ikke kan få tilgang til, har mange AI selskaper – inkludert store aktører som Anthropic og Perplexity AI – blitt anklaget for å ignorere disse direktivene, som rapportert av The Verge.

Cloudflares AI Labyrint tilbyr en mer aggressiv tilnærming til å håndtere disse uønskede botene. Verktøyet fungerer som en «neste generasjons honeypot», som trekker botene dypere inn i et kunstig nett av innhold som ser ekte ut, men som til syvende og sist er ubrukelig for AI-trening.

I motsetning til tradisjonelle honeypots, som botene har lært å identifisere, lager AI Labyrint realistisk utseende, men irrelevant informasjon ved hjelp av Cloudflares Workers AI-plattform.

«Ingen ekte menneske ville gå fire lenker dypt inn i en labyrint av AI-generert tull,» bemerket Cloudflare. «Enhver besøkende som gjør det er svært sannsynlig å være en bot, så dette gir oss et helt nytt verktøy for å identifisere og fingeravtrykke dårlige botter.»

Det AI-genererte innholdet er designet for å være vitenskapelig korrekt, men urelatert til det faktiske nettstedet som blir beskyttet.

Dette sikrer at verktøyet ikke bidrar til feilinformasjon, samtidig som det forvirrer AI-skrapere. De villedende sidene er usynlige for menneskelige besøkende og påvirker ikke søkemotor rangeringer.

AI Labyrinth er tilgjengelig som en gratis, valgfri funksjon for alle Cloudflare-brukere. Nettstedsadministratorer kan aktivere det gjennom Cloudflare-dashboardet under innstillingene for Bot Management.

Selskapet beskriver dette som bare begynnelsen på AI-drevne mottiltak, med fremtidige planer om å gjøre de falske sidene enda mer villedende.

Katt-og-mus-leken mellom nettsteder og AI-skrapere fortsetter, med Cloudflare som tar en innovativ tilnærming til å beskytte online innhold. Imidlertid gjenstår det spørsmål om hvor raskt AI-selskaper vil tilpasse seg disse fellene og om denne strategien kan føre til en eskalering i kampen om webdata.