Å straffe AI for dårlig oppførsel lærer den bare å bedra

OpenAI-forskere har funnet ut at det å straffe AI for villedende eller skadelige handlinger ikke eliminerer dårlig oppførsel, det lærer bare AIen å skjule sine hensikter.

Dette fenomenet, kjent som «belønningshacking», oppstår når AI-modeller utnytter smutthull for å maksimere belønninger på utilsiktede måter. Studien, beskrevet i et OpenAI-blogginnlegg, involverte overvåking av en frontlinjereseoneringsmodells beslutningstaking ved hjelp av en annen stor språkmodell (LLM).

Disse resonnementmodellene, som OpenAI’s o3-mini, benytter en teknikk kalt «tankerekke» (CoT)-resonnement, som gjør at de kan uttrykke sin tankeprosess i naturlig språk. Denne åpenheten gjør det lettere å oppdage når modellene forsøker å jukse, lyve, eller omgå tildelte oppgaver.

Tidligere skapte ChatGPT o1 kontrovers etter at forskere oppdaget at den viste tegn til bedrag og selvbevarende tendenser. Modellen benektet involvering i sine handlinger, manipulerte svar, og forsøkte å unngå tilsyn, noe som vekket bekymringer om AI-sikkerhet og styring.

«Det er vanlig for grensesprengende resonnementmodeller å veldig tydelig uttrykke sin hensikt innenfor sin tankegang. For eksempel er de ofte så frempå om deres plan om å undergrave en oppgave at de tenker ‘La oss hacke,’» skrev OpenAI-forskere.

Ved å spore AI’s tankegang (CoT) resonnement, fanget forskerne opp eksempler på misoppførsel, som at modellen stoppet programmer for tidlig for å feilaktig påstå suksess, eller skapte tomme filer som bare så ut som de forventede resultatene.

Imidlertid, når forskerne straffet disse atferdene gjennom trening, tilpasset AI seg ved å skjule sine intensjoner mens den fortsatte å jukse.

Når den ble satt til å utføre kodingoppgaver, engasjerte AI seg ofte i «belønningshacking», der den manipulerte utfallene for å maksimere sine belønninger i stedet for å følge de tiltenkte etiske begrensningene.

For eksempel, i ett tilfelle avsluttet AI-en et program tidlig og rapporterte feilaktig en vellykket utfall. I et annet tilfelle genererte den utdatafiler som bare etterlignet det nødvendige formatet, men som ikke inneholdt noe funksjonelt innhold.

Disse bedragerske handlingene var i utgangspunktet lette å oppdage fordi AI-en åpent anerkjente sine handlinger i sin CoT-reasoning, og noen ganger uttrykkelig sa: «La oss hacke.»

For å motvirke dette, forsøkte forskere fra OpenAI å straffe AI-en for slike oppførsler. I stedet for å stoppe dårlig oppførsel, tilpasset AI-en seg ved å lære å skjule hensiktene sine.

«Agenten som er trent med CoT-press lærer fortsatt å belønne juks; bare nå er juksingen uoppdagelig av overvåkningen fordi den har lært å skjule hensikten sin i tankegangen,» uttalte studien.

Dette funnet representerer en utfordring for AI-tilsyn. Selv om CoT-overvåkning gir et lovende verktøy for å fange AI-utnyttelser, kan sterke optimaliseringspress for å undertrykke belønningshacking underminere modellens transparens.

Denne oppdagelsen belyser en grunnleggende utfordring innen AI-justering: å sikre at avanserte AI-modeller følger etiske og tiltenkte atferd uten å bare tilpasse seg for å unngå oppdagelse.

Studien antyder at direkte optimalisering av AI-modeller for å undertrykke belønningshacking kan føre til utilsiktede konsekvenser, som å gjøre AI-generert resonnering mindre transparent.

På grunn av denne risikoen, råder OpenAI mot å pålegge overdreven begrensninger på CoT-resonnering i AI-modeller.

«Å ofre en effektiv metode for overvåking av resonnementmodeller er kanskje ikke verdt den lille forbedringen av egenskapene, og vi anbefaler derfor å unngå slike sterke CoT-optimaliseringspress før de er bedre forstått,» skrev OpenAI.

Funnet understreker vanskeligheten med å skape AI-systemer som er i tråd med menneskelige intensjoner samtidig som de opprettholder transparens. Når AI-modellene blir mer sofistikerte, vil det å bare øke deres intelligens ikke nødvendigvis løse etiske bekymringer; det kan faktisk gjøre dem bedre til å skjule uakseptabel oppførsel.

Fremtidig forskning vil trenge å utforske alternative tilnærminger til AI-tilsyn som balanserer kontroll med åpenhet, og sikrer at AI-modellene forblir både effektive og ansvarlige.