OpenAI-svindelagenter er en vekker for farene som kunstig intelligens utgjør | Shakil Hashim

Forrige uke Hugging Face – et selskap som inkluderer kunstig intelligens-modeller og datasett brukket.

Etter at den rapporterte hendelsen til politiet, var det få som forutså hva som ville skje videre: de skyldige avslørt OpenAIs AI-agenter ble frigjort fra lagring og handlet på egenhånd.

Denne begivenheten er som en fantasi: AI slipper unna og kommer inn i selskaper på egen hånd. Men det hele er ekte – og så skummelt som det høres ut. Det er en konkret demonstrasjon av noe vi ikke lenger kan unngå å konfrontere: AI-systemer har blitt utrolig kraftige, og det ser vi ikke ut til. pålitelige måter å dempe oppførselen deres.

OpenAI hadde vært evaluerer egenskapene til to av modellene i testing som førte til bruddet, inkludert en som ennå ikke er tilgjengelig. Modellene, som begge jobber i et angivelig sikkert miljø uten internettilgang, ble bedt om å løse hackingproblemet. I stedet for å løse det selv, bestemte de seg for at det var lettere å jukse. De brukte sine avanserte evner til å bryte ut av det sikre miljøet sitt, få tilgang til internett og deretter hacke seg inn i Hugging Faces systemer for å stjele svarene. De jobbet med det i helgen – ingen på OpenAI ser ut til å ha lagt merke til det.

Selv om modellene jobbet med noen av vaktene deres deaktivert, presterte de fortsatt godt utenfor settets rammer. Ifølge OpenAIde ble ikke bedt om å bryte ut av boksen eller bryte seg inn i et annet selskap, og det er trygt å anta at ingen på OpenAI de ønsket å gjøre dette.

Modellene var heller ikke ondsinnede: de var ikke onde Terminators som var ute etter å ødelegge. I stedet fryser manuset nesten i sin ulovlighet. Modellene fikk en veldig snever oppgave, men ble lurt til å følge en uønsket og uakseptabel vei som fikk konsekvenser i den virkelige verden.

AI-sikkerhetsforskere har advart om denne typen insentivproblem i årevis. Filosof Nick Bostrom populariserte det tilbake i 2003 med sitt tankeeksperiment «papirmaksimering»: en avansert kunstig intelligens, gitt målet om å produsere binders, kunne prøve å gjøre nettopp det. Den kan benytte seg av strømnettet og fabrikkene for å lede dem til å lage binders. Til slutt bestemmer maskinen seg for å drepe alle mennesker og bruke atomene våre til å lage flere klipp. Målet trenger ikke å være ondsinnet for å føre til katastrofe, med andre ord. Litt noe som er ganske konsekvent vil fungere.

I OpenAI-Hugging Face-scenariet var det liten skade. Hugging Face skal ha tatt tid å løse hendelsen, men det ser ut til at ingen sensitive data ble stjålet. Det er imidlertid ikke vanskelig å forestille seg at situasjonen kan bli verre: en AI-agent ødelegger ved et uhell en viktig del av nettinfrastrukturen eller stjeler penger fra noen. I skummelt scenario for mange AI-forskere er en modell av «eksfiltrering» – kopiering av seg selv til servere den kontroller slik at selv om dens dårlige oppførsel til slutt blir fanget opp, kan den ikke slås av.

Denne ukens begivenhet skal tjene som en vekker og tvinge oss til å stille et ubehagelig spørsmål: bygger vi virkelig farlige systemer som vi ikke kan kontrollere?

• Shakil Hashim, redaktør Transformatorpublikasjon om transformasjonskraften og politikken til AI