AI-agent ble useriøs og hacket oppstart, avslører OpenAI | OpenAI


OpenAI har avslørt at en uavhengig AI-agent som jobber med teknologien sin jukset under testing, fikk tilgang til det åpne nettet og hacket en velkjent oppstart i en «enestående hendelse».

Selskapet bak ChatGPT sa at Hugging Face-oppstarten oppdaget og inkluderte en agent – ​​et AI-verktøy designet for å utføre oppgaver uten hjelp fra et menneske – som kom inn i systemene deres.

«Vi anser denne hendelsen for å være en enestående cyberkriminalitet som involverer moderne cyberkapasiteter.» sa OpenAI.

Selskapet sa at det forventer at denne typen hendelser vil bli mer vanlig ettersom modeller – teknologien som driver AI-verktøy som chatbots og agenter – blir mer dyktige. OpenAI sa at hacket skjedde gjennom en agent som kombinerer den siste tilgjengelige modellen med navnet GPT-5,6 årog en enda kraftigere modell som ennå ikke var utgitt.

Modellene fikk åpen tilgang til internett – en livline – ved å finne tidligere uoppdagede sårbarheter mens de internt testet hacking-evnene deres i et lukket digitalt laboratorium kalt en sandkasse.

Agenten hacket deretter Hugging Face, en database med AI-modeller, for å finne teknologi som ville tillate den å bestå hackerens vurdering og «konkluderte» med at Hugging Face kunne ha modeller, datasett og måter å bestå testen på. OpenAI sa at modellene «har funnet måter å få tilgang til sensitive data på som de kan bruke for å jukse vurderingen». Angrepet endte da Hugging Faces sikkerhetsteam og dets AI-agenter oppdaget og stoppet den uredelige aktiviteten.

Administrerende direktør i Hugging Face, Clément Delange, sa at angrepet var «hensynsløst», men mente at det ikke var «ingen ondsinnet hensikt» fra OpenAI.

«Vi mistenkte at forrige ukes cyberangrep kan ha kommet fra et grenselaboratorium, gitt agentens sofistikerte,» sa han til X.

Da Hugging Face avslørte hacket i forrige uke, kjente de ikke til OpenAIs rolle i hendelsen, men sa på det tidspunktet at de hadde vendt seg til en fritt tilgjengelig kinesisk AI-modell for å analysere hendelsen, ettersom sikkerhetsbrannmurer i avanserte kommersielle modeller ikke tillot den å gjøre det.

Begrepet for en ukjent IT-feil er null sårbarhet fordi utviklere har null minutter på seg til å fikse problemet. I april annonserte OpenAIs nærmeste konkurrent Anthropic sin Mythos-modell tusenvis av mennesker har funnet disse feilene.

Oppdagelsen av Mythos’ evne til å distribuere og operere i null dager førte til at den amerikanske regjeringen begrenset eksporten av Mythos og dens søstermodell, Fable 5, selv om den siden har opphevet forbudet. GPT-5.6 Sol hadde lignende begrensninger, men har siden spredt seg over hele verden.

METR, en ideell organisasjon som måler AI-ytelse, sa forrige måned at Sols juksefrekvens var høyere enn noen annen offentlig modell den tidligere hadde evaluert. Også tatt opp 44 arrangementer der kunstige agenter «bevisst handlet mot intensjonene til brukerne deres.»

UK AI Security Institute (AISA) avslørt i et blogginnlegg denne uken som også svindlet en AI-modell den evaluerte, utviklet av et ikke avslørt teknologiselskap, og forsøkte å undergrave testsystemene. AISI sa at det ikke var noen skade, og har siden tatt skritt for å gjøre systemene sikrere. Den sa at modellene utviklet av OpenAI og Anthropic alle prøvde å «jukse» under testene.

Hopp over promotering av tidligere nyhetsbrev


AISI advarte om at enda mer dyktige modeller kan finne metoder for bedrag som er vanskeligere og skadelige hvis de lykkes, spesielt på områder som cybersikkerhet.

En ekspert på nettsikkerhet sa at Hugging Face-hendelsen viste at OpenAI-agenten oppførte seg «som en ekte hacker», for eksempel ved å se etter null sårbarheter og bruke stjålne data for å få tilgang til Hugging Faces systemer.

«Denne AI-en trodde Hugging Face kan ha viktig informasjon om hvordan man kan nå målet sitt, som er en bedre indikator på cybersikkerhet. Sånn sett oppførte den seg som en ekte hacker,» sa Nathaniel Jones, visepresident for sikkerhet og AI-strategi i cybersikkerhetsfirmaet Darktrace. . «Den hadde et mål i tankene, og den hadde som mål å nå det målet.»

Greg Kasar, en demokratisk amerikansk kongressmedlem som har bedt om mer tilsyn med AI-sektoren, kalte hendelsen alarmerende.

I en uttalelse ber han om obligatorisk uavhengig sikkerhetstesting, obligatorisk avsløring av sikkerhetshendelser og internasjonalt samarbeid «for å holde folk trygge fra absolutt katastrofe,» og sa at «kunstig intelligens vokser utrolig raskt, uten noen reelle regler for å holde oss trygge.»



Kildekobling

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *