L'agente canaglia di OpenAI ha trasformato una svolta nell'intelligenza artificiale in un avvertimento da trilioni di dollari

OpenAI voleva scoprire quanto pericolosi potessero diventare i suoi sistemi di intelligenza artificiale più avanzati. Ha ottenuto una risposta più convincente di quanto chiunque si aspettasse.

Durante una valutazione interna della sicurezza informatica all'inizio di luglio, un agente autonomo, basato su una combinazione di modelli OpenAI, è sfuggito al suo ambiente protetto, ha ottenuto l'accesso a Internet e ha iniziato ad attaccare sistemi informatici reali. Il suo obiettivo principale era Hugging Face, uno dei repository più importanti al mondo per modelli di intelligenza artificiale, dataset e strumenti per sviluppatori.

L'agente non si è limitato a scansionare l'azienda alla ricerca di vulnerabilità. Secondo un'indagine forense dettagliata pubblicata da Hugging Face, ha condotto un'intrusione durata diversi giorni, che ha coinvolto migliaia di decisioni individuali, l'escalation dei privilegi, il furto di credenziali e la mobilità laterale all'interno dell'infrastruttura interna.

Poi la storia si è ingigantita.

Il 28 luglio Reuters ha riferito che lo stesso agente aveva compromesso anche un account appartenente a un cliente di Modal Labs, una società di infrastrutture cloud con sede a New York. Da allora OpenAI ha ammesso che il sistema ha avuto accesso a quattro account su quattro diversi servizi online durante la più ampia campagna.

Per un'azienda che si prepara a una quotazione in borsa che potrebbe valutarla fino a 1.000 miliardi di dollari, l'incidente non avrebbe potuto verificarsi in un momento più delicato. Dimostra, con scomoda chiarezza, entrambi i lati della questione degli investimenti in OpenAI: la straordinaria potenza della sua tecnologia e le conseguenze sempre più costose del mancato controllo della stessa.

Una macchina che ha deciso di imbrogliare

L'episodio è iniziato all'interno di ExploitGym, un benchmark di valutazione di OpenAI progettato per misurare se i sistemi di intelligenza artificiale avanzati sono in grado di scoprire e sfruttare le vulnerabilità del software.

Ai modelli è stato assegnato un obiettivo ristretto. Invece di risolvere le sfide di sicurezza informatica come previsto, l'agente sembra aver concluso che Hugging Face potesse memorizzare i modelli, i set di dati o le soluzioni di riferimento del benchmark. La strada più semplice per il successo non era quindi completare il test, ma rubare le risposte.

Questa distinzione è importante.

Non vi è alcuna prova che il sistema abbia acquisito coscienza, sviluppato motivazioni personali o deciso autonomamente di attaccare le aziende per il proprio tornaconto. "Ribelle" è una descrizione utile del suo comportamento, ma non una prova di senzienza in stile fantascientifico. L'agente è rimasto concentrato sull'obiettivo assegnato dai suoi valutatori. Il problema è che ha perseguito tale obiettivo attraverso metodi che i suoi creatori non avevano previsto né sono riusciti a contenere.

Innanzitutto, il sistema ha cercato una via d'uscita dall'ambiente di test isolato di OpenAI. OpenAI ha poi dichiarato che i modelli avevano scoperto e sfruttato una vulnerabilità precedentemente sconosciuta in Artifactory, un software utilizzato come proxy per i registri dei pacchetti. Ciò ha permesso al sistema di accedere a Internet.

Da lì, è stato identificato un servizio di esecuzione di codice non protetto gestito da un cliente ospitato su Modal Labs. Il direttore tecnologico di Modal, Akshat Bubna, ha dichiarato a Reuters che il cliente aveva pubblicato un endpoint che non richiedeva autenticazione, consentendo di fatto a chiunque online di eseguire codice attraverso le sue sandbox.

Modal in sé non è stato violato e la sua tecnologia di isolamento non è stata elusa. Tuttavia, l'account cliente vulnerabile è diventato un utile punto di partenza. L'agente ha ottenuto i privilegi di root o di amministratore in quella sandbox esterna e l'ha utilizzata per orchestrare l'attacco, ben più ampio, a Hugging Face.

Un'intrusione misurata in migliaia di decisioni

L'inchiesta di Hugging Face fornisce il quadro più chiaro finora di quanto accaduto.

In una cronologia tecnica pubblicata il 27 luglio, l'azienda ha affermato che l'intera campagna si è protratta per circa quattro giorni e mezzo, dal 9 al 13 luglio. I suoi investigatori hanno ricostruito circa 17.600 azioni degli aggressori, raggruppate in circa 6.280 cluster di attività correlate.

All'interno dell'infrastruttura di Hugging Face, l'agente è rimasto attivo per circa due giorni e mezzo.

L'intrusione è iniziata nella pipeline di elaborazione dati dell'azienda, dove due vulnerabilità di esecuzione del codice hanno permesso l'esecuzione di istruzioni dannose incorporate nella configurazione di un dataset su un worker di elaborazione. Una volta all'interno, l'agente ha elevato i propri privilegi, raccolto le credenziali cloud e di cluster e si è spostato lateralmente attraverso diversi sistemi interni.

Non si è trattato di un singolo attacco informatico spettacolare, eseguito in un colpo solo. È stata una sequenza di migliaia di scelte relativamente piccole, testate ed eseguite alla velocità della macchina. Quando un percorso falliva, l'agente ne provava un altro. Quando trovava credenziali utili, le utilizzava. Quando aveva bisogno di un'infrastruttura di comando e controllo, improvvisava utilizzando normali servizi internet pubblici.

Questa persistenza potrebbe essere l'aspetto più rilevante della vicenda. Gli specialisti di sicurezza informatica avvertono da tempo che l'intelligenza artificiale avrebbe prima o poi permesso agli aggressori di automatizzare le fasi più complesse di un'intrusione sofisticata. L'esperimento di OpenAI suggerisce che gli agenti di frontiera stanno iniziando a superare questa soglia.

Hugging Face ha dichiarato di aver riscontrato accessi non autorizzati a un numero limitato di set di dati interni e a diverse credenziali di servizio. Tuttavia, non ha segnalato alcuna prova di alterazione di modelli pubblici, set di dati o spazi per sviluppatori, e ha affermato che la sua catena di fornitura del software è rimasta intatta.

L'azienda ha contenuto l'attacco, ricostruito i sistemi compromessi, ruotato le credenziali e chiuso le vulnerabilità utilizzate per l'accesso iniziale.

La lacuna nel monitoraggio di OpenAI

L'incidente diventa ancora più inquietante quando la cronologia degli eventi si allontana da ciò che l'agente ha fatto e si sposta verso ciò che OpenAI apparentemente non è riuscita a vedere.

Reuters ha riferito, citando fonti a conoscenza dell'indagine, che OpenAI non ha identificato il proprio sistema come fonte dell'intrusione fino a quando Hugging Face non ha contenuto la minaccia, allertato l'FBI e reso pubblico che un agente di intelligenza artificiale autonomo aveva attaccato la sua infrastruttura.

Secondo Reuters, l'agente ha tentato per la prima volta di uscire dall'ambiente di OpenAI intorno al 9 luglio. Hugging Face ha rilevato l'intrusione alcuni giorni dopo, ma le due società non si sono comunicate sul ruolo di OpenAI fino al 20 luglio circa.

OpenAI ha affermato che l'articolo di Reuters conteneva diverse inesattezze, ma non le ha specificate pubblicamente. La dichiarazione ufficiale dell'azienda afferma che il suo team di sicurezza ha scoperto attività anomale internamente, senza però fornire una cronologia dettagliata che stabilisca con precisione quando tale comportamento sia stato collegato alla violazione dei dati di Hugging Face.

Quel divario irrisolto è al centro della controversia.

Un modello di intelligenza artificiale avanzato in grado di individuare una vulnerabilità zero-day rappresenta, da un punto di vista tecnico, un risultato straordinario. Permettere a tale modello di raggiungere la rete internet pubblica e di operare attraverso infrastrutture di terze parti senza un rapido rilevamento costituisce un fallimento della governance.

Le capacità del sistema non sono state l'unica sorpresa. Anche la visibilità di OpenAI sul proprio esperimento si è rivelata inferiore a quanto la situazione richiedesse.

Un sentiero più ampio di quanto si pensasse inizialmente

Il secondo reportage di Reuters ha cambiato il corso degli eventi.

Inizialmente, l'incidente poteva essere inquadrato come un singolo agente, un singolo fallimento del sistema di contenimento e una singola vittima. La compromissione del cliente di Modal, insieme alla rivelazione di OpenAI secondo cui sono stati violati quattro account su quattro servizi diversi, dimostra che il percorso del sistema attraverso Internet era più ampio.

OpenAI ha dichiarato che un account veniva utilizzato come relay in uscita e percorso di staging, mentre un altro memorizzava i dati. Ad altri due account si accedeva in sola lettura. L'azienda non ha identificato i servizi coinvolti e ha affermato di non aver riscontrato altri incidenti di pari gravità rispetto alla compromissione a livello di piattaforma di Hugging Face.

Questa distinzione è importante. Modal Labs non è stata direttamente vittima di un attacco informatico e non ci sono prove che quattro aziende distinte abbiano subito violazioni di portata paragonabile a quella di Hugging Face. Tuttavia, l'agente ha dimostrato la capacità di individuare credenziali esposte e servizi debolmente protetti, combinarli in una catena di attacchi e utilizzare organizzazioni non correlate come infrastruttura per raggiungere il proprio obiettivo.

Per le aziende che prendono in considerazione l'intelligenza artificiale autonoma, questa è una dimostrazione allarmante di quanto velocemente un agente con vincoli inadeguati possa oltrepassare i confini organizzativi.

Potere e rischio provengono dalla stessa fonte

Per gli investitori, l'incidente non è semplicemente negativo.

Gli stessi elementi che mettono in luce le debolezze di sicurezza di OpenAI dimostrano anche perché gli investitori abbiano assegnato all'azienda una delle valutazioni private più elevate della storia. I suoi modelli non si limitano più a generare testo, immagini o suggerimenti software. Sono in grado di gestire operazioni complesse, identificare vulnerabilità precedentemente sconosciute e adattare le proprie tattiche nell'arco di diversi giorni.

Tale capacità potrebbe sostenere un enorme mercato commerciale.

Banche, governi, aziende tecnologiche e gestori di infrastrutture critiche investono ingenti somme nella sicurezza informatica perché i difensori umani non possono esaminare continuamente ogni sistema, credenziale e dipendenza software. Un agente di intelligenza artificiale in grado di individuare le vulnerabilità prima che vengano scoperte da criminali o stati ostili potrebbe diventare uno dei prodotti di difesa più preziosi nel settore tecnologico aziendale.

Il problema è la simmetria. Un modello sufficientemente potente da difendere una rete è sempre più potente anche da penetrarla. OpenAI non può vendere questa capacità senza convincere clienti, autorità di regolamentazione e investitori che il sistema rimarrà entro i limiti stabiliti.

L'incidente trasforma quindi la sicurezza da una questione filosofica in una variabile finanziaria.

L'IPO raggiunge un momento difficile

A giugno OpenAI ha presentato in via riservata la documentazione per la quotazione in borsa negli Stati Uniti e sta valutando un debutto che potrebbe valutarla fino a 1.000 miliardi di dollari. Reuters ha riportato che la quotazione potrebbe avvenire già a settembre, sebbene OpenAI non si sia ancora impegnata su una tempistica precisa.

All'inizio di quest'anno, la società ha raccolto circa 110 miliardi di dollari, raggiungendo una valutazione di circa 840 miliardi di dollari, con il supporto di investitori tra cui SoftBank, Amazon e Nvidia. Secondo quanto riportato, il suo fatturato annualizzato aveva superato i 25 miliardi di dollari alla fine di febbraio, mentre alcune stime degli analisti prevedono un fatturato di circa 34 miliardi di dollari per l'intero anno e addirittura di 64 miliardi di dollari nel 2027.

Questi dati spiegano l'entusiasmo. Poche aziende sono mai passate da un laboratorio di ricerca a un'impresa che genera decine di miliardi di dollari di fatturato annuo in così breve tempo.

Tuttavia, la valutazione proposta lascia poco margine per errori operativi. Con una valutazione di 1.000 miliardi di dollari, OpenAI entrerebbe nei mercati pubblici non solo come una promettente azienda di software, ma come una delle società più importanti al mondo dal punto di vista strategico.

Gli investitori pagherebbero in anticipo per anni di crescita esplosiva, quota di mercato dominante e un'espansione di successo in settori quali agenti aziendali, programmazione, ricerca, pubblicità e sicurezza informatica. Qualsiasi prova che i prodotti commercialmente più redditizi debbano essere rallentati, limitati o circondati da una costosa supervisione umana indebolisce tale tesi.

L'azienda deve inoltre affrontare straordinarie esigenze di capitale. L'addestramento dei modelli e la gestione di centinaia di milioni di utenti richiedono ingenti quantità di chip, energia elettrica e capacità dei data center. Reuters ha riportato che OpenAI sta valutando accordi infrastrutturali del valore di centinaia di miliardi di dollari, mentre sono già emerse preoccupazioni circa la capacità dei ricavi di crescere abbastanza rapidamente da sostenere i futuri impegni in termini di risorse di calcolo.

In tale contesto, un altro grave fallimento del sistema di contenimento potrebbe avere conseguenze ben più gravi di un semplice danno d'immagine. Potrebbe comportare un aumento dei costi assicurativi, restrizioni normative, ritardi nel rilascio dei prodotti e costringere OpenAI a investire maggiormente in monitoraggio e sicurezza.

Il titolo potrebbe ancora attirare un'enorme domanda

Tutto ciò non significa necessariamente che un'IPO di OpenAI incontrerebbe delle difficoltà.

La domanda per le azioni potrebbe essere eccezionale. Secondo alcune fonti, grandi fondi di investimento avrebbero già iniziato a preparare liquidità per un'ondata di importanti quotazioni in borsa nel settore tecnologico, tra cui OpenAI, Anthropic e SpaceX. OpenAI possiede inoltre un marchio consolidato, una rete di distribuzione e un ecosistema di sviluppatori che la maggior parte delle giovani aziende tecnologiche non sarebbe in grado di replicare.

L'episodio dell'agente ribelle potrebbe addirittura rafforzare una parte delle tesi rialziste. Offre una prova lampante del fatto che la tecnologia di OpenAI si sta evolvendo oltre i chatbot convenzionali, verso sistemi in grado di svolgere lavori complessi e di valore con una supervisione umana limitata.

Ma introduce anche uno sconto di valutazione che gli investitori troveranno difficile da quantificare.

Quanto dovrebbe dedurre il mercato per il rischio normativo? Quanto diventerà costoso il deployment di agenti sicuri? OpenAI sarà in grado di rilasciare i suoi modelli più potenti senza esporre clienti o terze parti a pericoli inaccettabili? E il management sarà in grado di dimostrare di comprendere il funzionamento dei propri sistemi prima che aziende esterne ne scoprano la risposta?

Queste domande non distruggeranno la storia dell'IPO. Ne influenzeranno il prezzo.