Intelligenza artificiale e trasparenza: democrazia e tecnologia

La lotta per l’adozione della tecnologia open-source nell’ottica di un bilanciamento tra intelligenza artificiale e trasparenza, è destinata a diventare sempre più accesa a seguito dello sviluppo di modelli a elevato contenuto linguistico (LLM) e dello sforzo dei professionisti, delle start-up e degli esperti di ML di spingere nella direzione opposta all’evoluzione verso modelli chiusi e proprietari.

Va altresì detto che formare un LLM di ultima generazione richiede un budget di calcolo elevato – secondo OpenAI sono stati utilizzati 10.000 GPU Nvidia per istruire ChatGPT – e competenze avanzate in ML, il che rende improbabile che la maggior parte delle organizzazioni abbia la possibilità di svilupparne uno da zero. Anzi, sempre più spesso quelle che hanno le risorse necessarie decidono di non rendere accessibile al pubblico il modello, con i relativi dati e codice sorgente, ricorrendo piuttosto alla distribuzione tramite API. Ed ecco che qui l’IA open-source dovrebbe entrare in gioco per democratizzare l’accesso alle LLM e mitigare la questione relativa a intelligenza artificiale e trasparenza. Ad esempio, due settimane fa Databricks ha annunciato l’arrivo di Dolly, un modello simile a ChatGPT, ispirato ad Alpaca, una LLM open-source rilasciata da Stanford a metà marzo. Quest’ultima, a sua volta, si era basata sui principi del modello LLaMA di Meta, lanciato alla fine di febbraio.

LLaMA ha ricevuto un’accoglienza entusiastica per le sue performance eccellenti rispetto a modelli come GPT-3, nonostante contenga dieci volte meno i suoi parametri. Meta è rinomata per essere un’azienda Big Tech particolarmente “aperta” – grazie a FAIR, il Fundamental AI Research Team fondato nel 2013 dal suo capo scienziato di IA Yann LeCun. Il modello LLaMA era disponibile su richiesta per i centri accademici e i ricercatori ma, successivamente, è stato diffuso in modo non autorizzato su 4chan, dando così ai programmatori di tutto il mondo l’opportunità di accedere per la prima volta a un LLM di livello GPT.

Nelle ultime settimane sono stati rilasciati altri modelli open-source ispirati a LLaMA, come Vicuna, una versione raffinata di LLaMA che ha raggiunto le performance di GPT-4; Koala, un modello proveniente dall’Istituto di Ricerca in Intelligenza Artificiale di Berkeley; e ColossalChat, un modello di tipo ChatGPT che fa parte del progetto Colossal-AI di UC Berkeley.

Alcuni di questi modelli open-source sono stati addirittura ottimizzati per funzionare su dispositivi con risorse minime, dal MacBook Pro al Raspberry Pi fino a un vecchio iPhone.

Intelligenza artificiale e trasparenza: radici storiche e problematiche

Da ricordare, tuttavia, che nessuno di questi LLM open-source è accessibile ancora per uso commerciale, poiché il modello LLaMA non è disponibile per tale scopo, e i termini di utilizzo di OpenAI GPT-3.5 vietano l’utilizzo del modello per sviluppare modelli di IA in competizione con OpenAI.

Una questione che affonda le proprie radici nella storia dei software NoProfit ha preso parte alla battaglia dell’IA open-source: la scorsa settimana la ONG tedesca LAION (Large-scale Artificial Intelligence Open Network) ha proposto di democratizzare la ricerca in Intelligenza Artificiale e costruire un supercomputer finanziato con risorse pubbliche, dotato di 100.000 acceleratori molto potenti, come le GPU. Questa macchina verrebbe utilizzata per creare repliche open-source di modelli di grandi dimensioni e di grande potenza come GPT-4, il più velocemente possibile.

Probabilmente sappiamo tutti cosa significa software libero, magari nella sua accezione rudimentale e meno tecnica, fatto sta che ultimamente ha preso piede una discussione più antica del software stesso: modelli AI liberamente disponibili da modificare, adattare e distribuire senza restrizioni; o protetti da copyright e a pagamento? Quali sono le implicazioni etiche e di sicurezza dell’utilizzo di questi modelli open-source o dei loro costosi omologhi?

All’inizio degli anni ’90 e dei primi anni 2000, il movimento open-source ha prodotto innovazioni iconiche come il browser Firefox di Mozilla, il server Apache e il sistema operativo Linux che è alla base del sistema operativo Android che alimenta la maggior parte degli smartphone in tutto il mondo.

Nel mondo accademico e fortemente centrato sulla ricerca della IA, l’open source ha avuto un’influenza particolarmente significativa. “La maggior parte dei progressi nell’ultimo quinquennio in AI arrivano dalla open science e dall’open source”, ha detto il CEO di Hugging Face Clement Delangue in un’intervista a VentureBeat poco prima che la società radunasse più di 5.000 persone ad un evento di IA open-source che è stato definito come la “Woodstock dell’IA”.

Clement tra le altre cose ha spiegato come la maggior parte dei modelli di Rete Neurale Profonda più popolari di oggi sono costruiti sugli strumenti di Transformer, un’architettura di rete neurale annunciata nel 2017 con la ricerca “Attention Is All You Need” (da nove coautori di Google, alcuni dei quali hanno fondato startup RL come Cohere e Character AI).

Ma nell’ultimo anno e mezzo, sempre più aziende sono migrate in modelli commerciali più proprietari, modelli che possono mancare anche di una ricerca. “Ora, non sappiamo se i modelli siano da 200 miliardi o da 10 miliardi di parametri”, ha detto. “La comunità di ricerca è lasciata a speculare sui dettagli, e ciò crea meno trasparenza”.

Il caleidoscopio open-source: intelligenza artificiale e trasparenza

Moses Guttman, fondatore e CEO di ClearML, una piattaforma MLOps disponibile come servizio ospitato o come strumento open-source, riconosce come questo contesto sia ben ricco di sfumature. Anche se un’azienda non è disposta a condividere il codice sorgente, ha spiegato, può offrire un certo livello di apertura che aiuta a comprendere il processo del modello,

sia che si anonimizzino i dati o si campionino in modo che le persone comprendano su cosa è stato addestrato

Le grandi aziende tecnologiche hanno storicamente occupato varie posizioni all’interno di questo caleidoscopio. Il CEO di Google Sundar Pichai ha recentemente detto al Wall Street Journal che ha già aperto al pubblico i modelli in passato, ma che dovrà valutare gli sviluppi futuri.

“Penso che abbia un ruolo importante da giocare” ha detto dell’open source, aggiungendo che l’ecosistema futuro sarà probabilmente più variegato di quanto si pensi.

“Nel tempo avrete accesso a modelli open-source” ha dichiarato. “Sarà possibile eseguire modelli su singoli dispositivi. Le aziende potranno costruire i propri modelli, così come le persone che usano modelli attraverso grandi provider di cloud. Penso che avrete un’intera gamma di opzioni diverse”.

Yann LeCun ha invece espresso le sue preoccupazioni riguardo al futuro della IA open-source sui social a febbraio: “Il Fair Play ha avuto un ruolo fondamentale nel rendere lo sviluppo dell’IA alla portata di tutti. Altri l’hanno seguito, almeno per un po’. Oggi, OpenAI, DeepMind e forse anche Google pubblicano e rendono open-source una quantità di contenuti decisamente minore. Quali conseguenze avrà sul progresso della scienza e della tecnologia dell’IA?”.

Joelle Pineau, VP della ricerca IA presso Meta, ha dichiarato recentemente che l’intelligenza artificiale e la trasparenza, nonché la responsabilità nelle reti IA sono fattori essenziali. “Le piattaforme IA sono in continua evoluzione e chiediamo alla società di seguirne il corso. Ecco perché, più che mai, abbiamo bisogno di invitare le persone a osservare la tecnologia con maggiore trasparenza e incoraggiare l’accesso ai contenuti”.

Ha poi sottolineato come ci saranno sempre modelli di IA open- e closed-source, alcuni progettati per contribuire a spingere la ricerca sul piano open, mentre altri risulteranno essere prodotti destinati a trasformare la vita delle persone. Non molto sibillino.

Tuttavia, Pineau non si è completamente allineato alle affermazioni dell’OpenAI secondo cui modelli chiusi sarebbero più sicuri. “Vedo come tali preoccupazioni siano comprensibili, tuttavia l’unico modo per discutere su come fare un vero progresso è con un certo livello di trasparenza”.

Ha poi fatto riferimento al progetto Alpaca di Stanford come esempio di “accesso controllato”, dove Meta ha reso disponibili i pesi LLaMA per i ricercatori accademici, che hanno poi fatto un fine-tuning nella creazione di un modello con caratteristiche leggermente diverse.

La decisione parzialmente aperta di Meta con LLaMA ha causato un dibattito a fuoco aperto nel campo open-source. Quando GPT-4 è stato rilasciato il 14 marzo, sono state sollevate una miriade di critiche collegate al contenuto dell’annuncio: un report tecnico di 98 pagine che non includeva alcun dettaglio sull’architettura – inclusa la dimensione del modello -, l’hardware, il computer utilizzato per l’addestramento, la costruzione del dataset o il metodo di addestramento.

Per questo OpenAI ha suscitato non poche discussioni dopo il rilascio di GPT-4 come software proprietario. William Falcon, CEO di Lightning AI e creatore di PyTorch Lightning, una libreria open source in Python che offre un’interfaccia di alto livello per il popolare framework per deep learning PyTorch, ha espresso infatti un’opinione a dir poco caustica: “Sembra che OpenAI abbia raggiunto un compromesso: da un lato hanno scritto un paper di 90 pagine, ma dall’altro limitano l’accesso al codici sorgente”.

Sutskever, Chief Scientist e co-fondatore di OpenAI, ha sostenuto in un’intervista a The Verge che è sbagliato condividere troppa ricerca. Le ragioni di OpenAI, come la paura della concorrenza o la necessità di monetizzare, sono state definite ovvie, e a ciò si è aggiunto che “arriverà il momento in cui sarà facile causare un gran danno con tali modelli”.

Esiste un dibattito sui pro e i contro di determinati modelli, ed è chiaro che ci dovrebbe essere un equilibrio tra open source e IA proprietarie. Stella Biderman, matematica ed esperta in IA presso Booz Allen Hamilton e EleutherAI, ha affermato che è frustrante per tutti quei ricercatori esterni che vogliono capire meglio il comportamento di questi prodotti.

In generale – ha dichiarato – dovremmo rispettare quello che ognuno ritiene essere il miglior modo per diffondere la propria ricerca. Ma simpatizzo con le preoccupazioni di coloro che non vogliono diffondere troppe informazioni, specie quelle che possono essere usate per causare un gran danno

Mentre Booz Allen, uno dei più grandi fornitori di servizi di IA per il governo statunitense, rimane focalizzato sugli ambiti di sicurezza nazionale, Biderman ha sottolineato che esistono modelli che non possono essere rilasciati apertamente.

Oggi, la possibilità di accedere a ricerche open source in tale ambito è tuttavia essenziale: secondo Kelsey Pineau, CEO di Meta, se non forniamo l’opportunità a organizzazioni con competenze tecniche e finanziarie di addestrare modelli open source, non esisterà alcuna possibilità per persone esterne ai gruppi con interessi economici e politici di approfondirli.

L’ultima ondata di LLMs open-source presenta pro e contro. Più limitati e meno all’avanguardia rispetto a ChatGPT, come afferma Simon Willison, sviluppatore e creatore di Django, un framework web Python open-source gratuito, “fanno quello che devono”.

Prima dell’arrivo di LLaMA, molti pensavano di dover spendere decine di migliaia di dollari in GPU, dotandosi di enormi stack per far funzionare un modello linguistico utile. Grazie a LLaMA, invece, è possibile farlo anche con un laptop.

Secondo Jon Guttmann di ClearML, i clienti non hanno necessariamente bisogno di una soluzione scalabile come OpenAI. “Le aziende possono voler risolvere un problema molto specifico che non necessita di un’interfaccia utente,” ha detto.

Tuttavia, le implicazioni etiche dell’utilizzo di questi modelli open-source sono complesse e difficili da navigare, secondo Willison. OpenAI, per esempio, applica filtri e regole specifiche per evitare di scrivere testi particolarmente violenti, ad es. Ma una volta che lo si può eseguire su un laptop, può anche capitare che qualcuno, come avviene su piattaforme come 4chan, cerchi di addestrare dei modelli linguistici anti-woke, ovvero nuovi modelli da utilizzare in maniera controversa. Secondo tale retorica, intelligenza artificiale e trasparenza compongono un binomio impossibile perché la natura umana è essenzialmente cattiva. Siamo maliziosi nel definire tutto ciò quantomeno come un qualcosa di pretestuoso?

Willison, comunque, è a favore dell’open source: “Come programmatore, uso questi strumenti quotidianamente e la mia produttività è aumentata, permettendomi di affrontare problemi più ambiziosi. Non voglio che questa tecnologia sia controllata da poche grandi aziende, perché questo sarebbe intrinsecamente sbagliato per chiare relazioni sul suo impatto”.

Alex Engler, della Brookings Institution, scrive che, il software open source dovrebbe essere una cosa buona. Ma una delle parti più spaventose dell’IA open source è quanto sia “incredibilmente facile” da utilizzare. La barriera è così bassa che qualsiasi programmatore con un po’ di conoscenze riesce a farlo, anche senza comprenderne profondamente il significato.

Chris Pineau di Meta sostiene che la chiave è equilibrare l’accesso a queste tecnologie, che dipende anche dal potenziale danno che possono infliggere. La sua speranza è riuscire a trovare il modo di consentire audit di trasparenza su questi modelli per verificarne la sicurezza. Ma esistono anche livelli di apertura troppo esagerati. Ecco perché LLaMA ha una release controllata. “Molti avrebbero preferito che fosse del tutto aperto,” ha detto Pineau. “Ma credo non sia qualcosa di responsabile da fare oggi”.

Davvero difficile quindi arrivare ad una conclusione buona per tutte le stagioni. Nessun dubbio invece circa l’importante necessità di rendere queste nuove tecnologie, proprio per il grado di trasformazione potenzialmente offerto, assolutamente sondabili, indagabili e conoscibili orizzontalmente: dei veri strumenti alla portata di tutti.

Perché stai leggendo questo post?

Il mondo digitale è in costante evoluzione ed è oramai parte integrante della quasi totalità dei processi lavorativi. Fingere che il mercato del lavoro non evolva e continuare a usare lo stesso approccio e strumenti consolidati da anni non è certo la scelta migliore.

Velocità e semplificazione dei processi permettono, a parità di sforzi e risorse, risultati decisamente migliori, conducendo ciascun progetto aziendale ad una crescita diversamente impossibile.

Se sei qui è probabilmente perché sai che un mancato aggiornamento degli strumenti di lavoro corrisponde ad un mancato guadagno. Non esistono attività che possano permettersi di non avere profitto o perdere fette importanti di mercato. Cerchiamo per queste ragioni di potenziare le nostre possibilità, portandoci sempre fuori da percorsi abituali e lavorando per offrire un approccio migliorativo costante.

Ogni progetto è unico, con esigenze e budget differenti, per questo preferiamo analizzare con attenzione la tua realtà, proponendo soluzioni costruite intorno a te.

Entra in contatto con la nostra squadra compilando il seguente modulo, sarà nostra cura risponderti al più presto.