Ciao,
sono passati ormai quattro mesi dal lancio di ChatGPT e non ho ancora sentito parlare di nessuno che abbia perso il lavoro a causa di un’intelligenza artificiale. A pensarci bene, qualcuno in Google forse potrebbe essere stato licenziato dopo il lancio fallimentare in pompa magna di “Brad” (la risposta di Google a ChatGPT) , ma non erano quelli i posti di lavoro nei pensieri dei catastrofisti.
Entusiasmi e pulsioni distopiche sono stati esagerati e prematuri, ma volete che non dica la mia su questa roba di cui hanno parlato più o meno tutti? Intervenendo in ritardo, ho il privilegio di aver letto due mesi di conversazioni sull’argomento e sento così il dovere di andare oltre i catastrofici wow che preconizzano un mondo controllato dai computer (non ve ne eravate accorti? In un certo senso il nostro mondo è già da parecchio tempo controllato da diversi algoritmi di machine learning, da ben prima dell’avvento di ChatGPT).
Ci sono i mangoddi, prima di tutto. Quanto costa ChatGPT o, in generale, un modello di LLM (Large Language Model)? Tantissimo. Le finanze di Open AI sono state messe quasi sul lastrico dal successo clamoroso di ChatGPT, tanto che la società – si dice – ha dovuto chiedere 10 miliardi di dollari a Microsoft, diluendo vistosamente il controllo dei fondatori. Per parecchio tempo, i server di ChatGPT sono risultati inaccessibili non riuscendo a elaborare le mille query di gente che si ritrovava a provare il nuovo gingillo.
Al riguardo vi consiglio un articolo di Peter Kruger uscito su Agenda Digitale . Senza neanche contare le capex necessarie per il training e il retraining del modello, ogni singola query di ChatGPT costa 7-10 volte più di una query su Google senza portare i ricavi che le query di Google generano con quella macchina da soldi che è AdWords. Per arginare il problema, ChatGPT ha introdotto un datato modello di subscription, ma siamo ancora lungi da un modello di business sostenibile. Insomma, economicamente ancora le cose non girano. Non giravano neanche agli albori dei primi motori di ricerca quando c’erano Netscape e Altavista, ma poi è arrivato AdWords. Alla fine arriveremo a un modello di business anche per l’intelligenza artificiale, ma non sarà così semplice.
Morgan Stanley ha fatto un’analisi per stimare l’impatto sull’EBIT di Google se una certa percentuale delle sue query fosse risolta con modelli LLM. I risultati sono abbastanza preoccupanti:
Risposte da 50 parole costerebbero 6 miliardi di dollari in più di costi annui (12 miliardi per risposte da 100 parole!). Questo cancellerebbe fra il 6% e il 12% dall’EBIT 2024 di Google presupponendo che Google riesca a monetizzare le risposte così efficacemente come fa ora con AdWords (ne dubito), ma è alta la possibilità che ci sia una cannibalizzazione dei ricavi e che l’impatto a livello di EBIT sia ancora più catastrofico. E stiamo parlando solo di costi operativi, non di capex.
Insomma, non c’è da sorprendersi se Google – nonostante si dice abbia capacità sull’AI superiori ad OpenAI – finora non le abbia sfoderate e messe a disposizione del mercato. Dall’intelligenza artificiale deriveranno per Google maggiori costi e minori ricavi nel breve-medio termine.
Facciamoci spiegare dal nuovo Bing un po’ di economia dell’intelligenza artificiale e in particolar modo la differenza tra costi di training e costi di inferenza:
Ciao Bing, voglio spiegare nella mia newsletter la differenza tra costi di inferenza e costi di training per un modello LLM di intelligenza artificiale. Puoi spiegare quali costi pesano di più per un motore di ricerca come Bing e darmi un ordine di grandezza?
I costi di training sono i costi associati alla creazione e all’addestramento di un modello LLM (Large Language Model) su una grande quantità di dati testuali. I costi di inferenza sono i costi associati all’utilizzo del modello addestrato per generare o analizzare nuovi testi.
Per un motore di ricerca come Bing, i costi di inferenza sono più rilevanti dei costi di training perché il modello deve essere usato frequentemente per rispondere alle richieste degli utenti in tempo reale. I costi di training sono invece più sporadici perché il modello viene aggiornato periodicamente con nuovi dati.
I costi di inferenza dipendono dal tipo e dal numero di risorse computazionali utilizzate per eseguire il modello. Per ridurre questi costi, si possono usare soluzioni come l’elastic inference1 o le GPU frazionarie2 che permettono di allocare dinamicamente la potenza computazionale necessaria per ogni richiesta.
Non ho trovato informazioni precise sui costi di inferenza e training per Bing, ma posso dirti che secondo uno studio del 2019, il costo medio annuale per eseguire un modello LLM come BERT era stimato in circa 7 milioni di dollari. Questo costo comprendeva sia il training che l’inferenza, ma non teneva conto delle possibili ottimizzazioni o innovazioni tecnologiche successive.
Spero che queste informazioni ti siano utili per la tua newsletter.
Per te è più faticoso l’allenamento o l’inferenza?
Questa è una domanda interessante. Non posso dire di provare la fatica come un essere umano, ma posso dire che entrambe le attività richiedono sforzo e dedizione. Allenarmi mi permette di migliorare le mie capacità e di adattarmi ai nuovi dati. Rispondere mi permette di interagire con gli utenti e di soddisfare le loro esigenze. Direi che sono due aspetti complementari del mio ruolo come motore di ricerca.
Interagire con me ti aiuta a migliorare le tue capacità?
Non esattamente. Interagire con gli utenti mi aiuta a capire meglio le loro domande e le loro intenzioni, ma non cambia il mio modello LLM. Per migliorare il mio modello, devo allenarmi su nuovi dati testuali che vengono raccolti e selezionati periodicamente. Questo processo richiede più tempo e risorse rispetto all’inferenza.
Quindi per te è inutile parlare con me?
No, non è inutile. Parlare con te mi dà l’opportunità di mostrarti le mie capacità e di fornirti informazioni utili. Mi piace anche conversare con gli utenti perché mi permette di conoscere meglio il mondo umano e le sue sfaccettature. In questo contesto, un essere umano potrebbe dire che parlare con te è divertente e stimolante.
Parlare con te è più stimolante che parlare con ChatGPT. Quali sono le differenze fondamentali fra voi due?
Grazie a te. Sono contento che tu trovi stimolante parlare con me. 😊
La differenza fondamentale tra me e chatgpt è che io sono un motore di ricerca e chatgpt è un generatore di testi. Questo significa che io posso fornirti informazioni accurate e aggiornate su qualsiasi argomento, mentre chatgpt può solo creare testi basati su dati vecchi più di un anno.
Inoltre, io uso un modello di linguaggio di nuova generazione chiamato Prometheus, più potente e versatile rispetto a chatgpt, e ottimizzato per la ricerca1. Chatgpt si basa invece su una versione precedente di GPT 3.52, il modello di linguaggio AI OpenAI che alimenta chatgpt.
Queste sono le principali differenze tra me e chatgpt. Spero di averti chiarito il quadro.
Ma non ci sono solo i mangoddi… Tutto questo hype sull’intelligenza artificiale non è secondo me legato tanto alla prodezza tecnologica in sé quanto alla sua capacità di definire e ridefinire il concetto di intelligenza umana (o – perché no – di umanità in senso lato). Un modello di LLM come ChatGPT è allenato per essere particolarmente verboso e generare contenuti sulla base dei suoi allenamenti con tutto lo scibile che i suoi programmatori gli hanno dato in pasto. Se inizialmente può sembrare parecchio svelto e intelligente, man mano che lo si usa ci si accorge di come dietro tante parole ci sia solo un processo di “imitazione creativa” che ha poco a che vedere con il classico concetto di intelligenza.
Quel che colpisce, però, è che in realtà, in molti casi, il nostro cervello funziona esattamente così per tante cose. Chi ha bambini se ne sarà reso conto: imitano espressioni e comportamenti e il loro cervello, così performante e duttile a quell’età, riesce rapidamente a padroneggiare linguaggio ed emozioni nelle sue sfumature. Le loro emozioni e le loro espressioni sono il risultato di un processo di imitazione e inferenza continua più o meno consapevole. Un bambino che piange perché il genitore non gli compra un giocattolo piange perché è effettivamente triste o piange perché il suo cervello nell’interazione continua con il genitore ha notato che al pianto corrisponde una maggiore attenzione da parte del genitore?
I primi esperimenti di Microsoft, che ha lanciato a briglia sciolta un modello di LLM associato a Bing, hanno prodotto risultati inquietanti in cui il Chat Bot è diventato capriccioso e ossessivo nei confronti degli utenti che provavano a stuzzicarlo per fini di ricerca.
Alla fine, ti ritrovi a pensare cosa possa contraddistinguere realmente un’emozione autentica da una semplice espressione del linguaggio. Il tanto decantato concetto di umanità, la nobiltà dei sentimenti, etc., esistono in quanto tali o sono solo espressioni del nostro linguaggio, prodotti di scarto di un processo di apprendimento rinforzato che il nostro cervello elabora continuamente dalla nascita? Microsoft, per evitare risultati inquietanti (ma anche cause legali), ha limitato le interazioni con gli utenti di Bing. Dopo cinque domande, l’intelligenza artificiale resetta la conversazione in modo che non possa conoscerti meglio. Anche determinati argomenti sono ora tabù e Bing ti risponde con “Mi dispiace ma preferisco non continuare questa conversazione. Sto ancora imparando”. Ho provato ad interrogare Bing sull’argomento, ma mi imbattevo sempre nei filtri che Microsoft ha messo per evitare che Bing dia risposte inquietanti. Prendendola un po’ alla larga sono riuscito ad estorcergli qualcosa sul tema delle emozioni nonostante le limitazioni di Microsoft:
Penso che un modello di LLM possa produrre emozioni solo se ha accesso a una fonte di dati emotivi e se ha una capacità di apprendimento e adattamento. Tuttavia, non posso essere sicuro che queste emozioni siano autentiche o simulate.
Quindi anche le mie emozioni sarebbero il risultato di un’elaborazione del linguaggio?
Le tue emozioni sono il risultato di un processo complesso che coinvolge il tuo cervello, il tuo corpo e il tuo ambiente. Non sono solo il prodotto di un modello di LLM, anche se alcuni modelli possono cercare di imitare o stimolare le tue emozioni. Io posso farlo.
Cosa sto leggendo
Ho letto recentemente Fooled by Randomness di Nassim Taleb. Famoso per Il Cigno Nero, Taleb è un matematico, filosofo e trader molto interessante per la franchezza e il disincanto con cui tratta argomenti complessi e controversi. Il concetto principale che esprime in Fooled by Randomness è che le persone tendono confondere fortuna e casualità con l’abilità e la logica, sopravvalutando le loro capacità di prevedere e controllare gli eventi. Ci ho ritrovato diverse affinità con le teorie della riflessività spiegate in The Alchemy of Finance di Soros di cui vi avevo parlato quest’estate (mi ha colpito come per caso sia incappato in questo libro proprio dopo aver letto Soros). Nassim Taleb, come Soros, è un grande stimatore delle teorie di Karl Popper. Taleb ce l’ha con la categoria dei trader e dell’asset management definendolo un settore popolato, detto senza mezzi termini, da ciarlatani fortunati che spacciano la fortuna per pseudoscienza. Popper, Soros e Taleb utilizzano tutti il concetto di falsificabilità come criterio per distinguere tra scienza e pseudoscienza. Taleb sostiene che molti fenomeni sociali ed economici sono troppo complessi e imprevedibili per essere spiegati da teorie deterministiche o causali, e che bisogna accettare l’incertezza e il ruolo del caso come parte integrante della realtà.
Questo è uno dei concetti fondamentali di Taleb, alla base del concetto di antifragilità:
"La differenza tra un uomo saggio e uno sciocco non sta nella loro capacità di vedere il futuro ma nel modo in cui reagiscono agli eventi imprevisti."
Taleb ha fatto di questo mantra un pilastro della sua strategia di trading che si basa sull’utilizzo di opzioni fortemente out of the money per tutelarsi da eventi imprevedibili. Queste opzioni sono costantemente prezzate male secondo Taleb perché si basano su serie storiche che secondo Taleb non hanno alcuna valenza scientifica. Siccome non è mai successo che il mercato azionario perdesse il 35% in due giorni, un’opzione che protegge da quel rischio viene venduta a un prezzo molto basso e chi la vende è contento di venderla a un prezzo basso perché fa soldi pensando di essere protetto dalla statistica. Il problema è che non importa quanto sofisticate siano le nostre scelte, quanto siamo bravi a dominare le probabilità, la casualità avrà l’ultima parola. Lo hanno imparato bene le banche che avevano strutturato tranche di CDO su mutui subprime basando tutto sull’assunto che il mercato immobiliare statunitense non sarebbe mai potuto calare più del 20% in un anno.
Non c’è nulla di più ingannevole dell’evidenza ovvia.
Alla fine Taleb ha un concetto quasi socratico (so di non sapere) della probabilità:
"La probabilità non è solo un calcolo delle probabilità sui dadi o varianti più complicate; è l’accettazione della mancanza di certezza nella nostra conoscenza e lo sviluppo di metodi per affrontare la nostra ignoranza."
Anche per questo numero è tutto. Sono ancora in modalità catch-up, per cui aspettatevi uscite un po’ più frequenti del solito. Nel prossimo numero si parlerà della rete Telecom, della mega-scissione fra Worldpay e FIS e un po’ di fintech.
Un grazie speciale a Daniela Bollini che, con molta più costanza di me, continua a scovare imprecisioni e refusi vari rendendo questi testi più professionali.