Pappagallo stocastico, dall'inglese stochastic parrot, è un'espressione impiegata nell'ambito del dibattito sull'intelligenza artificiale per indicare la sostanziale incapacità, da parte dei sistemi di elaborazione del linguaggio, di produzione di risposte o pensieri che possano essere definiti propri.
Descrizione Una parte degli studi su IA sostiene che i large language models (LLM) riproducano, ripetano senza consapevolezza (pappagallo) sequenze di parole la cui efficacia nel rispondere ad una richiesta è semplicemente calcolata in modo statistico (stocastico): la pertinenza della risposta e la sua affidabilità dipendono solo dal numero di occorrenze reperito nel materiale di apprendimento, potenzialmente l'intero contenuto del web.
La credibilità delle risposte si fonda sull'elaborazione di un enorme numero di frasi ed espressioni comunemente (in senso numerico) accettate e precedentemente scritte, che possono essere rafforzate da bias di conferma preesistenti nel pensiero del richiedente. Inoltre, la pur vastissima disponibilità di informazioni cui il Sistema attinge non è né completa (dal web mancano intere lingue, culture che non vi hanno accesso, per esempio), né provata, né affidabile, in senso scientifico (chiunque può riversare in rete, senza alcuna verifica, informazioni false, non corrette, deliberatamente o per inconsapevole ignoranza).
Scomodando la gnoseologia, l'intelligenza (umana) opera una inferenza induttiva e selettiva dalla propria esperienza, per esempio, del cavallo (citando Platone), fino a creare un'idea di cavallo da cui inferire in modo deduttivo nuove risposte; chi usa l'espressione "pappagallo stocastico" sostiene che la macchina combini risposte esistenti, senza aver costruito un'astrazione, senza una visione di cosa sia e come sia fatto un cavallo: riesce a mettere insieme parole che parlano coerentemente e in modo convincente di cavalli, fornendo l'impressione di stare formulando un pensiero proprio, che non ha: sa ripetere tutto quello che si dice dei cavalli, ma non ne ha un'idea astratta.
Smentite degli esperti Alcuni ricercatori di intelligenza artificiale contestano l'idea che i LLM si limitino a "ripetere a pappagallo" i propri dati di addestramento.
Geoffrey Hinton, figura pionieristica nel campo delle reti neurali, ribatte che la metafora fraintende il prerequisito per una previsione accurata del linguaggio. Egli sostiene che "per prevedere accuratamente la parola successiva, bisogna comprendere la frase", un'idea che ha presentato nel programma 60 Minutes nel 2023. Da questa prospettiva, la comprensione non è un'alternativa alla previsione statistica, ma piuttosto una proprietà emergente necessaria per eseguirla efficacemente su larga scala. Hinton usa inoltre rompicapi logici per dimostrare che i LLM comprendono davvero il linguaggio.
Un'indagine del 2024 di Scientific American ha descritto un seminario a porte chiuse tenutosi a Berkeley, in cui modelli all'avanguardia hanno risolto problemi matematici inediti di livello tier-4 e prodotto dimostrazioni coerenti, indicando capacità di ragionamento che vanno oltre la memorizzazione.
Il GPT-4 Technical Report ha mostrato risultati a livello umano in esami professionali e accademici (ad esempio il Uniform Bar Exam e lo USMLE), mettendo in discussione la caratterizzazione dei modelli come "pappagalli".
Anthropic ha condotto una ricerca di interpretabilità meccanicistica su Claude, utilizzando grafi di attribuzione per identificare i circuiti. La ricerca ha mostrato come il LLM elabori le informazioni attraverso catene di inferenze logiche vaghe e ha evidenziato la capacità di pianificare in anticipo. I ricercatori hanno scoperto che Claude 3.5 Haiku "utilizza astrazioni sorprendentemente generali", forma "piani generati internamente per i propri output futuri" e "lavora a ritroso a partire dai propri obiettivi di lungo termine". Hanno inoltre osservato che "i meccanismi del modello possono apparentemente essere descritti fedelmente soltanto mediante un grafo causale straordinariamente ampio". Hanno infine riscontrato che il modello include "meccanismi che potrebbero essere alla base di una forma semplice di metacognizione", nel senso che "riflette sul" livello della propria conoscenza prima di giungere alla risposta.
Note
Bibliografia
Categoria:Intelligenza artificiale