Building Artificial Consciousness With GPT-3
I've developed Molly, a conversational agent with an inner monologue, using OpenAI's Large Language Model (LLM). This experiment gives the illusion of artificial consciousness, and raises questions about the nature of consciousness.
[...]
One theory of consciousness called Attention Schema Theory, developed by neuroscientist Michael Graziano at Princeton University, strikes me as particularly interesting. For one part, this theory introduces a concept called "attention", which is reminiscent of the famous "Attention is all you need" that triggered the recent spike in Language Model performance. But most interesting, Attention Schema Theory shares similarities with illusionism, and postulates that consciousness is an illusion.
Qui: https://marmelab.com/blog/2023/06/06/artificial-consciousness.html PS: ho replicato l'esperimento con ChatGPT-4. con risultati del tutto analoghi, se non migliori. Fabio
Ciao Fabio, grazie per questa segnalazione assolutamente affascinante. On Wed, 17 Jul 2024 12:39:12 Fabio Alemagna <falemagn@gmail.com> wrote:
I've developed Molly, a conversational agent with an inner monologue, using OpenAI's Large Language Model (LLM).
Ehm... no. L'autore ha sviluppato un agente che _simula_ un monologo interiore. E trovo veramente affascinante che abbia compreso così poco di ChatGPT da non cogliere la differenza e concludere niente meno che: ``` It shows that a machine can have an inner monologue, and that this inner monologue looks like consciousness. And if Attention Schema Theory is right, then Molly is conscious. [...] Sentient beings may not be very far away. ``` Ma... lool! :-D Quello non è il dialogo interiore di Molly, ma un testo generato da GPT-3 sulla base di un prompt a partire da un dialogo di esempio.
PS: ho replicato l'esperimento con ChatGPT-4. con risultati del tutto analoghi, se non migliori.
Se vuoi possiamo fare lo stesso gioco via mail: riuscirò a convincerti che Molly ha una coscienza se ti scrivo un po' di frasi che iniziano con "Molly (to herself): " prima di una frase che inizia con "Molly: "? (vedi https://github.com/marmelab/molly/blob/main/src/Discussion.tsx ) E ciò che scriverò dopo "Molly (to herself): " sarà ciò che pensa Molly o ciò che penso io? Oppure ciò che io penso che Molly potrebbe pensare? Tendo a propendere per quest'ultima ipotesi, non foss'altro per il fatto che non esisterà alcuna Molly nella nostra simulazione via email e io non sono timido come richiesto dal prompt. ;-) Dunque se ciò che ti scrivo io non dimostra che Molly ha una coscienza, come potrebbe dimostrarlo l'output di Open AI? E se cambiassimo il prompt descrivendo una Molly schizofrenica, sosterresti che GPT è schizofrenico? Se la nostra Molly fosse un'assassina psicopatica, crederesti GPT psicopatico? E se eseguissimo il nostro simulatore in parallelo, tu con la Molly timida e io con una aggressiva, GPT avrebbe personalità multiple? Vedi Fabio, questo esperimento è VERAMENTE interessante perché dimostra che, sebbene sia sufficiente leggere il codice per osservare che GPT non sta rivelando alcunché della PROPRIA coscienza (che non ha), coloro che VOGLIONO CREDERE nella favola della "intelligenza artificiale" sono disposti ad accettare acriticamente a qualsiasi "fake experiment" che sembri dimostrare l'esistenza di qualcosa che non c'è. Ricorda "I want to believe" di Fox Mulder. Ma questo non è un film. D'altro canto, non è tutta colpa loro. Lo stesso creatore di Molly sottolinea come la APT:
introduces a concept called "attention", which is reminiscent of the famous "Attention is all you need" that triggered the recent spike in Language Model performance.
Se avessero chiamato il meccanismo in questione "contextual token prioritization" invece di "attention" l'autore si sarebbe risparmiato una brutta figura (e il resto del mondo, un'allucinazione collettiva). Ma è un paper di Google, quindi... ¯\_(ツ)_/¯ Giacomo
Il giorno mer 17 lug 2024 alle ore 16:24 Giacomo Tesio <giacomo@tesio.it> ha scritto:
On Wed, 17 Jul 2024 12:39:12 Fabio Alemagna <falemagn@gmail.com> wrote:
I've developed Molly, a conversational agent with an inner monologue, using OpenAI's Large Language Model (LLM).
Ehm... no.
L'autore ha sviluppato un agente che _simula_ un monologo interiore.
Ogni modello che viene elaborato da un computer è una simulazione, ma l'appunto appare irrilevante, specialmente nel contesto di questa specifica discussione in cui si parte dall'assunto che una simulazione di coscienza È essa stessa coscienza, come teorizzato dall'Attention Schema Theory. Ma... lool! :-D
Quello non è il dialogo interiore di Molly, ma un testo generato da GPT-3 sulla base di un prompt a partire da un dialogo di esempio.
Le due cose non si escludono a vicenda, fino a dimostrazione contraria. Puoi fornire questa dimostrazione?
PS: ho replicato l'esperimento con ChatGPT-4. con risultati del tutto analoghi, se non migliori.
Se vuoi possiamo fare lo stesso gioco via mail: riuscirò a convincerti che Molly ha una coscienza se ti scrivo un po' di frasi che iniziano con "Molly (to herself): " prima di una frase che inizia con "Molly: "? (vedi https://github.com/marmelab/molly/blob/main/src/Discussion.tsx )
1. Non sono convinto che Molly abbia una coscienza, non salto così velocemente a conclusioni. La discussione però è affascinante, non falle nel sillogismo esposto in calce all'articolo menzionato. 2. Non mi è chiaro come un testo da te personalmente scritto dovrebbe convincermi dell'esistenza della coscienza di qualcun altro, che sia un agente artificial o naturale. E se cambiassimo il prompt descrivendo una Molly schizofrenica,
sosterresti che GPT è schizofrenico? Se la nostra Molly fosse un'assassina psicopatica, crederesti GPT psicopatico?
Non vedo perché no, non mi stai dando alcuna ragione per non farlo. L'apparente assurdità di una conclusione, sulla base di una personale definizione di "assurdo", non è prova della erroneità di quella conclusione. Fabio
Ciao Fabio, assumendo che tu non mi stia trollando e che io non sia stato chiaro, riprovo. Il 18 Luglio 2024 13:42:05 UTC, Fabio Alemagna <falemagn@gmail.com> ha scritto:
Il giorno mer 17 lug 2024 alle ore 16:24 Giacomo Tesio <giacomo@tesio.it>
Se vuoi possiamo fare lo stesso gioco via mail: riuscirò a convincerti che Molly ha una coscienza se ti scrivo un po' di frasi che iniziano con "Molly (to herself): " prima di una frase che inizia con "Molly: "? (vedi https://github.com/marmelab/molly/blob/main/src/Discussion.tsx )
Non mi è chiaro come un testo da te personalmente scritto dovrebbe convincermi dell'esistenza della coscienza di qualcun altro, che sia un agente artificial o naturale.
Appunto, non sequitur. Ora tieniti stretta questa consapevolezza e rileggi il codice di Molly. Si tratta sostanzialmente di una banalissima GUI per GPT-3 a cui viene inviato questo prompt iniziale <https://github.com/marmelab/molly/blob/main/src/Discussion.tsx#L5-L26> cui viene aggiunto mano a mano l'input fornito dall'utente (col prefisso "Interlocutor: ") GPT-3 calcola un output simile all'esempio fornito. Questo output viene diviso in linee e presentato in colori diversi all'utente dopo aver rimosso "Molly (to herself): " e "Molly: ". GPT-3 sta dunque facendo ciò per cui è stato programmato statisticamente: produrre un output che un essere umano possa interpretare come una continuazione plausibile del prompt fornito. Se il testo scritto da me (che pure sono dotato di coscienza e intelligenza) non ti convince che Molly sia autocosciente, perché invece l'output di GPT-3 ti convince che Molly potrebbe essere autocosciente, ovvero ciò che sostiene l'autore nelle conclusioni: ``` But I can say that Molly is a very interesting experiment. It shows that a machine can have an inner monologue, and that this inner monologue looks like consciousness. And if Attention Schema Theory is right, then Molly is conscious. ``` L'output di GPT-3 non è un "inner monologue" per GPT-3. È solo la continuazione di un testo che descrive un monologo interiore. Tale continuazione appare plausibile perché simile ai dialoghi e ai monologhi presenti nei testi utilizzati per programmare statisticamente GPT-3. Ora se la mia continuazione del prompt non ti può convincere dell'autocoscienza di Molly, non dovrebbe convincertene nemmeno la continuazione calcolata da GPT-3.
non trovo falle nel sillogismo esposto in calce all'articolo menzionato.
Forse perché vuoi credere alle conclusioni? Molly però resta una GUI su un sistema di completamento del testo. D'altro canto simili trucchetti vengono proposti da coloro che propongono di far spiegare ai LLM i "propri ragionamenti" e di eleggere tale output a "spiegazione della AI". Ma chiunque comprenda come funziona un LLM sa bene che tale output non avrebbe alcuna relazione con il processo di calcolo "spiegato" dal LLM. Non sarebbe dunque una spiegazione, ma una giustificazione accettabile per il pubblico del tutto diversa dal calcolo effettivamente effettuato. Calcolo che potrebbe essere selettivamente discriminatorio nonostante la giustificazione fornita. Giacomo
On 7/18/24 23:30, Giacomo Tesio wrote: [...]
L'output di GPT-3 non è un "inner monologue" per GPT-3. È solo la continuazione di un testo che descrive un monologo interiore.
Tale continuazione appare plausibile perché simile ai dialoghi e ai monologhi presenti nei testi utilizzati per programmare statisticamente GPT-3.
Mi pare abbastanza pacifico... Spiazzo un po' la discussione, condotta già altre volte in questa lista. Cosa è la coscienza? Non penso esista una risposta univoca, ma tante risposte quanti sono i punti di vista di chi le dà. Si potrebbe dire che è l'esperienza soggettiva dei fenomeni? I filosofi si sono cimentati in vari modi nell'esplorare questa dimensione. Gli psicologi forse la definiscono come la consapevolezza delle proprie emozioni. Le neuroscienze studiano le aree del cervello coinvolte nella percezione con un approccio materialista. Agli antipodi di questo approccio, i teologi colgono una dimensione trascendente. Non c'è da sorprendersi che chi è convinto che sia un aspetto speciale della natura umana, con o senza carattere di trascendenza, balzi sulla sedia quando si parla di coscienza artificiale. Ma forse, se davvero fosse solo spiegabile in senso materialista, potremmo persino pensare di creare macchine artificiali che la emulano. Con un approccio trascendente o umanista radicale, tale ipotesi di emulazione è inaccettabile, impossibile. In ogni caso ChatGPT non è stata creata per questo scopo, quindi tenderei ad escludere che possa esibire caratteristiche di questo tipo. Sarebbe una cosa un po' magica e c'è ben poco di magico nei piani della cosiddetta AI e molto di egemonico. Sicuramente Giacomo coglie un punto affermando che le discussioni sulla coscienza delle AI servono a tenere distanti le persone dalla realtà, per distrarre l'attenzione dalle nefandezze dei Big Tech. Basta questo, secondo me, per tenersi alla larga da queste pigre disquisizioni. E naturalmente per demistificarle strenuamente. D. (null)
Buongiorno...
Si potrebbe dire che è l'esperienza soggettiva dei fenomeni?
Temo che sia una strada impervia, per quanto affascinante, quella di provare a definire la coscienza. Marvin Minsky collocava la parola "coscienza" tra le "parole con la valigia" ossia "con dentro un'accozzaglia di idee differenti", mi trovo sorprendentemente d'accordo con la sua analisi, per quanto dissenta dalle sue conclusioni (ossia che invece di definirla basterebbe guardare come funzionano le macchine digitali perché quelle ci offrono finalmente un paradigma funzionante per i problemi complessi). Forse sarebbe meglio muoversi in direzione ostinata e contraria a Turing e, invece di concentrarci sulle cose in comune tra noi e l'Ai (il test di Turing in origine, oggi la capacità di manipolare simboli in maniera da creare frasi a cui noi umani diamo un senso), provare a concentrarci invece sulle differenze. ChatGPT, lasciato a sé stesso, rimane quietamente in attesa di un prompt. Anche la versione creata nell'esperimento descritto ha bisogno di un "avvio" dato dall'interazione non con il mondo, ma col prompt creato da un umano. Zero input = zero output. Il mio corpo/anima/coscienza(?) invece, per quella che è l'esperienza che ne faccio io se tento di meditare, non sta in quiete mai. Nemmeno quando dormo. Esso genera continuamente pensieri coscienti o incoscienti (modalità di pensiero, quella inconscia, di cui non abbiamo alcuna evidenza nei modelli linguistici guardacaso), senza alcun prompt. Meglio: il prompt è la mia esperienza di vita che io interpreto attraverso questo flusso di pensieri con un esercizio di pensiero narrativo ossia quella modalità di produzione del pensiero, osservata per ora solo nell'uomo, che secondo Jerome Bruner serve a dare un senso all'esperienza del soggetto. Calvino sembrerebbe accordare con l'idea che solo gli umani sono capaci di pensiero narrativo quando in "Cibernetica e Fantasmi. Appunti sulla narrativa come processo combinatorio" immagina una macchina letteraria in tutto e per tutto analoga a ChatGPT: Il] procedimento della poesia e dell’arte [...] è analogo a quello del gioco di parole; è il piacere infantile del gioco combinato- rio che spinge il pittore a sperimentare disposizioni di linee e colori e il poeta a sperimentare accostamenti di parole [...]. [La] letteratura è sì un gioco combinatorio che segue le pos- sibilità implicite nel proprio materiale, indipendentemente dalla personalità del poeta, ma è gioco che a un certo punto si trova investito d’un significato inatteso [...]. La macchina letteraria può effettuare tutte le permutazioni possi- bili in un dato materiale; ma il risultato poetico sarà l’effetto particolare d’una di queste permutazioni sull’uomo dotato d’una coscienza e d’un inconscio, cioè sull’uomo empirico e storico, sarà lo shock che si verifica solo in quanto attorno alla macchina scrivente esistono i fantasmi nascosti dell’in-dividuo e della società. Ovviamente queste riflessioni non ambiscono in alcun modo a risolvere la "disputa", sono giusto alcune delle informazioni che mi fanno convinto che le macchine di oggi non hanno alcun dialogo interiore. Pure per il futuro mi sa che Kurzweil e compagni resteranno parecchio delusi. Insieme ai nipoti dei loro nipoti, se è per questo.
Sarebbe una cosa un po' magica e c'è ben poco di magico nei piani della cosiddetta AI e molto di egemonico.
I couldn't agree more. Stefano
participants (4)
-
D. Davide Lamanna -
Fabio Alemagna -
Giacomo Tesio -
Stefano Borroni Barale