[...]
No, aspettate, forse mi sono perso qualche puntata precedente.
I testi non sono per nulla presenti nell'LLM, neanche in forma "compressa".
Il "model" non è altro che un enorme contenitore di "numeri". Nel caso di GPT3-175B, 175 miliardi di numeri, fine.
Questi numeri si chiamano "pesi" ma sempre numeri sono.
Provo con qualche esempio.
Prompt: Quante lune ha Giove?
La prima operazione che fa un LLM è la tokenizzazione, nel caso dell'esempio:
Token array: Array
(
[Qu] => 4507
[ante] => 12427
[Ġl] => 300
[une] => 1726
[Ġha] => 387
[ĠGi] => 8118
[ove] => 659
[?] => 30
)
Il dizionario usato da OpenAI è pubblico e contiene 50257 token, quindi i numeri qui sopra sono quelli che realmente entrano nel processo di "inferenza" di ChatGPT.
Quello che ChatGPT fa non è altro che aggiungere UN numero a quella sequenza (ovviamente sulla base di migliaia di calcoli che non sto qui a dettagliare).
Il numero trovato (su una versione mininale di ChatGPT) è 33704.
ChatGPT prende questo numero e lo accoda a 30, e così via ...
Alla fine, la sequenza completa di ChatGPT sarà: 33704, 659, 387, 334, 2108, 498, 434, 68, 9225, 300, 1726, 1013, 7780, 378, che "detokenizzato", diventa: "Giove ha ufficialmente 79 lune confermate".
Nell'ipotesi che i non-addetti ai lavori (o anche quegli
"addetti" che --come me-- sono ignoranti in materia) vogliano
cercare di approfondire il funzionamento degli LLM... segnalo che
finora la migliore spiegazione che ho trovato, non-tecnicissima, è
quella circolata in lista lo scorso 16/09, da Luigi Scorca -
https://server-nexa.polito.it/pipermail/nexa/2023-September/051521.html:
Nella sua mail, Luigi segnalava questo link:
https://ig.ft.com/generative-ai/
che, fra tutto quello che ho letto e visto finora, in giro,
on-line (e off-line), ritengo sia la migliore presentazione al
riguardo. Raro esempio di utilizzo di un sito web nel pieno delle
sue potenzialita', e non semplicemente la trasposizione di un
foglio di carta...
Saluti,
DV
--
Damiano Verzulli
e-mail: damiano@verzulli.it
---
possible?ok:while(!possible){open_mindedness++}
---
"...I realized that free software would not generate the kind of
income that was needed. Maybe in USA or Europe, you may be able
to get a well paying job as a free software developer, but not
here [in Africa]..." -- Guido Sohne - 1973-2008
http://ole.kenic.or.ke/pipermail/skunkworks/2008-April/005989.html