> Facile essere d'accordo ma ... come "fare i conti" con qualcosa che non
> capisco come funziona?

E allora proviamoci a capirlo assieme.
Partiamo dalla definizione data da Beppe Attardi:
"il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza"
Accediamo ad uno dei tanti servizi online che mostrano in pratica il meccanismo, ad esempio questo:
https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304170848130738819&URLID=2&ESV=10.0.19.7431&IV=2CA8A2820B6E9C7929AF5894EA4C6A20&TT=1681721293774&ESN=4XBWIIbixwcHo%2F9df1D5DrZxBghcbV6GvcM7S8YmScg%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly9odWdnaW5nZmFjZS5jby9tLXBvbGlnbmFuby11bmliYS9iZXJ0X3VuY2FzZWRfTC0xMl9ILTc2OF9BLTEyX2l0YWxpYW5fYWxiM3J0MA&HK=DC9F41C12D73445F148B63F3BBB22410C6DC72FC2B641C330087002AB34553EB
Nella casella sotto "Mask token" scriviamo:
"Parigi è la [MASK] della Francia".
Il risultato sarà:
Capitale 0.658
citta    0.132
patria   0.020
culla    0.020
migliore 0.012

Più quel numeretto si avvicina ad uno (e più distanza ci sarà con il secondo), più sarà /probabile/.

Proviamo con: "Torino è il capoluogo del [MASK]"
Il risultato sarà:
tutto    0.229
mondo    0.206
italia   0.163
piemonte 0.125
nord     0.043

Che significa? Che tra i dati di addestramento non ci sono sufficienti informazioni che collegano univocamente, o quasi, Torino -> capoluogo -> Piemonte.
Un'eventuale /chat/ basata su "alb3rt0" anziché su "gpt" avrebbe quindi risposto: "Torino è il capoluogo di tutto"

Antonio
_______________________________________________
nexa mailing list
nexa@server-nexa.polito.it
https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304170848130738819&URLID=1&ESV=10.0.19.7431&IV=5516B0EA67FA3AEDE08B0EBB3964391A&TT=1681721293774&ESN=vEfEExNCJf2aZ%2FJI19kL6BQTSuhQAiXT7FZDW3xNmyo%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly9zZXJ2ZXItbmV4YS5wb2xpdG8uaXQvY2dpLWJpbi9tYWlsbWFuL2xpc3RpbmZvL25leGE&HK=5D9A78BCD071E5599395607D76B0B74563A370F27726931FED16FEF7792B4A07