Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di NLP che si sono dimostrati praticamente inattaccabili con tecniche tradizionali, tipo summarization o semantic role labelling.
Per questo, sono già largamente impiegati per compiti relativamente 'modesti' di estrazione, elaborazione e ricerca di informazione da documenti, ad esempio archivistici. In questi impieghi, la pappagallagine è un beneficio e le allucinazioni, se ci sono, sono nei documenti sorgente, non nelle piattaforme (pseudo) linguistiche.
Questa roba è qui per restare, facciamocene una ragione.
Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle maledette pareti! Molte di queste pareti sono europee, accademiche o pubblico-private.
Insomma i margini di manovra ci sono, ma bisogna capire meglio quali siano le manovre. Non credo che andremo lontano a colpi di regolamenti, certificazioni e relativi enti, simposi e convegni, comitati etici, et ceteris.

G.

   
 

On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo@tesio.it> wrote:
Salve Daniela,

come avrai certamentr notato il postmortem può essere diviso in 3 parti:

1. L'elenco di fatti non negabili

> On February 20, 2024, an optimization to the user experience introduced a bug [...]
>
> LLMs generate responses by randomly sampling words based in part on probabilities. [...]
>
> In this case, the bug was in the step where the model chooses these numbers. [...]
>
> Upon identifying the cause of this incident, we rolled out a fix and confirmed that
> the incident was resolved.


2. L'antropomorfizzazione del modello

> [... a bug] with how the model processes language.
>
> [...] Their “language” consists of numbers that map to tokens.
>
> [...] Akin to being lost in translation, the model chose slightly wrong numbers, which
> produced word sequences that made no sense.

Povero! Povero modellino! :-D

Notare le espressioni "processes language", "language consists", "lost in translation"
e soprattutto "choose".

E notare come quando gli output non supportano la loro narrazione sulla "intelligenza artificiale"
diventano subito "word sequences that made no sense".

L'output passa da "language" a "word sequences".

Come se gli output prodotti "randomly sampling words based in part on probabilities"
avessero un avuto senso prima del bug!


3. La supercazzola magica

> More technically, inference kernels produced incorrect results when used in certain
> GPU configurations.

Data la menzione delle probabilità e delle configurazioni delle GPU, scommetterei
un caffé che il bug era riconducibile ad un overflow numerico o qualcosa di simile.

Il software si rivela semplicemente per quello che è, privo di qualsiasi intelligenza.


> Come hanno osservato in molti, la definizione di chatGPT fornita dai tecnici di  OpenAI
> è quella a cui ci si riferisce con "pappagallo stocastico".

Ed è anche quella considerata blasfema dai "believers" della AI.

Che però si aggrapperanno a quell'innocente "in part" per continuare a credere alle favole.


Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità?

Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle varie parti
dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai prefiltri e ai post filtri.

Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in tutti gli output rilevanti.


Giacomo
_______________________________________________
nexa mailing list
nexa@server-nexa.polito.it
https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa