Salve Daniela, come avrai certamentr notato il postmortem può essere diviso in 3 parti: 1. L'elenco di fatti non negabili
On February 20, 2024, an optimization to the user experience introduced a bug [...]
LLMs generate responses by randomly sampling words based in part on probabilities. [...]
In this case, the bug was in the step where the model chooses these numbers. [...]
Upon identifying the cause of this incident, we rolled out a fix and confirmed that the incident was resolved.
2. L'antropomorfizzazione del modello
[... a bug] with how the model processes language.
[...] Their “language” consists of numbers that map to tokens.
[...] Akin to being lost in translation, the model chose slightly wrong numbers, which produced word sequences that made no sense.
Povero! Povero modellino! :-D Notare le espressioni "processes language", "language consists", "lost in translation" e soprattutto "choose". E notare come quando gli output non supportano la loro narrazione sulla "intelligenza artificiale" diventano subito "word sequences that made no sense". L'output passa da "language" a "word sequences". Come se gli output prodotti "randomly sampling words based in part on probabilities" avessero un avuto senso prima del bug! 3. La supercazzola magica
More technically, inference kernels produced incorrect results when used in certain GPU configurations.
Data la menzione delle probabilità e delle configurazioni delle GPU, scommetterei un caffé che il bug era riconducibile ad un overflow numerico o qualcosa di simile. Il software si rivela semplicemente per quello che è, privo di qualsiasi intelligenza.
Come hanno osservato in molti, la definizione di chatGPT fornita dai tecnici di OpenAI è quella a cui ci si riferisce con "pappagallo stocastico".
Ed è anche quella considerata blasfema dai "believers" della AI. Che però si aggrapperanno a quell'innocente "in part" per continuare a credere alle favole. Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle varie parti dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai prefiltri e ai post filtri. Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in tutti gli output rilevanti. Giacomo