Ciao Stefano

On Sun, 14 Sep 2025 14:27:56 +0000 Stefano Borroni Barale wrote:

> mi sembra che si stia facendo un po' troppo rumore per nulla. O quasi.
>
> Se anche riuscissero a produrre un LLM che a temperatura 0 ritorna ad
> essere deterministico [...]

Ci sono riusciti, appunto. L'articolo spiega come hanno fatto.


Comunque, sebbene da un punto di vista teorico abbiano "scoperto l'acqua
calda", l'articolo è rilevante da un punto di vista tecnico e giuridico.


Da un punto di vista giuridico, sostenere che la vector mapping machine
(aka "rete neurale artificiale") sia imprevedibile perché autonoma e
che quindi chi la realizza ed esegue non va considerato responsabile
del suo output, si rivela per la menzogna che era.

L'output di un LLM o di qualsiasi altro software, basato su "reti
neurali artificiali" o meno, è deterministico a meno di bug
assolutamente correggibili.
Dunque chi lo pubblica su un sito web (come https://chatgpt.com/
https://gemini.google.com/ ) o lo fornisce a terze parti, ne deve
rispondere come per qualsiasi altro software rilasciato con bug
noti al produttore.


Se è _possibile_ rendere perfettamente deterministico il LLM, allora
_non_ renderlo deterministico è una scelta di opacità cui si deve
tener conto nella valutazione della pericolosità del modello.
In altri termini, se possiamo riprodurre il processo di compilazione
del modello (impropriamente detto "training") a partire dai dati
sorgente, possiamo verificare che effettivamente il fornitore ha fatto
tutto il possibile per evitare, ad esempio, di diffamare qualcuno.
O che non ha usato dati di cui non disponeva dei diritti.
O che non ha introdotto dati fittizzi per danneggiare un gruppo etnico
o una nazione avversaria.

Per contro, se il produttore di un LLM ha _scelto_ di rendere opaco il
proprio prodotto, si potrà ritenere quel prodotto ad alto rischio,
perché non è possibile escludere backdoor non identificabili ex-post
(vedi [1] e il più recente [2])

Il che ovviamente è il maggiore contributo tecnico dell'articolo: se
possiamo verificare che il binario prodotto dal training corrisponde
esattamente al sorgente, possiamo verificare che il sorgente non
contenga backdoor, garantendo un livello minimo di sicurezza del
"modello".


> Sarebbe forse interessante dal punto di vista della "explainable Ai"

Beh di certo la disponibilità completa dei dati sorgente, la
riproducibilità del processo di compilazione ("training") e output
("inferenze") deterministici, sono condizioni necessarie per spiegare
il comportamento di quel tipo di software.

A "temperatura 0" potremo spiegare come una determinata sequenza di
token è stata prodotta a partire dal prompt, dai testi sorgente, dai
seed pseudocasuali etc, e potremo ritenere responsabile il produttore
per il significato _apparente_ dell'output, in quanto interamente
determinato dalle sue scelte.

Ma le informazioni veicolate da quel output continueranno a ridursi a
tali scelte: l'atto comunicativo del produttore inizia con la
produzione del "modello" e del software di contorno e finisce con
l'output inviato all'utente in risposta al suo prompt.


D'altrone è ovvio: i LLM sono solo software ottimizzato per ingannare
chi non ne comprende il funzionamento, ma non hanno né intelligenza né
capacità o intenzionalità comunicativa.


> quello che per OSI è LLM open source io non riesco a distinguerlo
> da quello che da giovani chiamavamo "freeware"

Eddai, la Open Washing Initiative di Maffulli ha fatto un ottimo lavoro!
La differenza sta tutta nella confezione! ;-)


Grazie all'OSI ora il freeware è open source!

Infatti, secondo la OSAID qualsiasi BINARIO che sia rilasciato con una
licenza OSI compliant è open source se è opensource il compilatore
utilizzato per produrlo e fornisci una descrizione del sorgente.


Per gli utenti e gli sviluppatori non c'è alcuna differenza fra
freeware e OSAID, ma per le BigTech quella definizione è una linea di
difesa contro i pochi obblighi imposti alle aziende dall'AI Act.



Giacomo


[1]
https://ieee-focs.org/FOCS-2022-Papers/pdfs/FOCS2022-4Bu7jGV9xIcveUWYj3oWoi/551900a931/551900a931.pdf

[2]
https://www.cs.ru.nl/masters-theses/2025/T_van_Harskamp___Implementing_undetectable_backdoor_attacks_in_AI_models.pdf