Ehm... no. :-) Il 3 Luglio 2024 13:38:41 UTC, Guido Vetere ha scritto:
Se così fosse, la somma di due numeri interi sarebbe un'algoritmo non deterministico se applicato a due numeri ottenuti con i dadi.
la conclusione, se ci pensi, è che non esistono algoritmi non deterministici.
Mai sentito parlare di computer quantistici? Con computer quantistici puoi realizzare software non deterministici. Senza, non puoi. Poi stavamo parlando di specifici software impropriamente antropomorfizzati come "intelligenze artificiali" che vengono codificati e distribuiti come matrici numeriche ed eseguiti da macchine virtuali deterministiche costuite allo scopo. Ovvero i software freeware scaricabili da HuggingFace come Gemma2 di Google con cui hai avviato questo thread. Tali software (impropriamente detti "modelli") sono perfettamente deterministici: dati input e stato otterai sempre lo stesso output. E la ragione è semplice: le macchine virtuali di cui parliamo (quelle per la cui simulazione servono le GPU) si limitano ad eseguire lunge sequenze di semplici operazioni fra matrici, tutte perfettamente deterministiche. Per questo definire questi software "aleatori" è una sciocchezza e quando scrivi
a meno che non setti la temperatura a zero, la generazione basata su LLM è aleatoria: lo stesso prompt può darti cose un po' diverse a seconda di come gli gira il random generator.
evidenzi (e diffondi) una grave confusione fra l'interfaccia utente del sistema (limitata al prompt) e il suo funzionamento (che utilizza ulteriori input oltre il prompt). Conoscendo tutti i dati utilizzati per calcolare un certo token (tutto lo stato e tutti gli input) puoi verificare sempre, deterministicamente, di ottenere lo stesso output. [1] Ragione per cui, i sorgenti di un LLM "open" devono includere qualsiasi valore aleatorio acquisito durante la programmazione statistica (impropriamente detta "training"): perché conoscendo questi dati è sempre possibile riottenere il "modello" di interesse, studiarlo e modificarlo. Giacomo [1] L'unica possibile fonte di non determinismo in questo tipo di sistemi è costituita da guasti dell'hardware, e chissà, magari troviamo anche qualcuno disposto a venderli come prova della "coscienza delle macchine"! :-D