- nexa - server-nexa.polito.it

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Giacomo Tesio

Giuseppe, mi permetto un buon consiglio non richiesto: Il 14 Febbraio 2025 10:36:55 UTC, Giuseppe Attardi ha scritto: > Quante probabilità ho che sia questo o quello? > > Quant’è la probabilità di guarigione? > > Quanto stima possa durare la riabilitazione? > > Quant’è il rischio di ricadute? > > > È tutto un ragionare a spanne su probabilità stimate a naso. se il tuo medico risponde a domande come queste con stime numeriche delle probabilità (a naso o meno), cambia medico. """ Ars longa, vita brevis, occasio praeceps, experimentum periculosum, iudicium difficile. Nec vero solum seipsum praestare oportet oportuna facientem: sed et assidentes, et exteriora. """ Giacomo

Feb. 14, 2025

DeepSeek fa sballare l’AI Act

by Giuseppe Attardi

DeepSeek infligge un duro colpo anche all'European AI Act, che stabilisce una soglia per l'applicazione delle sue regole in base a un numero fisso di FLOPS utilizzati nell'addestramento di un modello: 10^25. Quando questa soglia viene raggiunta, si presumerà che un modello sia un modello GPAI che presenta rischi sistemici. Una costante universale scolpita nella pietra dalla legge (anche se ammettono che potrebbero doverla rivedere): come fissare per legge la velocità della luce. DeepSeek V3 è effettivamente al di sotto di quella soglia: 3.29e24 FLOP nell'addestramento —

Feb. 14, 2025

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Giuseppe Attardi

Feb. 14, 2025

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Guido Vetere

Beppe, il medico che fa una diagnosi per analogia rispetto ai casi che ha osservato, è comunque in grado di spiegare il suo ragionamento sulla base di una teoria. E anche se riproduce 'a orecchio' migliaia di dimostrazioni osservate, è (o dovrebbe essere) in grado di fornire la spiegazione sulla base di assiomi e regole di inferenza. Questo è il patto sociale quando andiamo a farci curare da un laureato in medicina piuttosto che da uno sciamano. La fisica del cervello del medico, e la sua analogia con un LLM, non c'entra nulla: la teoria medica vale in quanto 'oggetto sociale', non come 'campo di forze'. G. On Fri, 14 Feb 2025 at 09:13, Giuseppe Attardi <giuseppe.attardi(a)unipi.it> wrote: > > > On 14 Feb 2025, at 07:47, Guido Vetere <vetere.guido(a)gmail.com> wrote: > > > Beppe, > ma la "spiegazione" della c.d. chain-of-thought si trova sullo stesso > piano epistemico di ciò che intende spiegare, cioè quello della > correlazione, non quello delle causalità. > La differenza è 'striking' e la spiega bene Judea Pearl nel suo "The Book > of Why" (https://en.wikipedia.org/wiki/The_Book_of_Why) > > Certo, perché tu pensi che quando un medico ti spiega la ragione della sua > diagnosi non faccia lo stesso? O un matematico ti presenta una > dimostrazione senza accennare all’intuizione che l’ha portato a concepirla? > Ricordi Ramanujan? > Sono tutte ricostruzioni razionali a posteriori di un processo largamente > inconscio. > > Se pensiamo che l’intelligenza sia solo seguire pedissequamente un > procedimento algoritmico, o l’applicazione meccanica di regole logiche, > abbiamo una scarsa concezione dell’intelligenza. > Del resto sbbiamo provato per 50 a riprodurla pensando che fosse così e > abbiamo fallito. > > — > > G. > > On Thu, 13 Feb 2025 at 12:36, Giuseppe Attardi <attardi(a)di.unipi.it> > wrote: > >> Non solo lui, ma gran parte degli studiosi di linguistica della vecchia >> generazione, a partire da Noam Chomsky, sono rimasti indietro di 8 anni. >> Non solo, ma non comprendono la differenza tra i LLM e i chatbot, che >> sono delle applicazioni dei primi, nate inizialmente per gioco: ricorderete >> la storia degli unicorni, prodotta da GPT-2. >> Era un esercizio classico di uso dei LM per generare testo a >> completamento di un prompt. >> >> Ma I chatbot sono un’applicazione specializzata dei LLM, allenata con una >> fase di post-training, con varie tecniche, in primis il RLHF introdotto in >> ChatGPT, per addestrarlo a partecipare a dialoghi, ossia ad accontentare >> gli interlocutori. >> Ma oltre ai chatbot, ci sono mille altre applicazioni dei LLM che non >> sono solo per chiacchierare. >> >> Da allora, la tecnica si è poi ulteriormente evoluta con tre sostanziali >> progressi: >> >> 1. Con l’aumentare della scala dei modelli, sono apparse capacità >> emergenti (emergent abilities), che vanno oltre la banale capacità di >> predire la prossima parola: un fenomeno che si spiega con la teoria dei >> sitemi complessi di Giorgio Parisi: l’applicazione su larga scala di >> semplici funzioni di probabilità dà origine a comportamenti complessi, non >> riducibili alla funzione di partenza >> 2. Si sono raffinate le tecniche di post-processing: SFT e RL basato su >> DPO (Direct Preference Optimizazion) o GRPO (quella usata da DeepSeek R1 >> ecc.) Quest’ultima tecnica accelera l’apprendimento con RL e viene usata >> per insegnare direttamente a effettuare ragionamenti matematici e logici ai >> modelli, senza bisogno di un secondo modello di critica delle risposte come >> in ChatGPT. >> 3. Le capacità apprese dai modelli di grandissime dimensioni possono >> essere “distillate” in modelli più piccoli, mantenendone le capacità >> acquisite. >> >> Quindi i modelli attuali, come GPT-4 o3, DeepSeek R1, Gemini 2.0, ecc., >> fanno cose ben diverse dalla semplice generazione a caso di risposte. >> DeepSeek è particolarmente interessante da osservare, perché riporta >> nella risposta tutte le fasi del suo ragionamento, racchiuse tra i tag >> <think></think>, mentre gli altri modelli li tengono nascosti. >> Si vede chiaramente come svolge il suo ragionamento: propone una prima >> risposta, poi la valuta criticamente, dicendo: “Ah wait. …” e spiegando >> come quella risposta funziona e se ci sono criticità, poi ne genera una >> seconda che risolve quelle criticità e poi ci ragiona sopra di nuovo. >> >> Questo purtroppo in Italia ci è vietato dalla decisione del Garante della >> Privacy che ci ha impedito l’accesso a DeepSeek. >> >> Ma è un passo avanti importante, anche perché rintuzza un’altra critica >> ai modelli ML, la mancanza di trasparenza. >> In questo caso, l’intero processo di ragionamento viene esposto, compresa >> una spiegazione in termini perfettamente comprensibili della ragione della >> risposta. >> >> — Beppe >> >> >> On 13 Feb 2025, at 12:00, nexa-request(a)server-nexa.polito.it wrote: >> >> From: Diego Giorio <dgiorio(a)hotmail.com> >> To: Nexa <nexa(a)server-nexa.polito.it> >> Subject: [nexa] Perché Richard Stallman sbaglia in tema di >> intelligenza artificiale >> Message-ID: >> < >> BN6PR17MB3139F372CA9F7422D383438FBEFF2(a)BN6PR17MB3139.namprd17.prod.outlook.com >> > >> >> Content-Type: text/plain; charset="iso-8859-1" >> >> Ieri è stata una bellissima esperienza. >> >> A titolo personale mi pongo un po' a metà tra l'opinione di Stallman e >> quella di questo articolo, che comunque ritengo giusto segnalare >> >> Buona giornata a tutti >> >> >>

Feb. 14, 2025

Evidence For (and Against) Emergent World Models in LLM

by Daniela Tafani

Melanie Mitchell, LLMs and World Models, Part 2 Evidence For (and Against) Emergent World Models in LLM Feb 13, 2025 [...] Conclusion The claims of emergent abstract world models in LLMs are not yet supported by strong evidence. There is some evidence of such world models arising in transformers trained on narrow domains (Othello, chess, mazes, etc.) but also evidence that their abilities arise not from human-like internal models but from large “bags of heuristics”. Moreover, the notion of “world model” itself is not rigorously defined; when considering whether an agent has a particular kind of world model, we should ask what kinds of questions such a model should be able to answer, how easy or hard it should be for the agent to get answers from the model, and to what extent we would expect that the model would allow the agent to adapt to novel situations. <https://aiguide.substack.com/p/llms-and-world-models-part-2> Qui la prima parte <https://aiguide.substack.com/p/llms-and-world-models-part-1>

Feb. 14, 2025

Re: [nexa] Cory Doctorow, Premature Internet Activists

by Antonio

> But the people – like me – who've been fighting over this stuff for a quarter-century? We've gone from "unserious fools who mistook tech battles for human rights fights" to "useful idiots for tech companies" in an eyeblink. Grazie Daniela, articolo molto interessante in cui, come spesso accade quando scrive Cory Doctorow, ci trovo tracce del mio passato. > "Premature Internet Activists," in other words. Quello che Cory chiama "prematuro", in letteratura viene detta avanguardia. Il Gruppo 63 [1] tramite strategie metanarrative, allusive, combinatorie, ha cercato di destabilizzare la tradizione romanzesca. Calvino, inizialmente tiepido nei loro confronti, nella seconda parte della sua produzione letteraria ne è rimasto influenzato. Poi è finito tutto ... adesso a "combinare" ci pensano le macchine. Ma davvero il connubio democrazia (e diritti umani) e tecnologia si è spezzato? Apparentemente sì, almeno a leggere le notizie mainstream. Poi, succede che notizie di nicchia ("La partecipazione democratica mediante la tecnologia") [2] ti fanno capire che non tutto è perso. Con la sentenza 3/2025, la Corte Costituzionale ha dichiarato l'articolo 2, comma 6, del CAD [3], costituzionalmente illegittimo, "nella parte in cui non prevede per l'elettore, che non sia in grado di apporre una firma autografa per certificata impossibilità derivante da un grave impedimento fisico o perché si trova nelle condizioni per esercitare il voto domiciliare, la possibilità di sottoscrivere un documento informatico con firma elettronica qualificata, cui è associato un riferimento temporale validamente opponibile ai terzi". A. [1] https://it.wikiversity.org/wiki/Gruppo_63_(superiori) [2] https://www.giurdanella.it/2025/01/democrazia-e-tecnologia-corte-costituzio… [3] Le disposizioni del presente Codice non si applicano limitatamente all'esercizio delle attività e funzioni di ordine e sicurezza pubblica, difesa e sicurezza nazionale, polizia giudiziaria e polizia economico-finanziaria e *consultazioni elettorali*

Feb. 14, 2025

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Stefano Zacchiroli

Beppe, immagino tu lo sappia visto che parli sia di DeepSeek che di modelli piccoli, ma nel caso (e per gli altri): DeepSeek R1 è disponibile anche in molte altre versioni, tra cui 1.5B, 7B e 8B parametri, tutte con pesi distribuiti sotto licenza MIT. Le dimensioni di questi 3 modelli sono tutte sotto i 5 GiB; la prima, 1.1 GiB, gira anche su una GPU "dei poveri" come quella parecchio vecchia che ho sul mio laptop. Vedi qua per il dettaglio di parametri vs dimensione dei vari modelli: https://ollama.com/library/deepseek-r1/tags . Per quanto riguarda la democratizzazione dell'*uso* *locale* (e quindi indipendente) di questi modelli, le barriere stanno cadendo, non c'è dibattito. Sugli altri fronti (addestramento, dataset, etc.) è un'altra storia, ma il gradiente è comunque quello giusto. Ciao On Fri, Feb 14, 2025 at 08:59:31AM +0100, Giuseppe Attardi wrote: > > > > On 13 Feb 2025, at 13:01, Fabio Alemagna <falemagn(a)gmail.com> wrote: > > > >> [...] > >> Questo purtroppo in Italia ci è vietato dalla decisione del Garante della Privacy che ci ha impedito l’accesso a DeepSeek. > > > > Lo si può comunque scaricare sul proprio computer e farlo girare in locale. Qui un tutorial: https://www.datacamp.com/tutorial/deepseek-r1-ollama > > Sto sperimentando coi modelli DeepSeek da parecchio tempo, prima che diventassero famosi e non è così semplice. > Il modello DeepSeek V3 ha 617B parameters, ossia occupa 1.2TB di memoria: solo per caricarlo ci vogliono 8 GPU da 80GB. > Lo dicono loro stessi, nel technical report, che il modello è pesante to deploy e richiederà ulteriori studi. > > Si possono usare modelli più piccoli, ma le prestazioni calano e comunque non sono velocissimi. > Il modello DeepSeek-Coder-33-instruct impiega circa 1 minuto a risposta. > DeepSeek lascia a terze parti di offrire accesso online, perché non ce la fanno. > > Shameless push. > Non avendo grandi risorse, siamo partiti dal più piccolo dei modelli e abbiamo fatto SFT e RL con Preference Optimization sulla challenge Semeval 2025 Tabular Question Answering. Ci siamo classificati secondi nella categoria modelli piccoli. > > > > > Fabio -- Stefano Zacchiroli . zack(a)upsilon.cc . https://upsilon.cc/zack _. ^ ._ Full professor of Computer Science o o o \/|V|\/ Télécom Paris, Polytechnic Institute of Paris o o o </> <\> Co-founder & CSO Software Heritage o o o o /\|^|/\ Mastodon: https://mastodon.xyz/@zacchiro '" V "'

Feb. 14, 2025

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Giuseppe Attardi

> On 13 Feb 2025, at 13:01, Fabio Alemagna <falemagn(a)gmail.com> wrote: >> [...] >> Questo purtroppo in Italia ci è vietato dalla decisione del Garante della Privacy che ci ha impedito l’accesso a DeepSeek. > > Lo si può comunque scaricare sul proprio computer e farlo girare in locale. Qui un tutorial: https://www.datacamp.com/tutorial/deepseek-r1-ollama Sto sperimentando coi modelli DeepSeek da parecchio tempo, prima che diventassero famosi e non è così semplice. Il modello DeepSeek V3 ha 617B parameters, ossia occupa 1.2TB di memoria: solo per caricarlo ci vogliono 8 GPU da 80GB. Lo dicono loro stessi, nel technical report, che il modello è pesante to deploy e richiederà ulteriori studi. Si possono usare modelli più piccoli, ma le prestazioni calano e comunque non sono velocissimi. Il modello DeepSeek-Coder-33-instruct impiega circa 1 minuto a risposta. DeepSeek lascia a terze parti di offrire accesso online, perché non ce la fanno. Shameless push. Non avendo grandi risorse, siamo partiti dal più piccolo dei modelli e abbiamo fatto SFT e RL con Preference Optimization sulla challenge Semeval 2025 Tabular Question Answering. Ci siamo classificati secondi nella categoria modelli piccoli. > > Fabio

Feb. 14, 2025

Re: [nexa] Pappagalli stocazzici (pun intended)

by Giacomo Tesio

Scusate, On Thu, 13 Feb 2025 18:07:10 +0100 Giacomo Tesio wrote: > Dunque ci troviamo con 100 token diversi (da "0" a "99") > corrispondenti a 100 punti diversi collocati più o meno > lungo un ellisse. naturalmente intendevo un'elica (helix), non un ellisse (ellipse). L'articolo comunque lo spiega chiaramente nei paragrafi 4.1 e 4.2 e in questa figura https://arxiv.org/html/2502.00873v1/x1.png Scusate per il refuso. Devo decisamente dormire di più. :-) Giacomo

Feb. 14, 2025

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Giuseppe Attardi

> On 13 Feb 2025, at 13:01, Fabio Alemagna <falemagn(a)gmail.com> wrote: > >> [...] >> Questo purtroppo in Italia ci è vietato dalla decisione del Garante della Privacy che ci ha impedito l’accesso a DeepSeek. > > Lo si può comunque scaricare sul proprio computer e farlo girare in locale. Qui un tutorial: https://www.datacamp.com/tutorial/deepseek-r1-ollama Sto sperimentando coi modelli DeepSeek da parecchio tempo, prima che diventassero famosi e non è così semplice. Il modello DeepSeek V3 ha 617B parameters, ossia occupa 1.2TB di memoria: solo per caricarlo ci vogliono 8 GPU da 80GB. Lo dicono loro stessi, nel technical report, che il modello è pesante to deploy e richiederà ulteriori studi. Si possono usare modelli più piccoli, ma le prestazioni calano e comunque non sono velocissimi. Il modello DeepSeek-Coder-33-instruct impiega circa 1 minuto a risposta. DeepSeek lascia a terze parti di offrire accesso online, perché non ce la fanno. Shameless push. Non avendo grandi risorse, siamo partiti dal più piccolo dei modelli e abbiamo fatto SFT e RL con Preference Optimization sulla challenge Semeval 2025 Tabular Question Answering. Ci siamo classificati secondi nella categoria modelli piccoli. > > Fabio

Feb. 14, 2025