February 2025 - nexa - server-nexa.polito.it

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Guido Vetere

Beppe, il medico che fa una diagnosi per analogia rispetto ai casi che ha osservato, è comunque in grado di spiegare il suo ragionamento sulla base di una teoria. E anche se riproduce 'a orecchio' migliaia di dimostrazioni osservate, è (o dovrebbe essere) in grado di fornire la spiegazione sulla base di assiomi e regole di inferenza. Questo è il patto sociale quando andiamo a farci curare da un laureato in medicina piuttosto che da uno sciamano. La fisica del cervello del medico, e la sua analogia con un LLM, non c'entra nulla: la teoria medica vale in quanto 'oggetto sociale', non come 'campo di forze'. G. On Fri, 14 Feb 2025 at 09:13, Giuseppe Attardi <giuseppe.attardi(a)unipi.it> wrote: > > > On 14 Feb 2025, at 07:47, Guido Vetere <vetere.guido(a)gmail.com> wrote: > > > Beppe, > ma la "spiegazione" della c.d. chain-of-thought si trova sullo stesso > piano epistemico di ciò che intende spiegare, cioè quello della > correlazione, non quello delle causalità. > La differenza è 'striking' e la spiega bene Judea Pearl nel suo "The Book > of Why" (https://en.wikipedia.org/wiki/The_Book_of_Why) > > Certo, perché tu pensi che quando un medico ti spiega la ragione della sua > diagnosi non faccia lo stesso? O un matematico ti presenta una > dimostrazione senza accennare all’intuizione che l’ha portato a concepirla? > Ricordi Ramanujan? > Sono tutte ricostruzioni razionali a posteriori di un processo largamente > inconscio. > > Se pensiamo che l’intelligenza sia solo seguire pedissequamente un > procedimento algoritmico, o l’applicazione meccanica di regole logiche, > abbiamo una scarsa concezione dell’intelligenza. > Del resto sbbiamo provato per 50 a riprodurla pensando che fosse così e > abbiamo fallito. > > — > > G. > > On Thu, 13 Feb 2025 at 12:36, Giuseppe Attardi <attardi(a)di.unipi.it> > wrote: > >> Non solo lui, ma gran parte degli studiosi di linguistica della vecchia >> generazione, a partire da Noam Chomsky, sono rimasti indietro di 8 anni. >> Non solo, ma non comprendono la differenza tra i LLM e i chatbot, che >> sono delle applicazioni dei primi, nate inizialmente per gioco: ricorderete >> la storia degli unicorni, prodotta da GPT-2. >> Era un esercizio classico di uso dei LM per generare testo a >> completamento di un prompt. >> >> Ma I chatbot sono un’applicazione specializzata dei LLM, allenata con una >> fase di post-training, con varie tecniche, in primis il RLHF introdotto in >> ChatGPT, per addestrarlo a partecipare a dialoghi, ossia ad accontentare >> gli interlocutori. >> Ma oltre ai chatbot, ci sono mille altre applicazioni dei LLM che non >> sono solo per chiacchierare. >> >> Da allora, la tecnica si è poi ulteriormente evoluta con tre sostanziali >> progressi: >> >> 1. Con l’aumentare della scala dei modelli, sono apparse capacità >> emergenti (emergent abilities), che vanno oltre la banale capacità di >> predire la prossima parola: un fenomeno che si spiega con la teoria dei >> sitemi complessi di Giorgio Parisi: l’applicazione su larga scala di >> semplici funzioni di probabilità dà origine a comportamenti complessi, non >> riducibili alla funzione di partenza >> 2. Si sono raffinate le tecniche di post-processing: SFT e RL basato su >> DPO (Direct Preference Optimizazion) o GRPO (quella usata da DeepSeek R1 >> ecc.) Quest’ultima tecnica accelera l’apprendimento con RL e viene usata >> per insegnare direttamente a effettuare ragionamenti matematici e logici ai >> modelli, senza bisogno di un secondo modello di critica delle risposte come >> in ChatGPT. >> 3. Le capacità apprese dai modelli di grandissime dimensioni possono >> essere “distillate” in modelli più piccoli, mantenendone le capacità >> acquisite. >> >> Quindi i modelli attuali, come GPT-4 o3, DeepSeek R1, Gemini 2.0, ecc., >> fanno cose ben diverse dalla semplice generazione a caso di risposte. >> DeepSeek è particolarmente interessante da osservare, perché riporta >> nella risposta tutte le fasi del suo ragionamento, racchiuse tra i tag >> <think></think>, mentre gli altri modelli li tengono nascosti. >> Si vede chiaramente come svolge il suo ragionamento: propone una prima >> risposta, poi la valuta criticamente, dicendo: “Ah wait. …” e spiegando >> come quella risposta funziona e se ci sono criticità, poi ne genera una >> seconda che risolve quelle criticità e poi ci ragiona sopra di nuovo. >> >> Questo purtroppo in Italia ci è vietato dalla decisione del Garante della >> Privacy che ci ha impedito l’accesso a DeepSeek. >> >> Ma è un passo avanti importante, anche perché rintuzza un’altra critica >> ai modelli ML, la mancanza di trasparenza. >> In questo caso, l’intero processo di ragionamento viene esposto, compresa >> una spiegazione in termini perfettamente comprensibili della ragione della >> risposta. >> >> — Beppe >> >> >> On 13 Feb 2025, at 12:00, nexa-request(a)server-nexa.polito.it wrote: >> >> From: Diego Giorio <dgiorio(a)hotmail.com> >> To: Nexa <nexa(a)server-nexa.polito.it> >> Subject: [nexa] Perché Richard Stallman sbaglia in tema di >> intelligenza artificiale >> Message-ID: >> < >> BN6PR17MB3139F372CA9F7422D383438FBEFF2(a)BN6PR17MB3139.namprd17.prod.outlook.com >> > >> >> Content-Type: text/plain; charset="iso-8859-1" >> >> Ieri è stata una bellissima esperienza. >> >> A titolo personale mi pongo un po' a metà tra l'opinione di Stallman e >> quella di questo articolo, che comunque ritengo giusto segnalare >> >> Buona giornata a tutti >> >> >>

Feb. 14, 2025

Evidence For (and Against) Emergent World Models in LLM

by Daniela Tafani

Melanie Mitchell, LLMs and World Models, Part 2 Evidence For (and Against) Emergent World Models in LLM Feb 13, 2025 [...] Conclusion The claims of emergent abstract world models in LLMs are not yet supported by strong evidence. There is some evidence of such world models arising in transformers trained on narrow domains (Othello, chess, mazes, etc.) but also evidence that their abilities arise not from human-like internal models but from large “bags of heuristics”. Moreover, the notion of “world model” itself is not rigorously defined; when considering whether an agent has a particular kind of world model, we should ask what kinds of questions such a model should be able to answer, how easy or hard it should be for the agent to get answers from the model, and to what extent we would expect that the model would allow the agent to adapt to novel situations. <https://aiguide.substack.com/p/llms-and-world-models-part-2> Qui la prima parte <https://aiguide.substack.com/p/llms-and-world-models-part-1>

Feb. 14, 2025

Re: [nexa] Cory Doctorow, Premature Internet Activists

by Antonio

> But the people – like me – who've been fighting over this stuff for a quarter-century? We've gone from "unserious fools who mistook tech battles for human rights fights" to "useful idiots for tech companies" in an eyeblink. Grazie Daniela, articolo molto interessante in cui, come spesso accade quando scrive Cory Doctorow, ci trovo tracce del mio passato. > "Premature Internet Activists," in other words. Quello che Cory chiama "prematuro", in letteratura viene detta avanguardia. Il Gruppo 63 [1] tramite strategie metanarrative, allusive, combinatorie, ha cercato di destabilizzare la tradizione romanzesca. Calvino, inizialmente tiepido nei loro confronti, nella seconda parte della sua produzione letteraria ne è rimasto influenzato. Poi è finito tutto ... adesso a "combinare" ci pensano le macchine. Ma davvero il connubio democrazia (e diritti umani) e tecnologia si è spezzato? Apparentemente sì, almeno a leggere le notizie mainstream. Poi, succede che notizie di nicchia ("La partecipazione democratica mediante la tecnologia") [2] ti fanno capire che non tutto è perso. Con la sentenza 3/2025, la Corte Costituzionale ha dichiarato l'articolo 2, comma 6, del CAD [3], costituzionalmente illegittimo, "nella parte in cui non prevede per l'elettore, che non sia in grado di apporre una firma autografa per certificata impossibilità derivante da un grave impedimento fisico o perché si trova nelle condizioni per esercitare il voto domiciliare, la possibilità di sottoscrivere un documento informatico con firma elettronica qualificata, cui è associato un riferimento temporale validamente opponibile ai terzi". A. [1] https://it.wikiversity.org/wiki/Gruppo_63_(superiori) [2] https://www.giurdanella.it/2025/01/democrazia-e-tecnologia-corte-costituzio… [3] Le disposizioni del presente Codice non si applicano limitatamente all'esercizio delle attività e funzioni di ordine e sicurezza pubblica, difesa e sicurezza nazionale, polizia giudiziaria e polizia economico-finanziaria e *consultazioni elettorali*

Feb. 14, 2025

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Stefano Zacchiroli

Beppe, immagino tu lo sappia visto che parli sia di DeepSeek che di modelli piccoli, ma nel caso (e per gli altri): DeepSeek R1 è disponibile anche in molte altre versioni, tra cui 1.5B, 7B e 8B parametri, tutte con pesi distribuiti sotto licenza MIT. Le dimensioni di questi 3 modelli sono tutte sotto i 5 GiB; la prima, 1.1 GiB, gira anche su una GPU "dei poveri" come quella parecchio vecchia che ho sul mio laptop. Vedi qua per il dettaglio di parametri vs dimensione dei vari modelli: https://ollama.com/library/deepseek-r1/tags . Per quanto riguarda la democratizzazione dell'*uso* *locale* (e quindi indipendente) di questi modelli, le barriere stanno cadendo, non c'è dibattito. Sugli altri fronti (addestramento, dataset, etc.) è un'altra storia, ma il gradiente è comunque quello giusto. Ciao On Fri, Feb 14, 2025 at 08:59:31AM +0100, Giuseppe Attardi wrote: > > > > On 13 Feb 2025, at 13:01, Fabio Alemagna <falemagn(a)gmail.com> wrote: > > > >> [...] > >> Questo purtroppo in Italia ci è vietato dalla decisione del Garante della Privacy che ci ha impedito l’accesso a DeepSeek. > > > > Lo si può comunque scaricare sul proprio computer e farlo girare in locale. Qui un tutorial: https://www.datacamp.com/tutorial/deepseek-r1-ollama > > Sto sperimentando coi modelli DeepSeek da parecchio tempo, prima che diventassero famosi e non è così semplice. > Il modello DeepSeek V3 ha 617B parameters, ossia occupa 1.2TB di memoria: solo per caricarlo ci vogliono 8 GPU da 80GB. > Lo dicono loro stessi, nel technical report, che il modello è pesante to deploy e richiederà ulteriori studi. > > Si possono usare modelli più piccoli, ma le prestazioni calano e comunque non sono velocissimi. > Il modello DeepSeek-Coder-33-instruct impiega circa 1 minuto a risposta. > DeepSeek lascia a terze parti di offrire accesso online, perché non ce la fanno. > > Shameless push. > Non avendo grandi risorse, siamo partiti dal più piccolo dei modelli e abbiamo fatto SFT e RL con Preference Optimization sulla challenge Semeval 2025 Tabular Question Answering. Ci siamo classificati secondi nella categoria modelli piccoli. > > > > > Fabio -- Stefano Zacchiroli . zack(a)upsilon.cc . https://upsilon.cc/zack _. ^ ._ Full professor of Computer Science o o o \/|V|\/ Télécom Paris, Polytechnic Institute of Paris o o o </> <\> Co-founder & CSO Software Heritage o o o o /\|^|/\ Mastodon: https://mastodon.xyz/@zacchiro '" V "'

Feb. 14, 2025

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Giuseppe Attardi

> On 13 Feb 2025, at 13:01, Fabio Alemagna <falemagn(a)gmail.com> wrote: >> [...] >> Questo purtroppo in Italia ci è vietato dalla decisione del Garante della Privacy che ci ha impedito l’accesso a DeepSeek. > > Lo si può comunque scaricare sul proprio computer e farlo girare in locale. Qui un tutorial: https://www.datacamp.com/tutorial/deepseek-r1-ollama Sto sperimentando coi modelli DeepSeek da parecchio tempo, prima che diventassero famosi e non è così semplice. Il modello DeepSeek V3 ha 617B parameters, ossia occupa 1.2TB di memoria: solo per caricarlo ci vogliono 8 GPU da 80GB. Lo dicono loro stessi, nel technical report, che il modello è pesante to deploy e richiederà ulteriori studi. Si possono usare modelli più piccoli, ma le prestazioni calano e comunque non sono velocissimi. Il modello DeepSeek-Coder-33-instruct impiega circa 1 minuto a risposta. DeepSeek lascia a terze parti di offrire accesso online, perché non ce la fanno. Shameless push. Non avendo grandi risorse, siamo partiti dal più piccolo dei modelli e abbiamo fatto SFT e RL con Preference Optimization sulla challenge Semeval 2025 Tabular Question Answering. Ci siamo classificati secondi nella categoria modelli piccoli. > > Fabio

Feb. 14, 2025

Re: [nexa] Pappagalli stocazzici (pun intended)

by Giacomo Tesio

Scusate, On Thu, 13 Feb 2025 18:07:10 +0100 Giacomo Tesio wrote: > Dunque ci troviamo con 100 token diversi (da "0" a "99") > corrispondenti a 100 punti diversi collocati più o meno > lungo un ellisse. naturalmente intendevo un'elica (helix), non un ellisse (ellipse). L'articolo comunque lo spiega chiaramente nei paragrafi 4.1 e 4.2 e in questa figura https://arxiv.org/html/2502.00873v1/x1.png Scusate per il refuso. Devo decisamente dormire di più. :-) Giacomo

Feb. 14, 2025

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Giuseppe Attardi

> On 13 Feb 2025, at 13:01, Fabio Alemagna <falemagn(a)gmail.com> wrote: > >> [...] >> Questo purtroppo in Italia ci è vietato dalla decisione del Garante della Privacy che ci ha impedito l’accesso a DeepSeek. > > Lo si può comunque scaricare sul proprio computer e farlo girare in locale. Qui un tutorial: https://www.datacamp.com/tutorial/deepseek-r1-ollama Sto sperimentando coi modelli DeepSeek da parecchio tempo, prima che diventassero famosi e non è così semplice. Il modello DeepSeek V3 ha 617B parameters, ossia occupa 1.2TB di memoria: solo per caricarlo ci vogliono 8 GPU da 80GB. Lo dicono loro stessi, nel technical report, che il modello è pesante to deploy e richiederà ulteriori studi. Si possono usare modelli più piccoli, ma le prestazioni calano e comunque non sono velocissimi. Il modello DeepSeek-Coder-33-instruct impiega circa 1 minuto a risposta. DeepSeek lascia a terze parti di offrire accesso online, perché non ce la fanno. Shameless push. Non avendo grandi risorse, siamo partiti dal più piccolo dei modelli e abbiamo fatto SFT e RL con Preference Optimization sulla challenge Semeval 2025 Tabular Question Answering. Ci siamo classificati secondi nella categoria modelli piccoli. > > Fabio

Feb. 14, 2025

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Guido Vetere

Beppe, ma la "spiegazione" della c.d. chain-of-thought si trova sullo stesso piano epistemico di ciò che intende spiegare, cioè quello della correlazione, non quello delle causalità. La differenza è 'striking' e la spiega bene Judea Pearl nel suo "The Book of Why" (https://en.wikipedia.org/wiki/The_Book_of_Why) G. On Thu, 13 Feb 2025 at 12:36, Giuseppe Attardi <attardi(a)di.unipi.it> wrote: > Non solo lui, ma gran parte degli studiosi di linguistica della vecchia > generazione, a partire da Noam Chomsky, sono rimasti indietro di 8 anni. > Non solo, ma non comprendono la differenza tra i LLM e i chatbot, che sono > delle applicazioni dei primi, nate inizialmente per gioco: ricorderete la > storia degli unicorni, prodotta da GPT-2. > Era un esercizio classico di uso dei LM per generare testo a completamento > di un prompt. > > Ma I chatbot sono un’applicazione specializzata dei LLM, allenata con una > fase di post-training, con varie tecniche, in primis il RLHF introdotto in > ChatGPT, per addestrarlo a partecipare a dialoghi, ossia ad accontentare > gli interlocutori. > Ma oltre ai chatbot, ci sono mille altre applicazioni dei LLM che non sono > solo per chiacchierare. > > Da allora, la tecnica si è poi ulteriormente evoluta con tre sostanziali > progressi: > > 1. Con l’aumentare della scala dei modelli, sono apparse capacità > emergenti (emergent abilities), che vanno oltre la banale capacità di > predire la prossima parola: un fenomeno che si spiega con la teoria dei > sitemi complessi di Giorgio Parisi: l’applicazione su larga scala di > semplici funzioni di probabilità dà origine a comportamenti complessi, non > riducibili alla funzione di partenza > 2. Si sono raffinate le tecniche di post-processing: SFT e RL basato su > DPO (Direct Preference Optimizazion) o GRPO (quella usata da DeepSeek R1 > ecc.) Quest’ultima tecnica accelera l’apprendimento con RL e viene usata > per insegnare direttamente a effettuare ragionamenti matematici e logici ai > modelli, senza bisogno di un secondo modello di critica delle risposte come > in ChatGPT. > 3. Le capacità apprese dai modelli di grandissime dimensioni possono > essere “distillate” in modelli più piccoli, mantenendone le capacità > acquisite. > > Quindi i modelli attuali, come GPT-4 o3, DeepSeek R1, Gemini 2.0, ecc., > fanno cose ben diverse dalla semplice generazione a caso di risposte. > DeepSeek è particolarmente interessante da osservare, perché riporta nella > risposta tutte le fasi del suo ragionamento, racchiuse tra i tag > <think></think>, mentre gli altri modelli li tengono nascosti. > Si vede chiaramente come svolge il suo ragionamento: propone una prima > risposta, poi la valuta criticamente, dicendo: “Ah wait. …” e spiegando > come quella risposta funziona e se ci sono criticità, poi ne genera una > seconda che risolve quelle criticità e poi ci ragiona sopra di nuovo. > > Questo purtroppo in Italia ci è vietato dalla decisione del Garante della > Privacy che ci ha impedito l’accesso a DeepSeek. > > Ma è un passo avanti importante, anche perché rintuzza un’altra critica ai > modelli ML, la mancanza di trasparenza. > In questo caso, l’intero processo di ragionamento viene esposto, compresa > una spiegazione in termini perfettamente comprensibili della ragione della > risposta. > > — Beppe > > > On 13 Feb 2025, at 12:00, nexa-request(a)server-nexa.polito.it wrote: > > From: Diego Giorio <dgiorio(a)hotmail.com> > To: Nexa <nexa(a)server-nexa.polito.it> > Subject: [nexa] Perché Richard Stallman sbaglia in tema di > intelligenza artificiale > Message-ID: > < > BN6PR17MB3139F372CA9F7422D383438FBEFF2(a)BN6PR17MB3139.namprd17.prod.outlook.com > > > > Content-Type: text/plain; charset="iso-8859-1" > > Ieri è stata una bellissima esperienza. > > A titolo personale mi pongo un po' a metà tra l'opinione di Stallman e > quella di questo articolo, che comunque ritengo giusto segnalare > > Buona giornata a tutti > > >

Feb. 14, 2025

Intelligenze aliene

by Guido Vetere

È uscito "Intelligenze aliene", un agile libretto dove cerco di connettere l'attuale vicenda dell'AI generativa alla sua genesi e a certe questioni molto aperte della filosofia del linguaggio novecentesca. https://lucasossellaeditore.it/libro/intelligenze-aliene/ Lo presenteremo a Roma il 25 Febbraio alle ore 18:30 presso la libreria Spazio Sette. Interverranno Maurizio Lenzerini (Sapienza) e Mario De Caro (Roma Tre). Modererà Luca De Biase. Chi è a Roma può prenotare il posto su eventbrite: https://www.eventbrite.it/e/biglietti-presentazione-di-intelligenze-aliene-… Siamo in attesa di sapere se ci sarà una diretta streaming, vi terrò informati. Spero di vedervi, o di sapere che siete lì :-) Guido

Feb. 14, 2025

The CDC’s Website Is Being Actively Purged to Comply With Trump DEI Order

by Alberto Cammozzo

<https://www.404media.co/the-cdcs-website-is-being-actively-purged-to-comply…> “CDC’s website is being modified to comply with President Trump’s Executive Orders.“ Large parts of the CDC’s website and several important databases were taken down on Friday and Saturday to comply with Trump’s executive orders banning DEI content. Saturday, a message at the top of the CDC’s home page said the website “is being modified to comply with President Trump’s Executive Orders.” CDC websites and databases taken offline include the CDC Atlas, the CDC Youth Risk Behavior Surveillance System, a CDC website about HIV treatment, and the CDC Social Vulnerability Index. Some of these removals were earlier reported by NBC News. Some of the pages were replaced with messages that read “Page Not Found or Temporarily Unavailable” or “The page you're looking for was not found.” There was widespread uncertainty throughout Friday as to whether a broader takedown across the government would happen. “Our team’s government affairs firm is advising that as of 5pm today, all U.S. government agency websites will be taken down,” an internal email obtained by 404 Media earlier Friday read. “According to reports, agencies are unable to comply fast enough with President Trump’s EO ordering all government entities to remove all DEI references from their websites, so these websites will be taken offline. There is no word on when they will be made available again.” At 5pm Friday, however, no widespread, cross-government takedowns happened. Throughout the day Friday and Saturday, however CDC pages continued to disappear. Saturday, a message at the top of the CDC’s website said “CDC’s website is being modified to comply with President Trump’s Executive Orders.” 404 Media has reported on U.S. government pages about gender identity were taken down; that GitHub commits showed the Trump administration scrubbing government web pages in real time; and how archivists are working to save thousands of datasets disappearing from Data.gov. Some federal contractors and federal employees spent much of Friday afternoon panicking about the deletions, and there was uncertainty about what would be taken offline and how widespread the takedowns would be. A CDC employee that 404 Media granted anonymity to speak about sensitive issues said that they were told by the Office of the Chief Information Security Officer of the Department of Health and Human Services that all employees were told they had to delete their preferred pronouns from their email signatures by 5 PM Friday. Agencies were also ordered to “review all agency programs, contracts, and grants, and terminate any that promote or inculcate gender ideology” and to “take down all outward facing media (websites, social media accounts, etc.) that inculcate or promote gender ideology,” with a deadline of 5 PM Eastern Friday. Agencies were forced to “send an email to all agency employees announcing that the agency will be complying with Defending Women and this guidance.” Agencies have been ordered to create a report within the next week that includes “a complete list of actions taken in response to this guidance.” The specific executive order is Trump’s “Defending Women from Gender Ideology Extremism and Restoring Biological Truth to the Federal Government (Defending Women).” A similar message was posted to Reddit earlier on Friday. “We are being told that the CDC website is scheduled to go down by EOD today. Please share this with your partners and encourage them, as well as you should plan to download any significant information,” it reads. There have been several efforts to archive data that already existed across the federal government, including the End of Term Archive, a volunteer effort that saved hundreds of terabytes of data before Trump was inaugurated.

Feb. 14, 2025