- nexa - server-nexa.polito.it

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Guido Vetere

Beppe, ma la "spiegazione" della c.d. chain-of-thought si trova sullo stesso piano epistemico di ciò che intende spiegare, cioè quello della correlazione, non quello delle causalità. La differenza è 'striking' e la spiega bene Judea Pearl nel suo "The Book of Why" (https://en.wikipedia.org/wiki/The_Book_of_Why) G. On Thu, 13 Feb 2025 at 12:36, Giuseppe Attardi <attardi(a)di.unipi.it> wrote: > Non solo lui, ma gran parte degli studiosi di linguistica della vecchia > generazione, a partire da Noam Chomsky, sono rimasti indietro di 8 anni. > Non solo, ma non comprendono la differenza tra i LLM e i chatbot, che sono > delle applicazioni dei primi, nate inizialmente per gioco: ricorderete la > storia degli unicorni, prodotta da GPT-2. > Era un esercizio classico di uso dei LM per generare testo a completamento > di un prompt. > > Ma I chatbot sono un’applicazione specializzata dei LLM, allenata con una > fase di post-training, con varie tecniche, in primis il RLHF introdotto in > ChatGPT, per addestrarlo a partecipare a dialoghi, ossia ad accontentare > gli interlocutori. > Ma oltre ai chatbot, ci sono mille altre applicazioni dei LLM che non sono > solo per chiacchierare. > > Da allora, la tecnica si è poi ulteriormente evoluta con tre sostanziali > progressi: > > 1. Con l’aumentare della scala dei modelli, sono apparse capacità > emergenti (emergent abilities), che vanno oltre la banale capacità di > predire la prossima parola: un fenomeno che si spiega con la teoria dei > sitemi complessi di Giorgio Parisi: l’applicazione su larga scala di > semplici funzioni di probabilità dà origine a comportamenti complessi, non > riducibili alla funzione di partenza > 2. Si sono raffinate le tecniche di post-processing: SFT e RL basato su > DPO (Direct Preference Optimizazion) o GRPO (quella usata da DeepSeek R1 > ecc.) Quest’ultima tecnica accelera l’apprendimento con RL e viene usata > per insegnare direttamente a effettuare ragionamenti matematici e logici ai > modelli, senza bisogno di un secondo modello di critica delle risposte come > in ChatGPT. > 3. Le capacità apprese dai modelli di grandissime dimensioni possono > essere “distillate” in modelli più piccoli, mantenendone le capacità > acquisite. > > Quindi i modelli attuali, come GPT-4 o3, DeepSeek R1, Gemini 2.0, ecc., > fanno cose ben diverse dalla semplice generazione a caso di risposte. > DeepSeek è particolarmente interessante da osservare, perché riporta nella > risposta tutte le fasi del suo ragionamento, racchiuse tra i tag > <think></think>, mentre gli altri modelli li tengono nascosti. > Si vede chiaramente come svolge il suo ragionamento: propone una prima > risposta, poi la valuta criticamente, dicendo: “Ah wait. …” e spiegando > come quella risposta funziona e se ci sono criticità, poi ne genera una > seconda che risolve quelle criticità e poi ci ragiona sopra di nuovo. > > Questo purtroppo in Italia ci è vietato dalla decisione del Garante della > Privacy che ci ha impedito l’accesso a DeepSeek. > > Ma è un passo avanti importante, anche perché rintuzza un’altra critica ai > modelli ML, la mancanza di trasparenza. > In questo caso, l’intero processo di ragionamento viene esposto, compresa > una spiegazione in termini perfettamente comprensibili della ragione della > risposta. > > — Beppe > > > On 13 Feb 2025, at 12:00, nexa-request(a)server-nexa.polito.it wrote: > > From: Diego Giorio <dgiorio(a)hotmail.com> > To: Nexa <nexa(a)server-nexa.polito.it> > Subject: [nexa] Perché Richard Stallman sbaglia in tema di > intelligenza artificiale > Message-ID: > < > BN6PR17MB3139F372CA9F7422D383438FBEFF2(a)BN6PR17MB3139.namprd17.prod.outlook.com > > > > Content-Type: text/plain; charset="iso-8859-1" > > Ieri è stata una bellissima esperienza. > > A titolo personale mi pongo un po' a metà tra l'opinione di Stallman e > quella di questo articolo, che comunque ritengo giusto segnalare > > Buona giornata a tutti > > >

Feb. 14, 2025

Intelligenze aliene

by Guido Vetere

È uscito "Intelligenze aliene", un agile libretto dove cerco di connettere l'attuale vicenda dell'AI generativa alla sua genesi e a certe questioni molto aperte della filosofia del linguaggio novecentesca. https://lucasossellaeditore.it/libro/intelligenze-aliene/ Lo presenteremo a Roma il 25 Febbraio alle ore 18:30 presso la libreria Spazio Sette. Interverranno Maurizio Lenzerini (Sapienza) e Mario De Caro (Roma Tre). Modererà Luca De Biase. Chi è a Roma può prenotare il posto su eventbrite: https://www.eventbrite.it/e/biglietti-presentazione-di-intelligenze-aliene-… Siamo in attesa di sapere se ci sarà una diretta streaming, vi terrò informati. Spero di vedervi, o di sapere che siete lì :-) Guido

Feb. 14, 2025

The CDC’s Website Is Being Actively Purged to Comply With Trump DEI Order

by Alberto Cammozzo

<https://www.404media.co/the-cdcs-website-is-being-actively-purged-to-comply…> “CDC’s website is being modified to comply with President Trump’s Executive Orders.“ Large parts of the CDC’s website and several important databases were taken down on Friday and Saturday to comply with Trump’s executive orders banning DEI content. Saturday, a message at the top of the CDC’s home page said the website “is being modified to comply with President Trump’s Executive Orders.” CDC websites and databases taken offline include the CDC Atlas, the CDC Youth Risk Behavior Surveillance System, a CDC website about HIV treatment, and the CDC Social Vulnerability Index. Some of these removals were earlier reported by NBC News. Some of the pages were replaced with messages that read “Page Not Found or Temporarily Unavailable” or “The page you're looking for was not found.” There was widespread uncertainty throughout Friday as to whether a broader takedown across the government would happen. “Our team’s government affairs firm is advising that as of 5pm today, all U.S. government agency websites will be taken down,” an internal email obtained by 404 Media earlier Friday read. “According to reports, agencies are unable to comply fast enough with President Trump’s EO ordering all government entities to remove all DEI references from their websites, so these websites will be taken offline. There is no word on when they will be made available again.” At 5pm Friday, however, no widespread, cross-government takedowns happened. Throughout the day Friday and Saturday, however CDC pages continued to disappear. Saturday, a message at the top of the CDC’s website said “CDC’s website is being modified to comply with President Trump’s Executive Orders.” 404 Media has reported on U.S. government pages about gender identity were taken down; that GitHub commits showed the Trump administration scrubbing government web pages in real time; and how archivists are working to save thousands of datasets disappearing from Data.gov. Some federal contractors and federal employees spent much of Friday afternoon panicking about the deletions, and there was uncertainty about what would be taken offline and how widespread the takedowns would be. A CDC employee that 404 Media granted anonymity to speak about sensitive issues said that they were told by the Office of the Chief Information Security Officer of the Department of Health and Human Services that all employees were told they had to delete their preferred pronouns from their email signatures by 5 PM Friday. Agencies were also ordered to “review all agency programs, contracts, and grants, and terminate any that promote or inculcate gender ideology” and to “take down all outward facing media (websites, social media accounts, etc.) that inculcate or promote gender ideology,” with a deadline of 5 PM Eastern Friday. Agencies were forced to “send an email to all agency employees announcing that the agency will be complying with Defending Women and this guidance.” Agencies have been ordered to create a report within the next week that includes “a complete list of actions taken in response to this guidance.” The specific executive order is Trump’s “Defending Women from Gender Ideology Extremism and Restoring Biological Truth to the Federal Government (Defending Women).” A similar message was posted to Reddit earlier on Friday. “We are being told that the CDC website is scheduled to go down by EOD today. Please share this with your partners and encourage them, as well as you should plan to download any significant information,” it reads. There have been several efforts to archive data that already existed across the federal government, including the End of Term Archive, a volunteer effort that saved hundreds of terabytes of data before Trump was inaugurated.

Feb. 14, 2025

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Maria Chiara Pievatolo

On 13/02/25 11:35, Diego Giorio wrote: > Ieri è stata una bellissima esperienza. > > A titolo personale mi pongo un po' a metà tra l'opinione di Stallman e quella di questo articolo, che comunque ritengo giusto segnalare > > Buona giornata a tutti > > https://www.ilsoftware.it/perche-richard-stallman-sbaglia-in-tema-di-intell… > Sull'articolo, molto brevemente, e sorvolando sulle contraddizioni secondarie: 1. Immagino che rms abbia usato l'espressione "bullshit generator". "Bullshit" non significa "fandonia" (che presuppone l'intenzione consapevole di mentire: https://www.treccani.it/vocabolario/fandonia/) bensì "bischerata" (https://www.treccani.it/vocabolario/bischerata_%28Sinonimi-e-Contrari%29/) La traduzione ufficiale è un'altra ma l'espressione regionale è più divertente e rende più chiaro che il generatore di bischerate non lo fa con intenzione e con consapevolezza. 2. L'articolo chiama "scoperta dell'acqua calda" la tesi che "se si prende un chatbot come ChatGPT, Claude, Gemini, Perplexity, Copilot, DeepSeek e così via, quanto prodotto in risposta al prompt ovvero al quesito dell’utente, è figlio di un’elaborazione costruita su concetti matematico-statistici. Non c’è, da parte del sistema, alcuna comprensione del significato (semantica) delle parole." 3. La "scoperta dell'acqua calda" in (2) spiega (1). Si tratta di temi già molto dibattuti (emergenza compresa: https://server-nexa.polito.it/pipermail/nexa/2023-July/051375.html) Mi ritiro, quindi, per evitare di passare per un pappagallo non stocastico, questa volta, bensì nietzschiano (Ewige Wiederkunft des Gleichen). Non ho sufficiente amor fati per ricominciare da capo, mi dispiace. Buonanotte, MCP

Feb. 13, 2025

Cory Doctorow, Premature Internet Activists

by Daniela Tafani

Cory Doctorow, Premature Internet Activists Posted on February 13, 2025 "Premature antifacist" was a sarcastic term used by leftists caught up in the Red Scare to describe themselves, as they came under ideological suspicion for having traveled to Spain to fight against Franco's fascists before the US entered WWII and declared war against the business-friendly, anticommunist fascist Axis powers of Italy, Spain, Greece, and, of course, Germany: https://www.google.com/books/edition/In_Denial/fBSbKS1FlegC?hl=en&gbpv=… The joke was that opposing fascism made you an enemy of America – unless you did so after the rest of America had woken up to the existential threat of a global fascist takeover. What's more, if you were a "premature antifascist," you got no credit for fighting fascism early on. Quite the contrary: fighting fascism before the rest of the US caught up with you didn't make you prescient – it made you a pariah. I've been thinking a lot about premature antifascism these days, as literal fascists use the internet to coordinate a global authoritarian takeover that represents an existential threat to a habitable planet and human thriving. In light of that, it's hard to argue that the internet is politically irrelevant, and that fights over the regulation, governance, and structure of the internet are somehow unserious. And yet, it wasn't very long ago that tech policy was widely derided as a frivolous pursuit, and that tech organizing was dismissed as "slacktivism": https://www.newyorker.com/magazine/2010/10/04/small-change-malcolm-gladwell Elevating concerns about the internet's destiny to the level of human rights struggle was delusional, a glorified argument about the rules for forums where sad nerds argued about Star Trek. If you worried that Napster-era copyright battles would make it easy to remove online content by claiming that it infringed copyright, you were just carrying water for music pirates. If you thought that legalizing and universalizing encryption technology would safeguard human rights, you were a fool who had no idea that real human rights battles involved confronting Bull Connor in the streets, not suing the NSA in a federal courtroom. And now here we are. Congress has failed to update consumer privacy law since 1988 (when they banned video store clerks from blabbing about your VHS rentals). Mass surveillance enables everything from ransomware, pig butchering and identity theft to state surveillance of "domestic enemies," from trans people to immigrants. What's more, the commercial and state surveillance apparatus are, in fact, as single institution: states protect corporations from privacy law so that corporations can create and maintain population-scale nonconsensual dossiers on all the intimate facts of our lives, which governments raid at will, treating them as an off-the-books surveillance dragnet: https://pluralistic.net/2023/08/16/the-second-best-time-is-now/#the-point-o… Our speech forums have been captured by billionaires who censor anti-oligarchic political speech, and who spy on dissident users in order to aid in political repression. Bogus copyright claims are used to remove or suppress disfavorable news reports of elite rapists, thieves, war criminals and murderers: https://pluralistic.net/2024/06/27/nuke-first/#ask-questions-never You'd be hard pressed to find someone who'd describe the fights over tech governance in 2025 as frivolous or disconnected from "real politics" This is where the premature antifascist stuff comes in. An emerging revisionist history of internet activism would have you believe that the first generation of tech liberation activists weren't fighting for a free, open internet – we were just shilling for tech companies. The P2P wars weren't about speech, privacy and decentralization – they were just a way to help the tech sector fight the entertainment industry. DRM fights weren't about preserving your right to repair, to privacy, and to accessibility – they were just about making it easy to upload movies to Kazaa. Fighting for universal access to encryption wasn't about defending everyday people from corporate and state surveillance – it was just a way to help terrorists and child abusers stay out of sight of cops. Of course, now these fights are all about real things. Now we need to worry about centralization, interoperability, lock-in, surveillance, speech, and repair. But the people – like me – who've been fighting over this stuff for a quarter-century? We've gone from "unserious fools who mistook tech battles for human rights fights" to "useful idiots for tech companies" in an eyeblink. "Premature Internet Activists," in other words. This isn't merely ironic or frustrating – it's dangerous. Approaching tech activism without a historical foundation can lead people badly astray. For example, many modern tech critics think that Section 230 of the Communications Decency Act (which makes internet users liable for illegal speech acts, while immunizing entities that host that speech) is a "giveaway to Big Tech" and want to see it abolished. Boy is this dangerous. CDA 230 is necessary for anyone who wants to offer a place for people to meet and discuss anything. Without CDA 230, no one could safely host a Mastodon server, or set up the long-elusive federated Bluesky servers. Hell, you couldn't even host a group-chat or message board: https://www.techdirt.com/2020/06/23/hello-youve-been-referred-here-because-… Getting rid of CDA 230 won't get rid of Facebook or make it clean up its act. It will just make it impossible for anyone to offer an alternative to Facebook, permanently enshrining Zuck's dominance over our digital future. That's why Mark Zuckerberg wants to kill Section 230: https://www.nbcnews.com/tech/tech-news/zuckerberg-calls-changes-techs-secti… Defending policies that make it easier to host speech isn't the same thing as defending tech companies' profits, though these do sometimes overlap. When tech platforms have their users' back – even for self-serving reasons – they create legal precedents and strong norms that protect everyone. Like when Apple stood up to the FBI on refusing to break its encryption: https://en.wikipedia.org/wiki/Apple%E2%80%93FBI_encryption_dispute If Apple had caved on that one, it would be far harder for, say, Signal to stand up to demands that it weaken its privacy guarantees. I'm no fan of Apple, and I would never mistake Tim Cook – who owes his CEOhood to his role in moving Apple production to Chinese sweatshops that are so brutal they had to install suicide nets – for a human rights defender. But I cheered on Apple in its fight against the FBI, and I will cheer them again, if they stand up to the UK government's demand to break their encryption: https://www.bbc.com/news/articles/c20g288yldko This doesn't make me a shill for Apple. I don't care if Apple makes or loses another dime. I care about Apple's users and their privacy. That's why I criticize Apple when they compromise their users' privacy for profit: https://pluralistic.net/2024/01/12/youre-holding-it-wrong/#if-dishwashers-w… The same goes for fights over scraping. I hate AI companies as much as anyone, but boy is it a mistake to support calls to ban scraping in the name of fighting AI: https://pluralistic.net/2023/09/17/how-to-think-about-scraping/ It's scraping that lets us track paid political disinformation on Facebook (Facebook isn't going to tell us about it): https://pluralistic.net/2021/08/05/comprehensive-sex-ed/#quis-custodiet-ips… And it's scraping that let us rescue all the CDC and NIH data that Musk's broccoli-hair brownshirts deleted on behalf of DOGE: https://www.cnet.com/tech/services-and-software/how-to-access-important-hea… It's such a huge mistake to assume that anything corporations want is bad for the internet. There are many times when commercial interests dovetail with online human rights. That's not a defense of capitalism, it's a critique of capitalism that acknowledges that profits do sometimes coincide with the public interest, an argument that Marx and Engels devote Chapter One of The Communist Manifesto to: https://www.nytimes.com/2022/10/31/books/review/a-spectre-haunting-china-mi… In the early 1990s, Al Gore led the "National Information Infrastructure" hearings, better known as the "Information Superhighway" hearings. Gore's objective was to transfer control over the internet from the military to civilian institutions. It's true that these institutions were largely (but not exclusively) commercial entities seeking to make a buck on the internet. It's also true that much of that transfer could have been to public institutions rather than private hands. But I've lately – and repeatedly – heard this moment described (by my fellow leftists) as the "privatization" of the internet. This is strictly true, but it's even more true to say that it was the demilitarization of the internet. In other words, corporations didn't take over functions performed by, say, the FCC – they took over from the Pentagon. Leftists have no business pining for the days when the internet was controlled by the Department of Defense. Caring about the technological dimension of human rights 30 years ago – or hell, 40 years ago – doesn't make you a corporate stooge who wanted to launch a thousand investment bubbles. It makes you someone who understood, from the start, that digital rights are human rights, that cyberspace would inevitably evert into meatspace, and that the rules, norms and infrastructure we built for the net would someday be as consequential as any other political decision. I'm proud to be a Premature Internet Activist. I just celebrated my 23rd year with the Electronic Frontier Foundation, and yesterday, we sued Elon Musk and DOGE: https://www.eff.org/press/releases/eff-sues-opm-doge-and-musk-endangering-p… <https://pluralistic.net/2025/02/13/digital-rights/#are-human-rights>

Feb. 13, 2025

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Enrico Nardelli

Ciao Fabio Il 13/02/2025 13:00, Fabio Alemagna ha scritto: > > Qualche giorno fa ho postato nella lista l'abstract e link a uno > studio che mostra come gli LLM "capiscono" la matematica: usando la > trigonometria, che comunque nessuno gli ha insegnato. > https://server-nexa.polito.it/pipermail/nexa/2025-February/054015.html Qui c'è un articolo dei ricercatori di intelligenza artificiale della Apple che fanno vedere che gli LLM non riesono a generalizzare fuori dalla distribuzione dei problemi matematici su cui sono stati allenati https://arxiv.org/pdf/2410.05229 Visto che DeepSeek si può scaricare e far girare in locale non dovrebbe essere troppo lungo o complicato rifare con DeepSeek gli stessi esperimenti citati in quest'articolo... Che sia ben chiaro che il senso della mia osservazione non è "giocare a chi ce l'ha più lungo" (ovviamente intendo il CV scientifico ... 😂 ) ma solo per ricordare a noi tutti che stiamo parlando di ricerca scientifica che sta avvenendo sotto i nostri occhi e sulla quale dovremmo, da ricercatori, essere molto più critici e dubbiosi rispetto ai markettari che devono vendere i loro prodotti. Se gli LLM funzionano davvero il mercato crescerà significativamente nei prossimi anni. Per adesso mi pare che stia ancora arrancando o, per lo meno, non ha mantenuto le promesse iperboliche fatte tra fine 2022 e inizio 2023. Sicuramente gli LLM avranno un loro spazio in determinati domìni, sostanzialmente quelli caratterizzati da un "mondo chiuso" sui quali possono essere generati sinteticamente dati affidabili da usare per incrementare la scala di addestramento, ma ritengo che *finché gli LLM vengono usati da soli non saranno in grado di darci nessuna AGI (Artificial General Intelligence)*. Ricercatori internazionali molto più quotati di me sostengono questa posizione che ritengo del tutto corretta (ad esempio Francoise Chollet). Il motivo scientifico è che l'approccio usato dagli LLM non costruisce rappresentazioni simboliche sulle quali è in grado di ragionare. AlphaGo e AlphaFold hanno integrato approccio statistico e approccio simbolico. Se volete leggere le argomentazioni di Chollet le trovate sinteticamente esposte in questo tweet https://x.com/fchollet/status/1800577565717148143 e quelli che seguono. È assolutamente necessario investire in ricerca, ma - appunto - una cosa sono ricerca e sviluppo, una cosa ben diversa l'uso in produzione. Ciao, Enrico -- -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Past President di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli(a)mat.uniroma2.it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================== --

Feb. 13, 2025

Newsletter settimanale di tecnologia

by Claudia Giulia Ferrauto

Cari tutti, leggo sempre con attenzione gli scambi preziosi che avvengono in questo spazio così unico nel suo genere. Oggi scrivo per farvi conoscere un’iniziativa personale che come tale mi sta ovviamente a cuore, ma che credo, e soprattutto spero, possa interessare anche molti tra voi: 🚀 Dalla scorsa settimana ho una newsletter dedicata alla tecnologia! 📩 “AI, Tech, Privacy” esce ogni giovedì e racconta i 5 temi chiave della settimana spiegando cosa accade con retroscena e una ricca selezione di fonti. Un approfondimento chiaro che offre una panoramica di alcune tematiche, in meno di 10 minuti di lettura. Di fatti si tratta di un lavoro complementare alla rubrica di tecnologia che curo come ospite negli spazi dell’Istituto Bruno Leoni, da due anni (l’anno in corso è il terzo). Oggi è uscita la seconda puntata . La trovate qui 👉 https://open.substack.com/pub/claudiagiulia/p/ai-tech-e-privacy-ii-settiman… Se avete suggerimenti, critiche, commenti, WeLcome! Se vi piace la newsletter, condividete i contenuti con il link, e per una volta possiamo dire: sharing is caring! Grazie CG Ps. Se volete iscrivetevi riceverete la newsletter gratuita direttamente inbox ogni giovedì:)

Feb. 13, 2025

Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale

by Stefano Quintarelli

Ciao Beppe questo mi pare un po' come affermare che se un'auto rossa parte in prima fila si spiega con il fatto di essere una ferrari.. On 13/02/25 12:35, Giuseppe Attardi wrote: > vanno oltre la banale capacità di predire la prossima parola: un > fenomeno che si spiega con la teoria dei sitemi complessi di Giorgio Parisi: esiste una dimostrazione di cio' o e' una congettura ? ciao, s. -- You can reach me on Signal: @quinta.01 (no Whatsapp, no Telegram)

Feb. 13, 2025

Re: [nexa] Pappagalli stocazzici (pun intended)

by Giacomo Tesio

Ciao Fabio, grazie per la segnalazione. On Tue, 4 Feb 2025 13:56:33 +0100 Fabio Alemagna wrote: > *Language Models Use Trigonometry to Do Addition* > Subhash Kantamneni, Max Tegmark > MIT 2025 > https://arxiv.org/abs/2502.00873 l'articolo è effettivamente ma interessante, ma... non sembra che Cecile Tamura, di cui hai copiato le parole su Facebook, abbia compreso ciò che i ricercatori hanno scritto. Sperando di far cosa gradita ai non informatici in lista, provo a spiegare in parole semplici l'esperimento e le osservazioni. L'esperimento rientra a buon titolo nell'ambito della ricerca atta a spiegare il processo di calcolo dell'output dei software programmati statisticamente (impropriamente detto "Explainable AI") Dichiaratamente, i ricercatori collocano lo studio "in the spirit of mechanistic interpretability, which attempts to reverse engineer the functionality of ma- chine learning models" [1]. Si _presuppone_ cioè che la "rete neurale" esegua un processo ignoto ma completamente meccanico e si cerca di identificarlo, permettendo così una spiegazione comprensibile non solo del come, ma del perché sia stato ottenuto un determinato output a fronte di un certo input. In altri termini, si _presuppone_ che la "rete neurale" non sia in alcun modo intelligente, ma riproduca meccanicamente una funzione (multidimensionale) determinata durante la sua programmazione statistica (impropriamente detta "training" o "learning") di cui si cerca di studiare una zona (piuttosto limitata e ristretta). I ricercatori hanno infatti provato a eseguire 3 LLM con input del tipo "0 + 0 = ", "0 + 1 = "... "99 + 99 =". Se volessimo usare il linguaggio antropomorfico che caratterizza il settore, diremmo che hanno "chiesto agli LLM" di sommare tutte le possibili coppie di numeri da 0 a 99, una coppia per prompt. Si tratta di dieci mila possibili addizioni e - GPT-J achieves 80.5% accuracy, - Pythia-6.9B achieves 77.2% accuracy - Llama3.1-8B achieves 98.0% accuracy Se credessimo che questi LLM "pensino" ("think"), "apprendano" ("learn") o baggianate simili, dovremmo osservare che, di converso, Llama sbaglia 2 addizioni su 100, Pythia ne sbaglia quasi 23 e GPT-J quasi 20. Insomma, non proprio studenti brillanti. :-D Ma perché questi "errori"? [2] I ricercatori lo spiegano così: questi LLM rappresentano ciascun "numero" come un token a sé stante (invece, ad esempio, di distinguere unità e decine come farebbe un bambino in prima elementare) e i vettori dei numeri da 0 a 99 rappresentano punti che possono essere più o meno proiettati su un ellisse. Dunque ci troviamo con 100 token diversi (da "0" a "99") corrispondenti a 100 punti diversi collocati più o meno lungo un ellisse. Sulla base di questo, i ricercatori _ipotizzano_ che il procedimento si basi su identità trigonometriche, che però non sono riusciti ad individuare. Si giustificano dicendo, sostanzialmente, che è difficile. Ma una spiegazione più semplice è che durante il processo di programmazione statistica i vettori corrispondenti ai vari token siano stati collocati, tutti insieme, in modo da minimizzare la distanza fra l'output prodotto dal LLM a fronte di ciascuna sequenza di token e il risultato corretto. In altri termini, scommetterei un caffé che, la collocazione "pseudo-ellittica" funziona è ottimale per memorizzare le sequenze - "0" "+" "0" "=" "0" - "0" "+" "1" "=" "1" - "0" "+" "2" "=" "2" ... - "99" "+" "99" "=" "198" In termini ancora più semplici, l'LLM sta funzionando come una una sorta complicatissima jump table compressa (con perdita di informazione ed errori). Nonostante il linguaggio inadeguato, l'articolo rimane interessante perché dimostra chiaramente (per l'ennesima volta) che gli LLM non comprendono in alcun modo la matematica, nonostante tutti i manuali di matematica usati per programmarli. L'approccio utilizzato per individuare una relazione fra i vettori associati ai diversi token numerici è sicuramente interessante, ma non sono certo che sia applicabile estensivamente a insiemi di token caratterizzati da relazioni più complesse dei numeri fra 0 e 99. E il paragrafo 5.5 [3], sui problemi e i limiti delle conclusioni inferite dall'esperimento mi sembrano molto oneste, seppure un po' ingenue e fantasiose quando tirano in ballo la trigonometria, senza alcuna dimostrazione. Ma si sa che nell'AI il wishfull thinking va molto di moda. :-D Temo però di dover deludere chiunque creda che l'articolo dimostri una qualche forma di intelligenza nei LLM utilizzati: al contrario, dimostra la totale assenza di qualsiasi comprensione della matematica o anche solo del concetto di numero e della sua rappresentazione in base 10. Giacomo [1] per un'introduzione al concetto https://arxiv.org/pdf/2404.14082 [2] ovviamente, parlare di "errori" è sbagliato in questo caso, perché anche quando l'output corrisponde al risultato atteso, l'LLM non effettua una somma aritmetica, ma calcola (in modo approssimato) il più frequente token successivo nel corpus utilizzato per la sua programmazione statistica. [3] Alla Tamura deve infatti essere sfuggita la sezione 5.5: There are several aspects of LLM addition we still do not understand. Most notably, while we provide compelling evidence that key components create helix(a + b) from helix(a, b), we do not know the exact mechanism they use to do so. We hypothesize that LLMs use trigonometric identities like cos(a + b) = cos(a) cos(b) − sin(a) sin(b) to create helix(a + b).

Feb. 13, 2025

Re: [nexa] [ Ricerca e sviluppo dell'UE in tecnologie dell'informazione – ERA: I tecno-baroni vogliono rovesciare la democrazia, riformiamo i social

by Italo Vignoli

Caro Prof, vedendo il tuo DOCX sono invecchiato di 10 anni. Forse sono un illuso, ma almeno tutti quelli che conoscono il problema degli open standard, e la storia del falso standard Microsoft (o meglio, di come sia possibile ingannare ISO facendo apparire come open standard un formato che è addirittura peggio del precedente formato proprietario e non documentato), dovrebbero rifiutarsi di usare Microsoft 365 e soprattutto i file DOCX, XLSX e PPTX. Allego il documento in formato open standard ODT (a proposito, sono 20 anni che abbiamo lo standard OASIS, e lo festeggeremo il 26 marzo con il Document Freedom Day). Nel 2026, saranno 20 anni dello standard ISO ( Ciao, Italo On 13/02/25 11:30, Angelo Raffaele Meo wrote: > carissimi, > diagnosi perfetta!!!! > Vi allego un mio documento che mi piacerebbe proporre ai colleghi > italiani al fine di proporre al MIUR un nuovo progetto nazionaledi > ricerca basato su un modello diverso dai PNRR ecc. > Raf > ------------------------------------------------------------------------ > *From:* nexa <nexa-bounces(a)server-nexa.polito.it> on behalf of de petra > giulio <giulio.depetra(a)gmail.com> > *Sent:* Thursday, February 13, 2025 8:49 AM > *Cc:* nexa(a)server-nexa.polito.it <nexa(a)server-nexa.polito.it> > *Subject:* Re: [nexa] [ Ricerca e sviluppo dell'UE in tecnologie > dell'informazione – ERA: I tecno-baroni vogliono rovesciare la > democrazia, riformiamo i social > Sintesi perfetta caro Beppe. > Ti sei dimenticato solo di citare tra gli attori le innumerevoli società > nate e sopravvissute per far funzionare meccanismi che hai descritto e > finanziate unicamente con i fondi della ricerca. . > > Il giorno mer 12 feb 2025 alle 02:41 Giuseppe Attardi > <attardi(a)di.unipi.it <mailto:attardi@di.unipi.it>> ha scritto: > > C’è stato un clamoroso risultato che non troverai scritto da nessuna > parte. > > I progetti europei, da ESPRIT in poi, avevano l’obiettivo di rendere > più competitiva l’industria europea. Ricordate infatti che erano > mirati alle aziende: un requisito di ammissione era che il consorzio > comprendesse due aziende di due stati diversi. > > Il risultato ottenuto in quei decenni è stata la completa > distruzione di tutte le principali aziende informatiche europee. > > È un classico della politica economica-industriale europea. Siccome > per una malintesa adesione acritica alle regole di mercato liberista > sono vietati gli aiuti di stato, anziché aiutare le aziende > direttamente a migliorare le loro capacità produttive, si ricorre al > sotterfugio di finanziarle indirettamente con fondi cosiddetti di > ricerca. > Per questo stesso motivo, i piani di ricerca vengono redatti da > esperti delle stesse aziende private da sostenere. > Solo che queste hanno bisogno di soldi per coprire spese e perdite, > quindi fanno ricerca solo per finta e si pagano dipendenti che fanno > tutt’altro. Ma tant’è: una volta ottenuti i finanziamenti, a nessuno > interessa dei risultati. Basta produrre rapporti contabili per > dimostrare che si sono spesi davvero i soldi e qualche relazione > finale per intortare i revisori, che sono esperti di altre aziende e > che quindi stanno al gioco. > Tutti partecipano al gioco e gli sta bene così: le aziende incassano > qualche spicciolo, i funzionari della commissiine hanno una corte > che li adula e vezzeggia in cambio del boccone di pane, i politici > possono vantarsi di finanziare la ricerca, i ricercatori si > accontentano dei brandelli che scivolano tra le dita e arrivano a loro. > > Gli USA invece, patria del neoliberismo, non si fanno remore ad > aiutare le proprie aziende. Tesla e Starlink non sarebbero > sopravvissute senza aiuti o cospicue commesse del governo. > > — > > > On 12 Feb 2025, at 00:04, nexa-request(a)server-nexa.polito.it > <mailto:nexa-request@server-nexa.polito.it> wrote: > > > > From: Enrico Nardelli > > To: nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > > Sent: Tuesday, February 11, 2025 4:12 PM > > Subject: [nexa] Ricerca e sviluppo dell'UE in tecnologie > dell'informazione – ERA: I tecno-baroni vogliono rovesciare la > democrazia, riformiamo i social > > > > > > Scusatemi, è tanto tempo che ho questa domanda in testa. > > > > Qualcuno è a conoscenza di qualche pubblicazione che presenti > sinteticamente spese effettuate e risultati ottenuti in quarant'anni > di programmi di ricerca e sviluppo dell'Unione Europea in tema di > tecnologie dell'informazione? So che ci sono le relazioni di > monitoraggio finali dei vari programmi quadro che sono stati svolti > (il primo programma ESPRIT è partito nel 1983, poi sostituito dai > programmi IST nel 1999), ma ero interessato a qualcosa di più sintetico. > -- Italo Vignoli - italo(a)vignoli.org mobile/signal/whatsapp +39.348.5653829

Feb. 13, 2025