- nexa - server-nexa.polito.it

Model Collapse e Autofagia: analisi linguistica e incertezza del modello
by Daniele Gambetta Oct. 17, 2024

Oct. 17, 2024

Salve a tutt_, segnalo questo lavoro che abbiamo appena caricato su arXiv, dove seguiamo la linea di ricerca sul cosiddetto model collapse nel processo di autofagia, ovvero la degradazione di un LLM quando viene addestrato su materiale sintetico. Oltre a condurre un'analisi con metriche della linguistica computazionale abbiamo svolto un'analisi qualitativa sulle risposte del modello degradato a vari task, riscontrando una propensione per la creatività, l'incertezza e il pensiero complottista, un aspetto che abbiamo intenzione di indagare meglio in futuro... https://arxiv.org/abs/2410.12341 Qualunque osservazione è ben gradita. Saluti. D.

1 0

Redirecting Europe's AI Industrial Policy. From Competitiveness to Public Interest
by Daniela Tafani Oct. 16, 2024

Oct. 16, 2024

AI Now Institute Redirecting Europe's AI Industrial Policy. From Competitiveness to Public Interest October 16, 2024 Executive summary As Europe’s nascent industrial policy on AI gains steady momentum, potentially allocating significant public and private funds and shaping regulatory actions, we need public scrutiny and debate to assess these initiatives critically. That’s where this report intervenes: to ask hard questions about the resource allocation in these nascent strategies and the process by which priorities will be decided; and, most fundamentally, to examine the premises underlying this vision How does the market structure of large-scale AI challenge traditional strategies for achieving digital independence? Is Europe’s technological dependence on a few dominant incumbents reversible, or is the dependence structural? Do we have a robust evidence base to undergird the claims of AI’s long-term benefits, including productivity gains and potential for breakthrough science? Does public investment in AI contradict Europe’s social model and sustainability goals? Could the narrow focus on AI for public investment in technology create infrastructural lock-in? Is the rapid deployment of AI tools in sensitive social sectors necessary for the efficient delivery of public services, or does this raise more concerns than benefits? This collection of essays and interviews by leading experts seeks to provide EU policymakers with policy research, perspectives, and evidence about the pitfalls and challenges that come with expanding public investment in the context of a highly concentrated global AI market. We also outline possible paths forward on competition, public digital infrastructure, and digital industrial and innovation policy more broadly. We will also explore what Europe’s dependence on incumbents looks like, and how competitive Europe’s AI market is in practice. While authors differ in their stances, backgrounds, and political positioning on these issues, they are united in showing that past tools and approaches are not fit for purpose. Contributors Cecilia Rikap Cristina Caffarra Fieke Jansen Michelle Thorne Sarah Chander Seda Gürses Margarida Silva Jeroen Merk MEP Kim Van Sparrentak Simona de Heer Burcu Kilic Udbhav Tiwari Francesca Bria Mark Scott Francesco Bonfiglio Zuzanna Warso <https://ainowinstitute.org/redirecting-europes-ai-industrial-policy>

1 0

"Via al portafoglio digitale, patente e tessera sanitaria entrano nello smartphone"
by de petra giulio Oct. 16, 2024

Oct. 16, 2024

Caro JC, si, qualche forza politica ha ben chiare le implicazioni politiche della indispensabilità del possesso dello smartphone per vivere. Infatti il governo, nel decreto sicurezza, ha previsto che i migranti senza permesso di soggiorno non potranno ottenere una sim. Il giorno mer 16 ott 2024 alle 09:40 J.C. DE MARTIN < juancarlos.demartin(a)polito.it> ha scritto: > A parte l'uso dell'inglese - ennesima prova di una cultura in via di > spappolamento, ovvero, di colonizzazione (come le panetterie che diventano > "Bakery", i barbieri che diventano "Barber Shop", e così via delirando) - > è purtroppo sempre più di attualità una delle domande centrali del mio > libro: si sta andando verso l'obbligatorietà de iure, oltre che de facto, > del possesso dello smartphone? Se sì, qualche forza politica sta per caso > riflettendo sulle implicazioni? > > *"Via al portafoglio digitale, patente e tessera sanitaria entrano nello > smartphone"* > > https://www.repubblica.it/economia/2024/10/15/news/it_wallet_patente_tesser… > > > jc > >

2 1

Re: [nexa] nexa Digest, Vol 186, Issue 31
by Fabio Nascimbeni Oct. 15, 2024

Oct. 15, 2024

Grazie Guido, approccio semplice, diretto e molto interessante. Stiamo raccogliendo idee e pratiche di insegnamento attraverso l'AI nel nostro New Learning Club on Teaching with Artificial Intelligence, se vuoi dare un'occhiata. Saluti a tutti, Fabio Il giorno 15/10/24, 12:00 "nexa-bounces(a)server-nexa.polito.it <mailto:nexa-bounces@server-nexa.polito.it> per conto di nexa-request(a)server-nexa.polito.it <mailto:nexa-request@server-nexa.polito.it>" <nexa-bounces(a)server-nexa.polito.it <mailto:nexa-bounces@server-nexa.polito.it> per conto di nexa-request(a)server-nexa.polito.it <mailto:nexa-request@server-nexa.polito.it>> ha scritto: Send nexa mailing list submissions to nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> To subscribe or unsubscribe via the World Wide Web, visit https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> or, via email, send a message with subject or body 'help' to nexa-request(a)server-nexa.polito.it <mailto:nexa-request@server-nexa.polito.it> You can reach the person managing the list at nexa-owner(a)server-nexa.polito.it <mailto:nexa-owner@server-nexa.polito.it> When replying, please edit your Subject line so it is more specific than "Re: Contents of nexa digest..." Today's Topics: 1. Re: Large language models reduce public knowledge sharing on online Q&A platforms (Paolo Caressa) 2. Re: Large language models reduce public knowledge sharing on online Q&A platforms (Guido Vetere) ---------------------------------------------------------------------- Message: 1 Date: Tue, 15 Oct 2024 10:47:55 +0200 From: "Paolo Caressa" <paolo(a)caressa.it <mailto:paolo@caressa.it>> To: filippo.barbera(a)unito.it <mailto:filippo.barbera@unito.it> Cc: vetere.guido(a)gmail.com <mailto:vetere.guido@gmail.com>, nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> Subject: Re: [nexa] Large language models reduce public knowledge sharing on online Q&A platforms Message-ID: <SLE33V$0D50D814E301E223D0006812AB734077(a)caressa.it <mailto:0D50D814E301E223D0006812AB734077@caressa.it>> Content-Type: text/plain; charset="utf-8" Buongiorno, mi sembra un ottimo esempio, a riprova che, chi si ritiene "non esperto" su una tecnologia, in realtà, se conosce il contesto al quale poterla applicare, pensa a nuovi casi d'uso e a come impiegarla per aumentare il valore di quel che ha fatto finora ;-) P Da "nexa" nexa-bounces(a)server-nexa.polito.it <mailto:nexa-bounces@server-nexa.polito.it> A "Guido Vetere" vetere.guido(a)gmail.com <mailto:vetere.guido@gmail.com> Cc nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> Data Tue, 15 Oct 2024 07:28:04 +0200 Oggetto Re: [nexa] Large language models reduce public knowledge sharing on online Q&A platforms Volevo condividere con voi, che a differenza mia siete esperti del tema, come ho deciso di utilizzare ChatGPT e l'IA per la didattica. Ai miei corsi di laurea magistrale, quindi con 30/40 studenti, da sempre riesco a farli lavorare per task su un paper scientifico: 1. descrizione, 2. punti di forza, 3. punti di debolezza, 4. implicazioni applicative. Con queste indicazioni devono preparare un breve doc e un ppt da presentare in aula. Nel farlo, devono attingere ai temi del corso e alla letteratura. L'avvento di ChatGPT et similia cambia le regole del gioco. Ho quindi deciso di introdurre questi strumenti in modo esplicito nel corso: i 4 task di cui sopra vengono chiesti anche a ChatGPT e ad altri tools (da me), per ogni paper distribuito ai singoli gruppi di lavoro. Il risultato viene poi condiviso in anticipo con gli studenti e rappresenta il... 18/30, quindi la baseline. Condivido così in modo esplicito una base comune e loro devono dimostrare, come in effetti è, di apportare un valore aggiunto e specifico rispetto al machine learning. ciao fb Il giorno mar 15 ott 2024 alle ore 07:19 Guido Vetere <vetere.guido(a)gmail.com <mailto:vetere.guido@gmail.com>> ha scritto: la spiegazione in questo caso è semplice: i programmatori non cercano più le soluzioni ai loro problemi su stackoverflow, perché le ottengono più facilmente dai LLM se ne discute anche su quella piattaforma [link] chi mette contenuto su stackoverflow, lo fa perché le soluzioni migliori vengono votate, e il ranking che uno sviluppatore ottiene su quella piattaforma è un'ottima referenza professionale venendo meno il meccanismo di rewarding, viene meno il motivo di fornire contenuti alla piattaforma per cui sì, gli LLM 'uccidono' alcuni business, ma caso per caso, in relazione a specifici business model: la generalizzazione è indebita non è chiaro se prosciugando la 'sorgente umana' delle soluzioni di programmazione, i co-programmatori automatici stanno in realtà segando il ramo sul quale sono seduti, o se riusciranno ad auto-alimentarsi, o impareranno in qualche misura a ragionare con la testa loro - almeno sugli if-then-else, perbacco! buona giornata, G. On Mon, 14 Oct 2024 at 23:57, Giacomo Tesio <giacomo(a)tesio.it <mailto:giacomo@tesio.it>> wrote: Large language models (LLMs) are a potential substitute for human-generated data and knowledge resources. This substitution, however, can present a significant problem for the training data needed to develop future models if it leads to a reduction of human-generated content. In this work, we document a reduction in activity on Stack Overflow coinciding with the release of ChatGPT, a popular LLM. To test whether this reduction in activity is specific to the introduction of this LLM, we use counterfactuals involving similar human-generated knowledge resources that should not be affected by the introduction of ChatGPT to such extent. Within 6 months of ChatGPT’s release, activity on Stack Overflow decreased by 25% relative to its Russian and Chinese counterparts, where access to ChatGPT is limited, and to similar forums for mathematics, where ChatGPT is less capable. We interpret this estimate as a lower bound of the true impact of ChatGPT on Stack Overflow. The decline is larger for posts related to the most widely used programming languages. We find no significant change in post quality, measured by peer feedback, and observe similar decreases in content creation by more and less experienced users alike. Thus, LLMs are not only displacing duplicate, low-quality, or beginner-level content. Our findings suggest that the rapid adoption of LLMs reduces the production of public data needed to train them, with significant consequences. https://academic.oup.com/pnasnexus/article/3/9/pgae400/7754871 <https://academic.oup.com/pnasnexus/article/3/9/pgae400/7754871> Com'era la favoletta che i LLM non competono sul mercato con i contenuti usati per programmarli statisticamente? Giacomo -- Professor of Economic Sociology CPS Department University of Torino https://unito.webex.com/meet/filippo.barbera <https://unito.webex.com/meet/filippo.barbera> NEW!!!! 2023 Le piazza vuote. Riprendiamo gli spazi della politica, Bari, Laterza

1 0

The OSI lacks competence to define Open Source AI
by Giacomo Tesio Oct. 15, 2024

Oct. 15, 2024

Salve Nexa, condivido con voi un articolo interessante che sintetizza gli sforzi dell'OSI a sostegno della Open Source AI definition (OSAID). https://samjohnston.org/2024/10/15/the-osi-lacks-competence-to-define-open-… Riporto qui solo due passaggi che non mi sono accessibili altrove. Il primo è un commento di Bruce Perens, co-fondatore dell'OSI """ I am the creator of the original Open Source Definition, and support Amanda’s view that the Open Source AI Definition is flawed, that OSI hasn’t done a great job and so weren’t necessarily the best team to do this. In my opinion, the result is less than Open Source. I have supported Amanda’s views for a year, since she walked off of the OSI board, and told me she felt they were going about it wrong and nobody would listen. You can apply the original Open Source Definition to machine learning and I feel it works better. You need to apply it to two pieces: the software (and possibly specialized hardware), and the training data. The training data is “source code” for the purposes of the Open Source definition. This is complicated because some models evolve with each question asked, etc., and thus the training data is ever changing and becomes very large. """ Chiaro e semplice. Il secondo è il post censurato dall'OSI che non avevo avuto modo di leggere e che l'autore ha ottenuto dalla pericolosissima Cora Papadakis: """ It turns out she had posted this reply to another community member: > > OSD cannot be defined by people who could not build software. > > OSAID cannot be defined by people who could not build AI. > > To be fair, OSI has acknowledged its ignorance on the subject many > times and has summoned various experts, including from Google, > Meta, and Microsoft, to help co-design OSAID. > > Which is a bit like 1998 Perens and ESR asking Balmer’s Microsoft > how to define open source, but without knowing how to program > themselves. """ ¯\_(ツ)_/¯ Giacomo

1 0

Google turns to nuclear to power AI data centres
by Daniela Tafani Oct. 15, 2024

Oct. 15, 2024

Come previsto in Reclaiming AI as a Theoretical Tool for Cognitive Science, <https://link.springer.com/article/10.1007/s42113-024-00217-5>, l'ostinazione a perseguire la costruzione di macchine intelligenti con sistemi statistici equivale a voler risolvere con risorse naturali finite un problema intrattabile e condurrà a esaurire le risorse naturali dell'intero pianeta ben prima di aver costruito sistemi intelligenti. Se non nelle considerazione sui diritti, vulnerabili allo scherno degli integrati, questo aspetto potrebbe forse pesare nelle valutazioni neoliberali su opportunità e rischi. Google turns to nuclear to power AI data centres João da Silva Google has signed a deal to use small nuclear reactors to generate the vast amounts of energy needed to power its artificial intelligence (AI) data centres. The company says the agreement with Kairos Power will see it start using the first reactor this decade and bring more online by 2035. The companies did not give any details about how much the deal is worth or where the plants will be built. Technology firms are increasingly turning to nuclear sources of energy to supply the electricity used by the huge data centres that drive AI. "The grid needs new electricity sources to support AI technologies," said Michael Terrell, senior director for energy and climate at Google. "This agreement helps accelerate a new technology to meet energy needs cleanly and reliably, and unlock the full potential of AI for everyone." The deal with Google "is important to accelerate the commercialisation of advanced nuclear energy by demonstrating the technical and market viability of a solution critical to decarbonising power grids,” said Kairos executive Jeff Olson. The plans still have to be approved by the US Nuclear Regulatory Commission as well as local agencies before they are allowed to proceed. Last year, US regulators gave California-based Kairos Power the first permit in 50 years to build a new type of nuclear reactor. In July, the company started construction of a demonstration reactor in Tennessee. The startup specialises in the development of smaller reactors that use molten fluoride salt as a coolant instead of water, which is used by traditional nuclear plants. Nuclear power, which is virtually carbon free and provides electricity 24 hours a day, has become increasingly attractive to the tech industry as it attempts to cut emissions even as it uses more energy. Global energy consumption by data centres is expected to more than double by the end of the decade, according to Wall Street banking giant Goldman Sachs. John Moore, Industry Editor for the TechTarget website told the BBC that AI data centres need large amounts of electricity to both power them and and keep equipment cool. "These data centres are equipped with specialised hardware... that require lots of power, that generate lots of heat". At a United Nations Climate Change Conference last year, the US joined a group of countries that want to triple their nuclear energy capacity by 2050 as part of efforts to move away from fossil fuels. However, critics say nuclear power is not risk-free and produces long-lasting radioactive waste. Last month, Microsoft reached a deal to restart operations at the Three Mile Island energy plant, the site of America's worst nuclear accident in 1979. In March, Amazon said it would buy a nuclear-powered data centre in the state of Pennsylvania. "Google’s partnership with Kairos Power signals another major step in tech’s embrace of nuclear energy," said Somnath Kansabanik from research firm Rystad Energy. <https://www.bbc.com/news/articles/c748gn94k95o>

1 0

Large language models reduce public knowledge sharing on online Q&A platforms
by Giacomo Tesio Oct. 15, 2024

Oct. 15, 2024

Large language models (LLMs) are a potential substitute for human-generated data and knowledge resources. This substitution, however, can present a significant problem for the training data needed to develop future models if it leads to a reduction of human-generated content. In this work, we document a reduction in activity on Stack Overflow coinciding with the release of ChatGPT, a popular LLM. To test whether this reduction in activity is specific to the introduction of this LLM, we use counterfactuals involving similar human-generated knowledge resources that should not be affected by the introduction of ChatGPT to such extent. Within 6 months of ChatGPT’s release, activity on Stack Overflow decreased by 25% relative to its Russian and Chinese counterparts, where access to ChatGPT is limited, and to similar forums for mathematics, where ChatGPT is less capable. We interpret this estimate as a lower bound of the true impact of ChatGPT on Stack Overflow. The decline is larger for posts related to the most widely used programming languages. We find no significant change in post quality, measured by peer feedback, and observe similar decreases in content creation by more and less experienced users alike. Thus, LLMs are not only displacing duplicate, low-quality, or beginner-level content. Our findings suggest that the rapid adoption of LLMs reduces the production of public data needed to train them, with significant consequences. https://academic.oup.com/pnasnexus/article/3/9/pgae400/7754871 Com'era la favoletta che i LLM non competono sul mercato con i contenuti usati per programmarli statisticamente? Giacomo

5 10

Il rapporto Draghi e il GDPR
by de petra giulio Oct. 14, 2024

Oct. 14, 2024

Su come il rapporto Draghi considera il GDPR e, più in generale, la regolamentazione europea che riguarda le tecnologie digitali, vi segnalo questo contributo di Maurizio Borghi appena pubblicato sul sito del Crs. G. https://centroriformastato.it/leuropa-futura-meno-diritti-per-piu-competiti…

2 1

Re: [nexa] Articolo Omini di burro. Scuole e università al Paese dei Balocchi dell'IA generativa
by alessandro marzocchi Oct. 14, 2024

Oct. 14, 2024

Date: Sat, 12 Oct 2024 17:04:47 +0000 From: Daniela Tafani < daniela.tafani(a)unipi.it> ha scritto ho appena pubblicato un articolo dal titolo Omini di burro. Scuole e università al Paese dei Balocchi dell'IA generativa < https://btfp.sp.unipi.it/it/2024/10/omini-di-burro-scuole-e-universita-al-p… > Vi sarò grata di qualsiasi osservazione, in questa lista o nei commenti, nella pagina del "Bollettino telematico di filosofia politica" *** Daniela scrive: I testi generati riproducono, come in uno specchio <https://academic.oup.com/book/56292>, il pensiero egemonico e le ingiustizie espresse nei dati di partenza, ma, così come gli specchi non producono corpi, i grandi modelli del linguaggio naturale non producono menti. *** (mia osservazione): Ognuno deve molto all'ambiente in cui è cresciuto, all'educazione ricevuta. Le scelte diverse che a volte facciamo, potrebbero essere criticate come allucinazioni? Riflettiamo sul titolo del manuale di riferimento sulla follia: DSM, diagnostic STATISTIC manual, paradossalmente esasperando la statistica, quando la maggioranza era quadrupede i bipedi erano folli. E' stato un caso fortunato che allora non esisteva il DSM ma la stessa evoluzione è una deviazione statistica? Al netto di tutto, la macchina è creata dagli umani, mi pare ovvio che riproduca l'umano, coi suoi difetti ed errori. In fin dei conti la macchina analizza un numero enorme di casi (dati, informazioni, frasi, immagini) e da essi cerca di dedurre significati, relazioni. Noi umani facciamo qualcosa di diverso quando impariamo a parlare, camminare, scrivere, quando impariamo ad imparare? In tempi antichi, ma tutto sommato recenti, il medico toccava il nostro corpo per dedurre lo stato di salute, ora non più e da malato ho sofferto la mancanza del contatto fisico col medico, ora si usano termometri e millemila analisi molto spesso affidate a macchine ... esternalizzate, avrebbe criticato Platone. A partire dal termometro, ogni macchina ci dà una conoscenza del reale sua, della macchina con un "linguaggio macchina" e questo non ci ha preoccupato. A parte meraviglia, sorpresa, non ci ha preoccupato più di tanto la sostituzione del cuore - trapianto o macchine varie - anche se nel cuore vedevamo la sede di affetti ed emozioni. Ora ci preoccupa che la macchina si occupi di mente. Voleva scuotere la nostra mente il surrealismo che aveva anticipato dubbi e suggestioni, confondendo ed ibridando linguaggi e sensi, Magritte ci ha mostrato l'immagine di una pipa con la scritta "ceci n'est pas une pipe", prima dell'IA abbastanza per aprirci a domande nuove in tema di realtà e linguaggio che la descrive. Come tutti sono molto preoccupato, anche per controlli degenerati denunciati da Stefano Quintarelli e Juan Carlos De Martin, degenerazioni che neppure esse sono nate ora, fascismo nazismo stalinismo e loro controlli sono presenti nelle memorie dirette delle generazioni umane tuttora viventi. Alla fine mi domando: non è ovvio che questa nuova "macchina" ci somigli? Ma l'aspetto più interessante è l'analisi della realtà che essa apre. ... se ci arriveremo da persone libere, e questa è la domanda che più mi preoccupa, non la riflessione che la realtà è altro da noi, nonostante noi siamo parte della realtà Grazie, Daniela, per le riflessioni con le quali cresce la mia gratitudine per quel che imparo da questa lista: chi l'ha inventata? Errando discitur, anche questa è statistica, siamo tutti un poco pappagalli stocastici? Duccio (Alessandro Marzocchi)

6 7

E dopo Giannini, De Rita, era: Smartworking
by M. Fioretti Oct. 14, 2024

Oct. 14, 2024

On Thu, Oct 10, 2024 07:03:25 AM +0200, Marco Fioretti wrote: > L'idea che la dimensione sociale del lavoro non sia sostituibile, > meglio, da famiglia, amici, volontariato... fa PAURA. Giannini, anzi > QUEL modo di pensare, e' fermo all'800. Prima si supera meglio e', > proprio e SOPRATTUTTO per non "tracannarsi il cervello". > ... > Momento finale complottista, giusto per ridere: > > Giannini e' contento per i dipendenti di Amazon che saranno meno soli > perche' il CEO li ha consegnati in ufficio 5 giorni a settimana. Le > malelingue dicono che quella mossa e' per non scatenare crolli > immobiliari generalizzati: De Rita, invece (*): > Recuperare e rafforzare il centro di Roma è fondamentale per > attirare turisti in cerca di esperienze autentiche, dove la storia e > la cultura locale possano essere vissute in prima persona. > ... > In conclusione, l’invito di De Rita è deciso: non possiamo cadere > nella trappola della facilità del lavoro da remoto. È essenziale > rivalutare e rinvigorire la presenza fisica nella capitale, per > mantenere viva l’essenza culturale e storica di Roma. Chiaro, no? Per attirare i turisti in cerca di esperienze AUTENTICHE (come e' noto, lo scopo primario dell'esistenza di una citta') non parliamo di come rendere gli appartamenti del centro affittabili a lungo termine da famiglie giovani con figli, tanto per dirne una. Evitiamo invece la "trappola della facilita' del lavoro da remoto", costringendo tutti quegli impiegati, rappresentanti, broker, manager, avvocati di una volta, quelli che ormai sono visibili solo nel Marchese del Grillo o in Rugantino, a perdere ore di vita ogni giorno per arrivare in ufficio, per poi pranzare con altrettanto genuinamente romani poke', panini preconfezionati, snack industriali eccetera. Io boh. Marco (*) Articolo completo, desolante: https://www.lacronacadiroma.it/2024/10/linfluenza-dello-smart-working-sul-t… -- https://mfioretti.substack.com

6 6