September 2024 - nexa - server-nexa.polito.it

Re: [nexa] Copyright law makes a case for requiring data information rather than open datasets for Open Source AI - Felix Reda

by Giacomo Tesio

Ciao Stefano, On Sun, 15 Sep 2024 10:31:56 +0200 Stefano Zacchiroli wrote: > https://opensource.org/blog/copyright-law-makes-a-case-for-requiring-data-i… dopo aver letto attentamente le considerazioni di Felix Reda e di Stefano Maffulli ed approfondito varie questioni correlate, ho deciso di proporre questa modifica: https://discuss.opensource.org/t/rfc-separating-concerns-between-source-dat… In sintesi, si tratta di distinguere fra "source data" e "processing information". I dati sorgente devono essere completamente disponibili al pubblico o sotto una licenza opensource o sotto gli stessi termini che ne hanno permesso l'utilizzo durante il training da parte degli sviluppatori del sistema. Le informazioni di processo devono essere esaustive e disponibili sotto una licenza opensource. Che ne pensi? Giacomo PS: aveva ragione Claudio a preoccuparsi della questione già a Giugno. https://server-nexa.polito.it/pipermail/nexa/2024-June/052852.html

Sept. 16, 2024

Re: [nexa] an evil Nexa

by J.C. DE MARTIN

Accidenti... ci hanno sgamato... On 15/09/24 20:05, maurizio lana wrote: > Bruce Schneier nel suo blog segnala il progetto surveillance-watch > (https://www.schneier.com/blog/archives/2024/08/surveillance-watch.html) > > se si apre e si va alla sezione surveilling entities, tra le tante c'è > un "Nexa Technologies" >> Senior executives at this French spyware firm have been indicted for >> the company’s sale of surveillance software to authoritarian regimes >> in Libya and Egypt that resulted in the torture and disappearance of >> dissidents. Eagle products supplied by Nexa Technologies / Amesys >> were discovered in the offices of Muammar Gaddafi’s secret police. >> Nexa has an Emirati-based subsidiary called Advanced Middle East Systems > Nexus Technologies, no? oppure Nexon Technologies? > > Maurizio > > ------------------------------------------------------------------------ > dialogare tra di noi per costruire una democrazia, > l’unica istituzione di vita comune > che non sia fondata sulla paura di morire > michel dardenne > ------------------------------------------------------------------------ > Maurizio Lana > Università del Piemonte Orientale > Dipartimento di Studi Umanistici > Piazza Roma 36 - 13100 Vercelli

Sept. 15, 2024

an evil Nexa

by maurizio lana

Bruce Schneier nel suo blog segnala il progetto surveillance-watch (https://www.schneier.com/blog/archives/2024/08/surveillance-watch.html) se si apre e si va alla sezione surveilling entities, tra le tante c'è un "Nexa Technologies" > Senior executives at this French spyware firm have been indicted for > the company’s sale of surveillance software to authoritarian regimes > in Libya and Egypt that resulted in the torture and disappearance of > dissidents. Eagle products supplied by Nexa Technologies / Amesys were > discovered in the offices of Muammar Gaddafi’s secret police. Nexa has > an Emirati-based subsidiary called Advanced Middle East Systems Nexus Technologies, no? oppure Nexon Technologies? Maurizio ------------------------------------------------------------------------ dialogare tra di noi per costruire una democrazia, l’unica istituzione di vita comune che non sia fondata sulla paura di morire michel dardenne ------------------------------------------------------------------------ Maurizio Lana Università del Piemonte Orientale Dipartimento di Studi Umanistici Piazza Roma 36 - 13100 Vercelli

Sept. 15, 2024

Informatica a scuola

by Angelo Raffaele Meo

bellissimi messaggi degli amici Marco Fioretti, Enrico Nardelli, Giuseppe Attardi e 380° finalizzati alla promozione dell’insegnamento dell’informatica nella scuola mi suggeriscono una autentica operazione di marketing a favore di due nostri prodotti. Per farmi perdonare vi inforno che questi due prodotti sono una piccola parte del lavoro svolto gratuitamente nel tempo libero da una ventina di fanatici della parrocchia del software libero. I due pacchetti, come molti altri di cui intendo parlarvi in futuro, sono assolutamente liberi e gratuiti. Il primo prodotto è un riassunto dei principi e degli strumenti dell’informatica; il secondo è un manuale di programmazione in linguaggio Python. Stiamo completando in questi giorni l'attivazione del prototipo di un nuovo "archivio nazionale del materiale didattico libero" (definizione di UNESCO) nel quale stiamo caricando 2000 oggetti didattici (libri, manuali, videolezioni e videoconferenze, videogiochi didattici, software didattico). Ovviamente stiamo caricando in quell'archivio anche quei due manualini. Chi avesse bisogno subito dei due prodotti di cui vi ho parlato mi mandi un mail (angelo.meo(a)polito.it) ed io glieli manderò immediatamente via "we transfer". Molti colleghi della scuola mi hanno manifestato il timore che i loro allievi non siano in grado di comprendere i principi dell’informatica e della programmazione. Io invece penso che l’insegnamento dell’informatica sia più facile dell’insegnamento della mia prediletta filosofia e che anche l’apprendimento dei principi dell’informatica da parte degli allievi sia più facile dell’apprendimento dei concetti fondanti della filosofia. Inoltre, l’insegnamento dell’informatica può divenire più divertente inventando qualche gioco didattico che coinvolga gli allievi in ogni momento della lezione. Vi presento l’esempio di una lezione di un mio corso di programmazione nel linguaggio Python che tenni in una terza elementare (allego la foto). Si, cari amici. Vi parlo non di un programma applicativo ma della programmazione in Python, non dell’ultimo anno del liceo scientifico ma di una terza elementare, con allievi di 8 anni. L’oggetto della lezione erano gli operatori logici OR, AND e NOT. Le bambine rappresentavano le variabili Booleane indipendenti e il bambino la variabile Booleana dipendente.In quel momento veniva illustrato il seguente esempio: “bagnetto dell’elefantino” = “acqua fresca” OR “elefantino sporco”. Conservo fra i ricordi più simpatici le letterine che gli allievi di quella classe mi mandarono, forse su suggerimento della loro insegnante, per dirmi che si erano divertiti. Quelle letterine contenevano meravigliosi disegni, proposte di nuovi esempi e simpatici messaggi scritti in codice binario. Arrivo alle conclusioni, chiara manifestazione del mio fanatismo. Io penso che anche un maestro o un docente di materie umanistiche possano impartire lezioni di informatica. Ma ritengo che gli ordinamenti scolastici debbano prevedere anche l’insegnamento obbligatorio dell’informatica in tutte le scuole di ogni ordine e grado, compresa la scuola primaria. La finalità è quella indicata da Angelo Marcello Cardani: “ trasformare l’Italia in un Paese ad alfabeto puramente digitale”. Angelo Raffaele Meo

Sept. 15, 2024

Copyright law makes a case for requiring data information rather than open datasets for Open Source AI - Felix Reda

by Stefano Zacchiroli

https://opensource.org/blog/copyright-law-makes-a-case-for-requiring-data-i… (Personalmente ne traggo una conclusione diversa da Felix, ovvero che bisognerebbe quindi agire per *cambiare* il copyright in modo che permetta di incorporare lavori protetti in dataset aperti, anziché limitarsi alla data mining exception. È quella eccezione che ha creato il disequilibrio di potere che avvantaggia le aziende come Open AI in questo momento. Ma resta una delle letture più interessanti che mi è capitato di leggere a supporto della posizione di compromesso adottata in OSAID.) -- Stefano Zacchiroli . zack(a)upsilon.cc . https://upsilon.cc/zack _. ^ ._ Full professor of Computer Science o o o \/|V|\/ Télécom Paris, Polytechnic Institute of Paris o o o </> <\> Co-founder & CTO Software Heritage o o o o /\|^|/\ https://twitter.com/zacchiro . https://mastodon.xyz/@zacchiro '" V "'

Sept. 15, 2024

LLMs Will Always Hallucinate, and We Need to Live With This

by Giacomo Tesio

As Large Language Models become more ubiquitous across domains, it becomes important to examine their inherent limitations critically. This work argues that hallucinations in language models are not just occasional errors but an inevitable feature of these systems. We demonstrate that hallucinations stem from the fundamental mathematical and logical structure of LLMs. It is, therefore, impossible to eliminate them through architectural improvements, dataset enhancements, or fact-checking mechanisms. Our analysis draws on computational theory and Godel's First Incompleteness Theorem, which references the undecidability of problems like the Halting, Emptiness, and Acceptance Problems. We demonstrate that every stage of the LLM process-from training data compilation to fact retrieval, intent classification, and text generation-will have a non-zero probability of producing hallucinations. This work introduces the concept of Structural Hallucination as an intrinsic nature of these systems. By establishing the mathematical certainty of hallucinations, we challenge the prevailing notion that they can be fully mitigated. https://arxiv.org/abs/2409.05746 Naturalmente, una volta compreso che si tratta di compressioni lossy dei testi usati per programmarli, una presenza di artefatti grosso modo inversamente proporzionale al livello di compressione è ovvia. Ma magari un articolo scritto nella lingua parlata dai believer della AI è utile a far scoppiare un po' di bolle (pustole? :-D) Giacomo

Sept. 14, 2024

Re: [nexa] "pogrammazione statistica" o "intelligenza artificiale"? [era: AI Training is Copyright Infringement]

by Giacomo Tesio

Ciao Alfredo, On Thu, 12 Sep 2024 23:48:27 +0200 "Alfredo Bregni" wrote: > NON C'E' "equivalenza fra dato e programma". > SONO TUTTI DATI. Amen! Sono letteralmente anni che lo sostengo: https://video.linuxtrent.it/w/sWFcXj4DpWPTkvdi7jA61u?start=18m18s Il problema era fornire una dimostrazione solida a Giuseppe che sostiene l'esistenza di una differenza fra dati e programmi. Una volta superata questa differenza, tutta una serie di problemi viene meno. Ad esempio, una volta chiarito che le "reti neurali artificiali" non sono altro che macchine programmabili statisticamente per mappare due spazi vettoriali, il fatto che i "modelli" non siano altro che l'eseguibile che ne definisce il comportamento appare evidente, come appare evidente che tale eseguibile sia il prodotto del processo di compilazione dei dataset sorgente. Con tutto ciò che ne consegue in termini di diritto d'autore. Se poi per compiacere OpenAI decidessero che la compilazione fa venir meno il diritto d'autore, io ne sarei felicissimo! Purché valga per tutti i processi di compilazione, non solo a quelli che fanno comodo a OpenAI & friends! Ad esempio, se gli LLM sono sollevati dal copyright degli autori che ne hanno scritto il sorgente, allora devono esserlo neanche i binari per Windows o iOS. Tutto qui. Ora non ci resta che aspettare il file non-eseguibile di Giuseppe. Non tratterrei il fiato, comunque... ;-) Giacomo PS > >>non è un computer, ma non è un amplificatore > > E' un computer (banale), che sposta il dato di memoria > (chiamato pomposamente "istruzione") da dentro a fuori. No, non è un computer perché non fa calcoli. Sulla banalità non saprei... tu quante ne hai a casa? :-D Comunque è una macchina programmabile. E non è inutile. Prendi una semplice automobilina telecomandata di quelle super-economiche che sterzano solo in un verso e connetti la mia macchina programmabile ai cavetti che controllano lo sterzo. Hai appena costruito un'automobilina programmabile a cassette.

Sept. 14, 2024

Re: [nexa] Learning to reason [but not to count] with LLMs

by Guido Vetere

*Talmente deprimente che persino il CEO di HuggingFace [4] ha reagito* *alla pagliacciata* *```* HuggingFace ospita attualmente più di 130.000 "open model" che fanno text-to-text generation, per lo più fine-tune dei modelli "tascabili" come quelli di Meta e DeepMind, specializzati per lingua e per task da università, imprese, ricercatori indipendenti. Questa reazione mostra come la tensione tra i fautori dell'AGI, cioè chi ha i mezzi per (dire di) realizzarla, e il resto del mondo della ricerca stia crescendo e diventando visibile. È su questo conflitto andrebbe fatta una riflessione. G. Il Sab 14 Set 2024, 22:16 Giacomo Tesio <giacomo(a)tesio.it> ha scritto: > Ciao Antonio, > > On Sat, 14 Sep 2024 16:43:07 +0200 Antonio wrote: > > > Prima c'era la scelta casuale per simulare il "pensiero creativo", > > ora c'è il ritardo per simulare il "pensiero ragionato". > > Il dizionario AI <-> Informatica si arricchisce di un nuovi elementi: > > Informatica | AI > -----------------------|------------------------- > Software | Modello > | > Compilazione | Training > | > Programmatore | Data Scientist > | > Bug | Hallucination > | > Bugfix | ¯\_(ツ)_/¯ > | (see Boeing 747 Max) > | > /dev/random | Creativity > | > Data Augmentation | Chain of Thought > | > "Loading..." | "I'm thinking..." > | > > > > Forse sarebbe meglio abbandonare definitivamente OpenAI al suo > > destino e (ri)concentrarci sull'informatica "classica". > > Tipo da Dijkstra? ;-) > https://www.cs.utexas.edu/~EWD/transcriptions/EWD08xx/EWD898.html > > > Più in generale bisognerebbe deridere chiunque antropomorfizzi cose. > E allontanarlo da qualsiasi ruolo decisionale. > > > E' urgente trovare un modo più serio e scientifico di definire, > insegnare e discutere queste tecniche di programmazione statistica, > ma di per sé le tecniche non sono completamente da buttare. > > Possono avere una loro applicabilità nei video giochi, ad esempio, > la cui programmazione potrebbe avvicinare molti ragazzini. > > > La matematica necessaria a comprendere il processo di > programmazione statistica di una Vector Reducing Machine > è quella che si fa al quarto / quinto anno delle superiori. > > E scrivere una Vector Reducing Machine in Python richiede > un centinaio di righe di codice scarse. [1] > > > Giacomo > > [1] ad esempio > https://github.com/Shamar/ANN-decompiler/blob/master/vmm.py >

Sept. 14, 2024

Re: [nexa] Learning to reason [but not to count] with LLMs

by Giacomo Tesio

Ciao Antonio, On Sat, 14 Sep 2024 16:43:07 +0200 Antonio wrote: > Prima c'era la scelta casuale per simulare il "pensiero creativo", > ora c'è il ritardo per simulare il "pensiero ragionato". Il dizionario AI <-> Informatica si arricchisce di un nuovi elementi: Informatica | AI -----------------------|------------------------- Software | Modello | Compilazione | Training | Programmatore | Data Scientist | Bug | Hallucination | Bugfix | ¯\_(ツ)_/¯ | (see Boeing 747 Max) | /dev/random | Creativity | Data Augmentation | Chain of Thought | "Loading..." | "I'm thinking..." | > Forse sarebbe meglio abbandonare definitivamente OpenAI al suo > destino e (ri)concentrarci sull'informatica "classica". Tipo da Dijkstra? ;-) https://www.cs.utexas.edu/~EWD/transcriptions/EWD08xx/EWD898.html Più in generale bisognerebbe deridere chiunque antropomorfizzi cose. E allontanarlo da qualsiasi ruolo decisionale. E' urgente trovare un modo più serio e scientifico di definire, insegnare e discutere queste tecniche di programmazione statistica, ma di per sé le tecniche non sono completamente da buttare. Possono avere una loro applicabilità nei video giochi, ad esempio, la cui programmazione potrebbe avvicinare molti ragazzini. La matematica necessaria a comprendere il processo di programmazione statistica di una Vector Reducing Machine è quella che si fa al quarto / quinto anno delle superiori. E scrivere una Vector Reducing Machine in Python richiede un centinaio di righe di codice scarse. [1] Giacomo [1] ad esempio https://github.com/Shamar/ANN-decompiler/blob/master/vmm.py

Sept. 14, 2024

Re: [nexa] Learning to reason [but not to count] with LLMs

by Giacomo Tesio

Ma vedi Daniela, On Fri, 13 Sep 2024 18:59:01 +0000 Daniela Tafani wrote: > > On Fri, 13 Sep 2024 00:36:09 +0200 Giuseppe Attardi wrote: > > Learning to Reason with LLMs openai.com > > https://openai.com/index/learning-to-reason-with-llms/ > > <https://nitter.poast.org/MelMitchell1/status/1834424918580076843> il problema non è tanto che o1 non funzioni [1], ma che persone autorevoli e preparate si bevano le sciocchezze che quelli di Open AI scrivono e si prestino a diffonderle ed amplificarle! Stiamo parlando della stessa Open AI che diffonde benchmark non riproducibili che confronta con statistiche biased [2] per dedurne dichiarazioni sensazionalistiche che vengono ripetute "a pappagallo" da pappagalli stocastici e non. Ma d'altro canto, che aspettarsi da chi utilizzava output cherry-picked dichiaratamente non riproducibili per dichiarare la presenza di "scintille di intelligenza generale" in GPT-4? [3] Tutto ciò è molto deprimente. Talmente deprimente che persino il CEO di HuggingFace [4] ha reagito alla pagliacciata ``` Once again, an AI system is not "thinking", it's "processing", "running predictions",... just like Google or computers do. Giving the false impression that technology systems are human is just cheap snake oil and marketing to fool you into thinking it's more clever than it is. ``` <https://nitter.lucabased.xyz/ClementDelangue/status/1834283206474191320> Che poi, non ci vuole un esperto per riconoscere un sistema soggetto a overfit [5]. Ed infatti la documentazione delle SDK ammonisce ``` Limit additional context in retrieval-augmented generation (RAG): When providing additional context or documents, include only the most relevant information to prevent the model from overcomplicating its response. ``` <https://sdk.vercel.ai/docs/guides/o1> Se o1 sapesse "ragionare come un PhD", saprebbe distinguere i dati superflui come fa un bambino alle elementari. Ma poiché riproduce in output versioni alterate dei manuali usati per la sua programmazione statistica, statisticamente correlate ai termini usati nel prompt, ogni termine in più, può alterare la navigazione dei contenuti compressi generando sciocchezze. Lo sapevano e hanno messo le mani avanti. Ma un prompt minimale e attinente ai casi d'uso previsti per o1 come quello provato da Colin Fraser: "can you solve the equation 9.11 - x = 9.9 + x?" dovrebbe funzionare. E invece, no. Sa contare le r in "Strawberry"... ma non le t. Overfitting, appunto. E devono esserne ben consapevoli se Tworek (ricercatore capo di OpenAI) dice a The Verge che non credono si possa comparare "AI model thinking" con "human thinking" [6] e Joanne Jang (OpenAI product manager) ha scritto su Twitter: "There's a lot of o1 hype on my feed, so I'm worried that it might be setting the wrong expectations." Ma nel loro annuncio "reason" compare 18 volte e "think" 9. Perché rischiare la faccia così? https://www.bloomberg.com/news/articles/2024-09-11/openai-fundraising-set-t… Pump & dump. Ed è triste vedere come molti si prestino al loro gioco. Giacomo [1] e non funziona (immagini in allegato, per archiviazione): https://nitter.poast.org/pic/orig/media%2FGXXjx11a4AA4UyG.png https://nitter.poast.org/pic/orig/media%2FGXXj6M0bcAAxruz.png https://nitter.poast.org/pic/orig/media%2FGXXkpmfawAA6Umf.png [2] <https://www.fastcompany.com/91073277/did-openais-gpt-4-really-pass-the-bar-…> ricorda in questo le ricerche pseudo-scientifiche che dimostravano come un bicchiere di vino al giorno allungasse la vita rispetto a zero bicchieri, includendo nel campione pazienti terminali che non si alimentavano da soli e a cui non venivano somministrati alcolici. [3] <https://arxiv.org/abs/2303.12712> [4] non certo uno stinco di santo [5] <https://en.m.wikipedia.org/wiki/Overfitting> [6] https://www.theverge.com/2024/9/12/24242439/openai-o1-model-reasoning-straw…

Sept. 14, 2024