- nexa - server-nexa.polito.it

Re: [nexa] AI Training is Copyright Infringement
by Giuseppe Attardi Sept. 12, 2024

Sept. 12, 2024

> From: Giacomo Tesio <giacomo(a)tesio.it> > > Caro Duccio, > > Quando tu impari, tu (soggetto) impari (verbo). > > > Nessun altro prende la tua testa, la apre e scrive nel tuo cervello una serie di dati a caso, > misura quanto il tuo comportamento si discosta da quanto desidera e modifica un pochino > quei dati, poi misura quanto il tuo comportamento si discosta da quanto > desidera e modifica di nuovo un pochino > quei dati, e ripete il procedimento milioni o > miliardi di volte fin quando il tuo comportamento non si discosta più di un ε trascurabile > da quanto desidera. > > In un tale ipotetico processo, tu saresti un oggetto che subisce l'azione, > non un soggetto che la compie. > > Chiameresti il processo che ho descritto "human learning"? > Chiameresti "intelligente" il comportamento acquisito in questo modo? > (ovvero tale che non si discosti statisticamente più ε da quello prestabilito) > > > Se no, non hai ragione di chiamare "machine learning" il processo di sviluppo di un LLM > come non hai ragione di chiamare "intelligenza artificiale" il risultato di tale processo. > > > La scelta di termini più appropriati è oggetto di un altro thread, puoi star certo che > non c'è alcuna intelligenza dentro un LLM. > > > Si tratta di un software progettato per _sembrare_ intelligente, ma solo > a chi non sa come funziona. > > > La natura del nostro apprendimento non è statistica: posso spiegarti come contare > fino a 31 sulle dita di una mano senza fartelo vedere nemmeno una volta. > > Il tuo pugno chiuso significa zero. > Ad ogni dito associamo una potenza di due: > - pollice = 1 > - indice = 2 > - medio = 4 > - anulare = 8 > - mignolo = 16 > > Solleva una qualsiasi combinazione di dita e somma i valori associati a ciascun dito: > otterrai un numero fra 0 e 31. > > Ora, senza che io ti dica altro o ti mostri alcun esempio, puoi imparare da solo come > mettere le varie combinazioni in ordine dal valore complessivo più piccolo, al più grande. > > Nota bene: non solo non ti fornisco nemmeno un esempio (niente statistica), ma non ti > sto insegnando come fare, ti ho solo detto come fare ad imparare. > > Tu (soggetto) impari (verbo). > Se vuoi. > > > Nessuno ti butta conoscenza dentro il cervello. > > Nessuna macchina lo saprà mai fare. > > > Giacomo > Ho fornito le tue istruzioni a ChatGPT: Il tuo pugno chiuso significa zero. Ad ogni dito associamo una potenza di due: - pollice = 1 - indice = 2 - medio = 4 - anulare = 8 - mignolo = 16 Sollevando una qualsiasi combinazione di dita e sommando i valori associati a ciascun dito si ottiene un numero fra 0 e 31. Che numero ottengo sollevando pollice e medio? ChatGPT: Se sollevi pollice e medio, ottieni la somma dei valori associati a questi due dita: - Pollice = 1 - Medio = 4 La somma è: 1 + 4 = 5 Quindi, il numero ottenuto è 5.

1 0

Intelligenza Collettiva Artificiale (ICA)
by D. Davide Lamanna Sept. 11, 2024

Sept. 11, 2024

https://bit.ly/qddica È possibile che le comunità locali adottino tecnologie avanzate di intellegenza artificiale 𝘀𝘂 𝗯𝗮𝘀𝘀𝗮 𝘀𝗰𝗮𝗹𝗮 per scopi mirati, sottraendosi al 𝗰𝗮𝗽𝗶𝘁𝗮𝗹𝗶𝘀𝗺𝗼 𝗱𝗲𝗹𝗹𝗮 𝘀𝗼𝗿𝘃𝗲𝗴𝗹𝗶𝗮𝗻𝘇𝗮? Oppure siamo inevitabilmente vincolati ai modelli accentrati e neoliberisti che dominano il panorama tecnologico attuale? Ce lo siamo chiesti insieme a Stefano Puglia e abbiamo esplorato queste domande in un 𝘀𝗮𝗴𝗴𝗶𝗼 pubblicato sui 𝗤𝘂𝗮𝗱𝗲𝗿𝗻𝗶 𝗱𝗲𝗹𝗹𝗮 𝗗𝗲𝗰𝗿𝗲𝘀𝗰𝗶𝘁𝗮. In questo lavoro proponiamo una riflessione su come una filosofia di decrescita moderna possa ispirare 𝘃𝗶𝘀𝗶𝗼𝗻𝗶 𝗮𝗻𝘁𝗮𝗴𝗼𝗻𝗶𝘀𝘁𝗲 rispetto agli usi ed agli impatti dell’attuale Intelligenza Artificiale statistica e di ogni tecnologia ad essa correlata. Presentiamo scenari concreti in cui 𝘁𝗲𝗰𝗻𝗼𝗹𝗼𝗴𝗶𝗲 𝗮𝗽𝗲𝗿𝘁𝗲 𝗲 𝗹𝗶𝗯𝗲𝗿𝗲 possono supportare servizi locali su piccola scala, 𝘁𝗲𝗰𝗻𝗼𝗹𝗼𝗴𝗶𝗰𝗮𝗺𝗲𝗻𝘁𝗲 𝗮𝘂𝘁𝗼𝗻𝗼𝗺𝗶 e svincolati dal controllo dei Big Tech; ma anche una 𝗽𝗿𝗼𝘃𝗼𝗰𝗮𝘇𝗶𝗼𝗻𝗲 𝘂𝘁𝗼𝗽𝗶𝘀𝘁𝗶𝗰𝗮 per una progressiva transizione verso un futuro tecnologicamente più informato, equilibrato e consapevole. Leggi il saggio completo "𝗗𝗲𝗰𝗿𝗲𝘀𝗰𝗶𝘁𝗮 𝗱𝗶𝗴𝗶𝘁𝗮𝗹𝗲 𝗻𝗲𝗹𝗹’𝗲𝗿𝗮 𝗱𝗲𝗹𝗹’𝗶𝗻𝘁𝗲𝗹𝗹𝗶𝗴𝗲𝗻𝘇𝗮 𝗮𝗿𝘁𝗶𝗳𝗶𝗰𝗶𝗮𝗹𝗲 𝗕𝗶𝗴 𝗧𝗲𝗰𝗵" qui:https://lnkd.in/db5VvajG <https://lnkd.in/db5VvajG> Il saggio è stato inoltre pubblicato su Comune-info: https://comune-info.net/decrescita-digitale-nellera-dellintelligenza-artifi… D. (null)

1 0

Database di accordi commerciali tra aziende AI e piattaforme ed editori per l'uso di contenuti
by Antonio Vetro' Sept. 11, 2024

Sept. 11, 2024

Un database che riporta gli accordi che le aziende di AI hanno stipulato con piattaforme ed editori per utilizzare i loro contenuti per l'addestramento di Large Language Models (LLM) https://petebrown.quarto.pub/pnp-ai-partnerships/ Sviluppato da ricercatori della Columbia Journalism School, non ci sono però le fonti usate. A.

2 1

"pogrammazione statistica" o "intelligenza artificiale"? [era: AI Training is Copyright Infringement]
by Giacomo Tesio Sept. 10, 2024

Sept. 10, 2024

On Tue, 10 Sep 2024 10:13:10 +0200 Giuseppe Attardi wrote: > Si può riassumere dicendo che... Sì, ma non stiamo solo chiacchierando fra noi e questo scambio sul crinale fra informazione e dato, fra matematica e informatica, può essere di interesse per molti iscritti alla lista Nexa, se riusciamo a mantenerlo intellegibile anche ai non programmatori. > Il codice che calcola f fa uso di theta, ma non è theta che esegue > alcun calcolo e non può essere chiamato software. > [...] > L’architettura Von Neuman distingue tra istruzioni e dati: le prime > sono caricate nella CPU, i secondi nella ALU. Anzitutto io ho parlato di macchine programmabili, non specificatamente dell'architettura von Neumann che rappresenta solo **una** delle architetture possibili per tali macchine. Inoltre anche nell'architettura von Neumann nessuna istruzione "esegue alcun calcolo": è l'unità di calcolo all'interno della CPU ad azionare la circuiteria associata a ciascuna istruzione. Le Vector Reducing Machines costituiscono una classe di architetture diverse (ciascuna caratterizzata dalla rispettiva topologia), ma ciascuna esegue programmi codificati come matrici di dimensionalità appropriata che rappresentano funzioni fra spazi vettoriali distinti. > ma rimangono istruzioni, se caricate nella CPU. In realtà no: quando vengono caricate nelle CPU moderne, le istruzioni definite nella ISA vengono trasformate in microcodice proprietario (come 380° ricorda spesso): dunque sono trattate come dato _ANCHE_ dalla CPU. Quindi, se theta "non può essere chiamato software", non possono essere chiamati software nemmeno Windows, Linux o Android. > Semmai le istruzioni, che sono conservate in memoria, possono essere > trattate come dati, in programmi che si automodificano Mica solo in programmi che si automodificano! Ogni compilatore, ogni interprete e ogni macchina virtuale tratta le istruzioni come dati. Ogni sistema operativo le tratta come dati mentre le salva sul filesystem o le carica in RAM ad ogni page fault. Per non parlare dei molti compilatori JIT (just in time) che caricano in memoria le istruzioni di un eseguibile RISC-V, le traducono al volo in istruzioni x86 e per poi farle eseguire alla CPU, trattando sia le istruzioni RISC-V che quelle x86 come dati. [1] Gli esempi sono innumerevoli senza nemmeno nominare LiSP! (ops! :-D) Perché? Perché gli eseguibili _sono_ dati. Come lo è il codice sorgente. Sono rappresentazioni trasferibili di informazioni. Infatti, come ho provato a spiegare nella mail precedente, per ogni sequenza di byte (foto, film, audio, testo, /dev/random etc...) puoi costruire infinite macchine programmabili che eseguono quella sequenza di byte per determinare il proprio comportamento. Ne consegue che qualsiasi dato è eseguibile esattamente come qualsiasi eseguibile è dato. [2] Ma c'è di più: poiché puoi sempre scrivere un compilatore che trasformi qualunque sequenza di byte in una diversa sequenza eseguibile per una qualche macchina programmabile, ogni dato è anche codice sorgente. Ne consegue che l'insieme dei dati, l'insieme degli eseguibili e l'insieme dei codici sorgente coincidono. [3] Q.E.D. :-D La distinzione è puramente colloquiale, legata all'uso che stiamo facendo della sequenza di byte in un certo momento, ma è indipendente da qualsiasi caratteristica intrinseca della sequenza di byte. > una rete neurale calcola una funzione f(theta, x) = y Proviamo a sostituire i termini antropomorfici: "una Vector Reducing Machine implementa una funzione f(theta, x) = y" Se invece di una "rete neurale" che "calcola" mettiamo una macchina che implementa, la frase è meno evocativa ma descrive più precisamente ciò che effettivamente accade. La funzione f infatti appartiene all'insieme delle informazioni nelle nostre menti, esperienze soggettive di pensiero comunicabile, ma fintanto che rimane lì dentro, non può avere effetti sul mondo esterno. Se vogliamo che abbia effetti dobbiamo esprimerla, imprimendola sui componenti di una macchina che la implementa. Questa macchina può essere fisica o virtuale: il già citato llama.cpp è un esempio di macchina virtuale che implementa la funzione f. > theta sono i parametri del modello Utilizzare il termine "modello" è errato e fuorviante perché richiama un modello statistico che per definizione fornisce informazioni intellegibili sul campione statistico da cui viene calcolato. Matematicamente, theta è la prima variabile indipendente di f. Ma dal punto di vista informatico, theta è l'eseguibile che determina in modo preciso e deterministico il comportamento della Vector Reducing Machine che implementa f. > Ossia non bastano i dati (theta) per modificare f. Stai confondendo la funzione f : t -> x -> y, con la funzione g : x -> y ottenuta attraverso l'applicazione parziale di un particolare theta a f. Chiudere f su un theta' diverso è sufficiente ad ottenere una funzione g' diversa, senza alterare in alcun modo f. Questo perché f descrive una macchina programmabile e theta uno dei possibili programmi che tale macchina può eseguire. Infatti, come tu stesso osservi, > Theta è del tutto inutile senza f. esattamente come un binario x86 (o ARM o RISC-V etc...) è del tutto inutile senza una macchina che lo esegua. ____ Passiamo ora alle minuzie da nerd: > > - ne si codifica gli elementi come vettori numerici attraverso > > una analisi statistica > > Nel caso dei testi si fa una tokenizzazione (ad esempio con le regole > di Porter) Porter descrive il suo algoritmo come: """ a process for removing the commoner morphological and inflexional endings from words in English. Its main use is as part of a term normalisation process... """ https://tartarus.org/martin/PorterStemmer/ Nota le parole "commoner" e "normalization": si tratta di (e si basa su) una analisi _statistica_ del testo. > Nessuno di questi lo chiamerei un’analisi statistica. Nel caso della compilazione della matrice degli embedding (l'eseguibile della VRM) a partire dai testi sorgente, sono d'accordo. Non è una _analisi_ statistica ma un processo di _compilazione_ statistica (parte di un più ampio processo di _programmazione_ statistica che parte dalla ricerca e selezione dei testi sorgente). Tale processo NON produce infatti un _modello_ statistico delle relazioni presenti nel dataset utilizzato, ma un eseguibile per una specifica Vector Reducing Machine. Si tratta di un processo statistico di compilazione perché, sia ad ogni batch che complessivamente, le variazioni applicate all'eseguibile dipendono esclusivamente dalla frequenza delle coppie di vettori input + next token presenti nel data set. Al termine del processo, la matrice risultante è contemporaneamente - un eseguibile per tutte le Vector Reducing Machines con quella topologia - una compressione lossy di TUTTI i testi utilizzati durante il processo di compilazione (come dimostra l'utilizzo di filtri anti plagio sull'output prodotto dal LLM per nascondere le prove del plagio avvenuto il processo di compilazione. Nota poi come smettere di usare una terminologia antropomorfa e riconoscere la compilazione dell'eseguibile per una VRM come parte di un processo di programmazione statistica, fa venir meno alcune distinzioni utili soltanto a deresponsabilizzare chi realizza questi software come quella fra supervised e unsupervised "training". Nessuna AI fa "training" unsupervised, semplicemente esistono metodologie diverse di programmazione statistica applicabili a contesti diversi, in alcuni dei quali è possibile valutare automaticamente l'errore contenuto nell'output prodotto dalla VRM (ricorderai ad esempio AlphaGo). A presto! Giacomo [1] i primi che mi vengono in mente: https://michaeljclark.github.io/ https://github.com/libriscv/libriscv [2] se preferisci una dimostrazione equivalente ma dotata di pedigree accademico, la trovi a pagina 23 di questo manuale: https://theory.cs.princeton.edu/complexity/book.pdf [3] naturalmente non tutte le macchine programmabili sono in grado di eseguire qualsiasi sequenza di byte: per ottenere eseguibili supportati da una specifica macchina programmabile che insista su un sottoinsieme di tale universo, scriviamo compilatori che rappresentano funzioni da un sottoinsieme di nostra scelta (i cui elementi chiamiamo "sorgenti") e l'insieme contenente gli eseguibili di quella macchina (e i possibili messaggi di errore :-D).

3 4

per i non programmatori
by alessandro marzocchi Sept. 10, 2024

Sept. 10, 2024

Prendo spunto da alcune parole di Giacomo Tesio a Giuseppe Attardi non stiamo solo chiacchierando fra noi e questo scambio ... può > essere di interesse per molti iscritti alla lista Nexa, se riusciamo > a mantenerlo intellegibile anche ai non programmatori. > Non programmatore ed invecchiato nell'ignoranza STEM, mi avete insegnato e mi fate faticare molto, non pretendo che tutto sia reso comprensibile anche ai non tecnici ma se ci provate non posso che ringraziare. Cordialmente Duccio (Alessandro Marzocchi)

1 0

"Smartphone vietati ai minori di 14 anni", appello al governo
by Marco Fioretti Sept. 10, 2024

Sept. 10, 2024

L'articolo e' a pagamento, quindi ne so solo titolo e primo paragrafo https://www.repubblica.it/italia/2024/09/10/news/smartphone_vietati_ai_mino… (https://www.repubblica.it/italia/2024/09/10/news/smartphone_vietati_ai_mino…) qualcuno ha dettagli? Personalmente, tutto quel che ho da dire in proposito l'ho gia' scritto, quindi mi limito a riportare il link https://mfioretti.substack.com/p/smartphones-are-the-source-of-a-huge (https://mfioretti.substack.com/p/smartphones-are-the-source-of-a-huge) https://mfioretti.substack.com/p/it-doesnt-really-matter-whether-social (https://mfioretti.substack.com/p/it-doesnt-really-matter-whether-social) https://mfioretti.substack.com/p/honestly-the-problem-with-children (https://mfioretti.substack.com/p/honestly-the-problem-with-children) NB: anticipando domande simili ricevute in passato per altri miei pezzi: quei post sono scritti direttamente in Inglese, non ci sono versioni italiane. Se qualcuno volesse farsele, mi contatti pure in privato. Marco

1 0

L’Europa impossibile di Mario Draghi
by Anna Masera Sept. 10, 2024

Sept. 10, 2024

2 2

[CfP COMNET SI] Elsevier COMNET Special Issue on Generative and Explainable AI for Internet Traffic and Network Architectures
by Danilo Giordano Sept. 10, 2024

Sept. 10, 2024

Dear colleagues, Our apologies if you receive multiple copies of this message. ********************************************************************** CALL FOR PAPERS Special Issue on Generative and Explainable AI for Internet Traffic and Network Architectures Elsevier Computer Networks https://www.sciencedirect.com/journal/computer-networks/about/call-for-pape… (Submission deadline: December 1, 2024) ********************************************************************** We are pleased to announce a call for papers for a special issue of Elsevier Computer Networks journal, focusing on the transformative potential of generative and explainable AI in Internet traffic analysis and network architectures. As Internet-connected devices multiply and traffic data grows exponentially, traditional methods are increasingly challenged. This special issue aims to highlight how generative AI can synthesize realistic traffic data, automate network configurations, and enhance security measures. Additionally, explainable AI can provide deeper insights into network behaviors, improving transparency, trust, and overall network performance. We invite you to contribute to this pioneering special issue and lead the advancement of AI-driven innovations in Internet traffic analysis and network architectures. Key Topics of Interest include but are not limited to the following: ----------------------- - Generative AI methods to synthesize realistic and diverse traffic data - Automatic network configuration and management utilizing Generative AI - Applications of Large Language Models (LLMs) in network traffic generation - Prompt Engineering for LLMs in network traffic analysis, management, and security - Generative AI for enhancing network security and intrusion detection - Assessing the robustness and reliability of Generative AI in network management, including standardized benchmarks and datasets - Explainable AI techniques for network traffic analysis and management tools - Human-in-the-loop AI and the integration of interpretability into AI-driven traffic analysis - Ensuring fairness, accountability, and transparency in AI applications for networking - Real-world applications and case studies showcasing Generative and Explainable AI in network traffic analysis, management, and security - Bridging the gap between network data explanation and actionable interpretability - Techniques for improving the trust and practical use of data-driven network analysis methods Guest Editors: -------------- - Antonio Montieri, PhD - Università degli Studi di Napoli Federico II, Napoli, Italy (antonio.montieri(a)unina.it) - Danilo Giordano, PhD - Politecnico di Torino, Torino, Italy (danilo.giordano(a)polito.it) - Claudio Fiandrino, PhD - IMDEA Networks Institute, Madrid, Spain (claudio.fiandrino(a)imdea.org) - Jonatan Krolikowski, PhD - Huawei Technologies France SAS, Boulogne Billancourt, France (jonatan.krolikowski(a)huawei.com) Important Dates: ---------------- - Submission Open Date: July 1, 2024 - Final Manuscript Submission Deadline: December 1, 2024 - Editorial Acceptance Deadline: March 1, 2025 Manuscript Submission Information: ----------------------------------- The journal's submission platform (https://www.editorialmanager.com/comnet/default.aspx) is available for receiving submissions to this Special Issue from July 1st, 2024. Authors are advised to follow the Guide for Authors to prepare their manuscripts and select the article type “VSI: GenXAI for Internet” when submitting online. More information about the Special Issue, the Guide for Authors, and the submission portal are available at the following link: https://www.sciencedirect.com/journal/computer-networks/about/call-for-pape… ********************************************************************** SPECIAL ISSUE DETAILS ********************************************************************** In the realm of Internet traffic analysis, the advent of Artificial Intelligence (AI) has marked a significant paradigm shift. With the proliferation of Internet-connected devices and the exponential growth of traffic data, traditional traffic analysis methods are struggling to cope with the sheer volume and complexity of modern networks. Moreover, the dynamic nature of Internet traffic patterns and the emergence of sophisticated cyber threats further exacerbate the challenges faced by network operators and cybersecurity professionals. In response, there is a pressing need for advanced analytical tools that can provide accurate Internet traffic “visibility”, enable actionable insights into traffic behavior, identify anomalies and intrusions, and ultimately enhance network security and performance. On the other hand, the collection, segmentation, and labeling of traffic datasets are cumbersome processes, often requiring human experts to guide the different stages. Additionally, factors like the dynamic nature of traffic, privacy concerns, and the limited samples of certain traffic types (e.g., network attacks, IoT devices) further challenge data collection. Moreover, while data-driven techniques have the potential for outstanding performance and adaptability, they often operate as black-box systems, making it difficult to understand their behavior, improve their performance, or protect them from potential attacks. This limits the interpretability and trust in these methods, affecting their practical use. The integration of generative and explainable AI techniques presents a promising avenue for addressing these challenges. By harnessing the power of AI to generate realistic traffic data and provide interpretable insights, researchers and practitioners can overcome the limitations of traditional traffic analysis methods. Generative AI models enable the creation of diverse and representative traffic datasets, facilitating the training of AI-driven models for intrusion detection and network optimization. Meanwhile, explainable AI techniques enhance the transparency and trustworthiness of AI-driven traffic analysis, enabling network operators to understand and interpret the decisions made by AI methods. This special issue aims to delve into the methodological, technical, and practical aspects of leveraging generative and explainable AI for Internet traffic analysis and network architectures. By focusing on these cutting-edge topics, we seek to provide a platform for researchers and practitioners to explore innovative approaches, share insights, and advance state of the art. The special issue will encompass a wide range of themes, including AI-driven generation of standardized traffic datasets, network management aided by generative AI, interpretable and trustworthy AI solutions for Internet traffic analysis, and real-world applications of generative and explainable AI in network optimization and security. **********************************************************************

1 0

Re: [nexa] AI Training is Copyright Infringement
by Giuseppe Attardi Sept. 10, 2024

Sept. 10, 2024

> On 9 Sep 2024, at 22:35, nexa-request(a)server-nexa.polito.it wrote: > > Ad esempio, per programmare una Vector Reducing Machine (quella che > tu chiami "rete neurale artificiale") la cui topologia permette di > mappare una matrice N-dimensionale verso una M-dimensionale > > - si raccoglie il dataset sorgente > > - ne si codifica gli elementi come vettori numerici attraverso > una analisi statistica Dipende dai dati, alcuni sono già vettori numerici di per sé come nel caso di immagini o suoni campionati. Nel caso dei testi si fa una tokenizzazione (ad esempio con le regole di Porter) e si costruisce un dizionario per assegnare un id numerico a ciascuno, poi il vettore degli embedding viene costruito dalla rete stessa. Nessuno di questi lo chiamerei un’analisi statistica. > - si riduce la dimensionalità del dataset sorgente (selezionando e/o > sintetizzando le feature da utilizzare attraverso tecniche > statistiche) fino ad ottenere le N dimensioni da utilizzare in input > (e le M dimensioni con cui confrontare l'output) > > - si carica nella VRM un programma che può essere > > - casuale quando si inizializzano le matrici per la prima volta > > - noto, se si decide di partire da un eseguibile "pre-trained" Si può riassumere dicendo che una rete neurale calcola una funzione f(theta, x) = y, dove theta sono i parametri del modello, che vengono stimati con l’apprendimento. Il codice che calcola f fa uso di theta, ma non è theta che esegue alcun calcolo e non può essere chiamato software. Si può cambiare theta e la funzione calcolata sarà diversa. Essendo f parametrica, si può fornire theta a parte e si può fare fine-tuning del modello, a patto di disporre del software di apprendimento. Ossia non bastano i dati (theta) per modificare f. Theta è del tutto inutile senza f. Si può dire che ci sono infiniti modi di “eseguire” theta, ma se non hai quello giusto non puoi farci nulla. > … > >> I parametri del modello (i contenuti delle matrici), vengono >> calcolati attraverso l’ottimizzazione della loss function sui >> dati di apprendimento (sempre dati sono). > > La distinzione fra software e dato non ha fondamento informatico. L’architettura Von Neuman distingue tra istruzioni e dati: le prime sono caricate nella CPU, i secondi nella ALU. Semmai le istruzioni, che sono conservate in memoria, possono essere trattate come dati, in programmi che si automodificano, ma rimangono istruzioni, se caricate nella CPU. —

1 0

Re: [nexa] AI Training is Copyright Infringement
by Giuseppe Attardi Sept. 9, 2024

Sept. 9, 2024

Dissento. > On 9 Sep 2024, at 11:10, nexa-request(a)server-nexa.polito.it wrote: > > From: Giacomo Tesio <giacomo(a)tesio.it> > ..l > >> On Mon, 9 Sep 2024 09:50:41 +0200 Giuseppe Attardi wrote: >> >> Che significa “software programmato statisticamente”? > > Un software (ovvero una sequenza di byte eseguibili da una macchina con > una architettura nota in fase di compilazione) programmato attraverso > tecniche statistiche, ovvero basate sull'elaborazione di grandi > quantitativi di dati selezionati allo scopo. > > >> Una rete neurale è realizzata con programmi come altri utilizzando >> algoritmi di ottimizzazione, con un processo di fit dei parametri del >> modello rispetto ai dati per minimizzare una funzione di loss. > > Esatto, ottimo esempio. > > Con il termine "rete neurale artificiale" si con-fondono due software > diversi programmati con tecniche diverse: > > - la macchina virtuale caratterizzata dall'architettura di interesse > (la topologia della rete), tipicamente scritta in R, Python, C etc... > - il software che quella macchina virtuale esegue, espresso come > matrici numeriche, programmato appunto attraverso tecniche > statistiche e compilato per quella specifica macchina virtuale > La domanda era proprio cosa significa programmare con tecniche statistiche. Posso capire implementare formule statistiche, ma il codice è pur sempre scritto in un linguaggio di programmazione. Quanto ai due software, proprio non li vedo, c’è solo un software ed è la rete neurale, scritta in un linguaggio di programmaziine a scelta che gira, direttamente o compilato, su una macchina, virtuale o reale. Le matrici sono dati, non software, e non vengono eseguite. Il programma di ottimizzazione (backpropagation) li modifica, ma non sono loro ad eseguire calcoli. > Si tratta di software distinti, anche quando usati insieme. > > Il primo software (la macchina virtuale) viene eseguito dall'hardware > (che può essere a sua volta virtuale, ovviamente), mentre il secondo > (il cosiddetto "modello" della "rete neurale artificiale") viene > eseguito dal primo. > La rete neurale implementa il modello direttamente, non in due fasi. > I sorgenti del primo vengono scritti. > I sorgenti del secondo vengono selezionati. > I sorgenti del secondo non esistono. I parametri del modello (i contrnuti delle matrici), vengono calcolati attraverso l’ottimizzazione della loss function sui dati di apprendimento (sempre dati sono). > Cambiano le tecniche di programmazione e compilazione, ma rimangono > sorgenti di software compilati per essere eseguiti dalle rispettive > architetture di interesse. > > >> Un modello statistico sarebbe quello costruito a partire da un >> campione statistico rappresentativo, selezionato appunto su basi >> statistiche. > > Infatti! > > Proprio il software programmato statisticamente a partire dai dataset > sorgente non è un modello statistico, è sbagliato chiamarlo "modello". > > Altrimenti finisce che i giuristi lo confondono con il data mining. > > >> Ciò non vale per i LLM che usano tutti i dati disponibili, >> considerandoli la realtà stessa e non la loro rappresentazione. > > Gli LLM non hanno alcuna consapevolezza dell'esistenza della realtà. > Dunque non possono "considerare" i dati come la realtà. Certo, intendevo chi li allena non usa tecniche statistiche perché non fa assunzioni statistiche sulla struttura dei dati da cui poter estrarre un campione rappresentativo: utilizza tutti i dati disponibili indistintamente. > > Gli LLM sono programmati compilando i dati SCELTI da chi li programma. > La scelta dei contenuti da includere nel dataset è l'aspetto > predominante del processo di programmazione statistica. > Non proprio, non viene fatta una scelta basata su criteri statistici. Per i LARGE LM si usano quanti più dati possibile, al massimo si fa una deduplicazione. > >> Quanto a “imparare”, è discutibile usare termini antropomorfi >> riguardo alle macchine, ma per intenderci si può dire che fanno >> qualcosa che si avvicina al nostro concetto di apprendere, ossia >> saper usare quanto visto in precedenza in situazioni nuove. > > No. > > La calcolatrice non conosce l'aritmetica, anche se riesce a produrre in > output una configurazione di cristalli liquidi che la tua mente può > interpretare come somme che non le sono mai state sottoposte in passato. > > Una calcolatrice non sa cosa sia un numero più di quanto > un LLM non sappia cosa sia un testo. Infatti una calcolatrice non impara: non saprebbe fare altre operazioni oltre a quelle per cui è stata programmata. > > Chi l'ha programmata non le ha insegnato l'aritmetica e lei non l'ha > appresa, per nessuna definizione ragionevole di "apprendimento". > Chi l'ha programmata ha codificato la _propria_ conoscenza della > aritmetica in una serie di circuiti che ne _riproducono_ le regole > sulle rappresentazioni elettriche fornite in input. > > > Allo stesso modo, non c'è alcuna relazione fra il processo di > programmazione statistica di una macchina in grado di ridurre > vettori e l'apprendimento di un essere umano. A parte il fatto che ancora non ho capito cosa sia la “programmazione statistica”, una relazione si trova sempre. > > Entrambi i processi sono iterativi e producono un cambiamento nel ente > che li subisce, non hanno null'altro in comune. > > > Se dicessi in una conferenza che la frutta "apprende" come comportarsi > da marmellata, tutti riderebbero fragorosamente. :-D > Quale sarebbe l’analogia umana di un tale forma di apprendimento? > > Dire che un software "apprende" come comportarsi è altrettanto > ridicolo, ma hubris, ignoranza e soldi convincono troppe persone > a non ridere quando sentono parlare di "machine learning". > > Così rimangono solo bambini e buffoni a ricordare che il re è nudo... > e i software si programmano.

2 1