September 2024 - nexa - server-nexa.polito.it

"Smartphone vietati ai minori di 14 anni", appello al governo

by Marco Fioretti

L'articolo e' a pagamento, quindi ne so solo titolo e primo paragrafo https://www.repubblica.it/italia/2024/09/10/news/smartphone_vietati_ai_mino… (https://www.repubblica.it/italia/2024/09/10/news/smartphone_vietati_ai_mino…) qualcuno ha dettagli? Personalmente, tutto quel che ho da dire in proposito l'ho gia' scritto, quindi mi limito a riportare il link https://mfioretti.substack.com/p/smartphones-are-the-source-of-a-huge (https://mfioretti.substack.com/p/smartphones-are-the-source-of-a-huge) https://mfioretti.substack.com/p/it-doesnt-really-matter-whether-social (https://mfioretti.substack.com/p/it-doesnt-really-matter-whether-social) https://mfioretti.substack.com/p/honestly-the-problem-with-children (https://mfioretti.substack.com/p/honestly-the-problem-with-children) NB: anticipando domande simili ricevute in passato per altri miei pezzi: quei post sono scritti direttamente in Inglese, non ci sono versioni italiane. Se qualcuno volesse farsele, mi contatti pure in privato. Marco

Sept. 10, 2024

Re: [nexa] L’Europa impossibile di Mario Draghi

by J.C. DE MARTIN

Sept. 10, 2024

Fwd: L’Europa impossibile di Mario Draghi

by Anna Masera

Sept. 10, 2024

[CfP COMNET SI] Elsevier COMNET Special Issue on Generative and Explainable AI for Internet Traffic and Network Architectures

by Danilo Giordano

Dear colleagues, Our apologies if you receive multiple copies of this message. ********************************************************************** CALL FOR PAPERS Special Issue on Generative and Explainable AI for Internet Traffic and Network Architectures Elsevier Computer Networks https://www.sciencedirect.com/journal/computer-networks/about/call-for-pape… (Submission deadline: December 1, 2024) ********************************************************************** We are pleased to announce a call for papers for a special issue of Elsevier Computer Networks journal, focusing on the transformative potential of generative and explainable AI in Internet traffic analysis and network architectures. As Internet-connected devices multiply and traffic data grows exponentially, traditional methods are increasingly challenged. This special issue aims to highlight how generative AI can synthesize realistic traffic data, automate network configurations, and enhance security measures. Additionally, explainable AI can provide deeper insights into network behaviors, improving transparency, trust, and overall network performance. We invite you to contribute to this pioneering special issue and lead the advancement of AI-driven innovations in Internet traffic analysis and network architectures. Key Topics of Interest include but are not limited to the following: ----------------------- - Generative AI methods to synthesize realistic and diverse traffic data - Automatic network configuration and management utilizing Generative AI - Applications of Large Language Models (LLMs) in network traffic generation - Prompt Engineering for LLMs in network traffic analysis, management, and security - Generative AI for enhancing network security and intrusion detection - Assessing the robustness and reliability of Generative AI in network management, including standardized benchmarks and datasets - Explainable AI techniques for network traffic analysis and management tools - Human-in-the-loop AI and the integration of interpretability into AI-driven traffic analysis - Ensuring fairness, accountability, and transparency in AI applications for networking - Real-world applications and case studies showcasing Generative and Explainable AI in network traffic analysis, management, and security - Bridging the gap between network data explanation and actionable interpretability - Techniques for improving the trust and practical use of data-driven network analysis methods Guest Editors: -------------- - Antonio Montieri, PhD - Università degli Studi di Napoli Federico II, Napoli, Italy (antonio.montieri(a)unina.it) - Danilo Giordano, PhD - Politecnico di Torino, Torino, Italy (danilo.giordano(a)polito.it) - Claudio Fiandrino, PhD - IMDEA Networks Institute, Madrid, Spain (claudio.fiandrino(a)imdea.org) - Jonatan Krolikowski, PhD - Huawei Technologies France SAS, Boulogne Billancourt, France (jonatan.krolikowski(a)huawei.com) Important Dates: ---------------- - Submission Open Date: July 1, 2024 - Final Manuscript Submission Deadline: December 1, 2024 - Editorial Acceptance Deadline: March 1, 2025 Manuscript Submission Information: ----------------------------------- The journal's submission platform (https://www.editorialmanager.com/comnet/default.aspx) is available for receiving submissions to this Special Issue from July 1st, 2024. Authors are advised to follow the Guide for Authors to prepare their manuscripts and select the article type “VSI: GenXAI for Internet” when submitting online. More information about the Special Issue, the Guide for Authors, and the submission portal are available at the following link: https://www.sciencedirect.com/journal/computer-networks/about/call-for-pape… ********************************************************************** SPECIAL ISSUE DETAILS ********************************************************************** In the realm of Internet traffic analysis, the advent of Artificial Intelligence (AI) has marked a significant paradigm shift. With the proliferation of Internet-connected devices and the exponential growth of traffic data, traditional traffic analysis methods are struggling to cope with the sheer volume and complexity of modern networks. Moreover, the dynamic nature of Internet traffic patterns and the emergence of sophisticated cyber threats further exacerbate the challenges faced by network operators and cybersecurity professionals. In response, there is a pressing need for advanced analytical tools that can provide accurate Internet traffic “visibility”, enable actionable insights into traffic behavior, identify anomalies and intrusions, and ultimately enhance network security and performance. On the other hand, the collection, segmentation, and labeling of traffic datasets are cumbersome processes, often requiring human experts to guide the different stages. Additionally, factors like the dynamic nature of traffic, privacy concerns, and the limited samples of certain traffic types (e.g., network attacks, IoT devices) further challenge data collection. Moreover, while data-driven techniques have the potential for outstanding performance and adaptability, they often operate as black-box systems, making it difficult to understand their behavior, improve their performance, or protect them from potential attacks. This limits the interpretability and trust in these methods, affecting their practical use. The integration of generative and explainable AI techniques presents a promising avenue for addressing these challenges. By harnessing the power of AI to generate realistic traffic data and provide interpretable insights, researchers and practitioners can overcome the limitations of traditional traffic analysis methods. Generative AI models enable the creation of diverse and representative traffic datasets, facilitating the training of AI-driven models for intrusion detection and network optimization. Meanwhile, explainable AI techniques enhance the transparency and trustworthiness of AI-driven traffic analysis, enabling network operators to understand and interpret the decisions made by AI methods. This special issue aims to delve into the methodological, technical, and practical aspects of leveraging generative and explainable AI for Internet traffic analysis and network architectures. By focusing on these cutting-edge topics, we seek to provide a platform for researchers and practitioners to explore innovative approaches, share insights, and advance state of the art. The special issue will encompass a wide range of themes, including AI-driven generation of standardized traffic datasets, network management aided by generative AI, interpretable and trustworthy AI solutions for Internet traffic analysis, and real-world applications of generative and explainable AI in network optimization and security. **********************************************************************

Sept. 10, 2024

Re: [nexa] AI Training is Copyright Infringement

by Giuseppe Attardi

> On 9 Sep 2024, at 22:35, nexa-request(a)server-nexa.polito.it wrote: > > Ad esempio, per programmare una Vector Reducing Machine (quella che > tu chiami "rete neurale artificiale") la cui topologia permette di > mappare una matrice N-dimensionale verso una M-dimensionale > > - si raccoglie il dataset sorgente > > - ne si codifica gli elementi come vettori numerici attraverso > una analisi statistica Dipende dai dati, alcuni sono già vettori numerici di per sé come nel caso di immagini o suoni campionati. Nel caso dei testi si fa una tokenizzazione (ad esempio con le regole di Porter) e si costruisce un dizionario per assegnare un id numerico a ciascuno, poi il vettore degli embedding viene costruito dalla rete stessa. Nessuno di questi lo chiamerei un’analisi statistica. > - si riduce la dimensionalità del dataset sorgente (selezionando e/o > sintetizzando le feature da utilizzare attraverso tecniche > statistiche) fino ad ottenere le N dimensioni da utilizzare in input > (e le M dimensioni con cui confrontare l'output) > > - si carica nella VRM un programma che può essere > > - casuale quando si inizializzano le matrici per la prima volta > > - noto, se si decide di partire da un eseguibile "pre-trained" Si può riassumere dicendo che una rete neurale calcola una funzione f(theta, x) = y, dove theta sono i parametri del modello, che vengono stimati con l’apprendimento. Il codice che calcola f fa uso di theta, ma non è theta che esegue alcun calcolo e non può essere chiamato software. Si può cambiare theta e la funzione calcolata sarà diversa. Essendo f parametrica, si può fornire theta a parte e si può fare fine-tuning del modello, a patto di disporre del software di apprendimento. Ossia non bastano i dati (theta) per modificare f. Theta è del tutto inutile senza f. Si può dire che ci sono infiniti modi di “eseguire” theta, ma se non hai quello giusto non puoi farci nulla. > … > >> I parametri del modello (i contenuti delle matrici), vengono >> calcolati attraverso l’ottimizzazione della loss function sui >> dati di apprendimento (sempre dati sono). > > La distinzione fra software e dato non ha fondamento informatico. L’architettura Von Neuman distingue tra istruzioni e dati: le prime sono caricate nella CPU, i secondi nella ALU. Semmai le istruzioni, che sono conservate in memoria, possono essere trattate come dati, in programmi che si automodificano, ma rimangono istruzioni, se caricate nella CPU. —

Sept. 10, 2024

L’Europa impossibile di Mario Draghi

by Anna Masera

Sept. 10, 2024

Re: [nexa] AI Training is Copyright Infringement

by Giacomo Tesio

Salve Fabio, On Mon, 9 Sep 2024 12:45:09 +0200 Fabio Alemagna wrote: > Quando un essere umano studia da un libro [...] > > La domanda conseguente dunque è: un essere umano viola il copyright > apprendendo dai testi da cui studia? Anzitutto, un essere umano è soggetto di diritti, un software no. Dunque, in un ragionamento giuridico, paragonarlo ad un software è "not even wrong", oltre che alienante ed offensivo. In qualunque caso GPT-4 non ha appreso nulla dai testi usati per la sua programmazione. Questi testi includono migliaia di teoremi matematici, di manuali scolastici di matematica etc... che GPT-4 può produrre facilmente in output, ma che non comprende e non sa applicare: ``` We find that ChatGPT can be used most successfully [...] as a mathematical search engine and knowledge base interface. GPT-4 can additionally be used for undergraduate-level mathematics but fails on graduate-level difficulty. Contrary to many positive reports in the media about GPT-4 and ChatGPT's exam-solving abilities (a potential case of selection bias), their overall mathematical performance is well below the level of a graduate student. Hence, if your goal is to use ChatGPT to pass a graduate-level math exam, you would be better off copying from your average peer! ``` https://arxiv.org/abs/2301.13867 Funziona un po' meglio come motore di ricerca perché è un archivio compresso (anche) dei testi matematici compilati al suo interno, ma non ha una mente che possa comprendere quei testi e dunque non è in grado di applicare le informazioni che vi sono espresse. > 1) Non solo gli umani apprendono, bensì tutti gli esseri viventi. Cosa che un software non è. > 2) Esistono definizioni di "apprendimento" [...] Non ne dubito! Ridefinire termini di uso comune è fondamentale per generare il genere di profonda confusione che spinge qualcuno a credere di parlare con "intelligenze artificiali". > A tal proposito, questo è quel che ne pensa Creative Commons: Indignor quandoque bonus dormitat Homerus! Nunquam non miror: https://creativecommons.org/support-cc/ Giacomo

Sept. 9, 2024

Re: [nexa] AI Training is Copyright Infringement

by Giacomo Tesio

> La domanda era proprio cosa significa programmare con tecniche > statistiche. Significa utilizzare tecniche statistiche (raccolta dati, regressioni lineari, medie, analisi delle frequenze, analisi dei cluster, riduzioni della dimensionalità, etc...) per produrre un software eseguibile da una specifica macchina. La programmazione classica consiste nell'esprimere un algoritmo in una forma eseguibile dalla macchina. Un tempo si foravano le schede, oggi si esprime l'algoritmo in un linguaggio sufficientemente rigoroso da poter essere tradotto meccanicamente nella forma eseguibile dalla macchina. La sostanza non cambia. La programmazione statistica funziona diversamente. Ad esempio, per programmare una Vector Reducing Machine (quella che tu chiami "rete neurale artificiale") la cui topologia permette di mappare una matrice N-dimensionale verso una M-dimensionale - si raccoglie il dataset sorgente - ne si codifica gli elementi come vettori numerici attraverso una analisi statistica - si riduce la dimensionalità del dataset sorgente (selezionando e/o sintetizzando le feature da utilizzare attraverso tecniche statistiche) fino ad ottenere le N dimensioni da utilizzare in input (e le M dimensioni con cui confrontare l'output) - si carica nella VRM un programma che può essere - casuale quando si inizializzano le matrici per la prima volta - noto, se si decide di partire da un eseguibile "pre-trained" E' utile notare che a questo punto la VRM è già in grado di eseguire il programma (quello che tu chiami impropriamente "modello"), mappando i record N-dimensionali del dataset in record M-dimensionali. Tipicamente però questi record output sono inutili o poco utili per cui inizia una fase di compilazione del dataset: si utilizzano iterativamente le righe del dataset per alterare i valori nelle matrici riducendo pian piano l'errore statistico fra il risultato M dimensionale ottenuto dando in input alla VRM ogni record e quello desiderato, attraverso un processo di ottimizzazione statistica chiamato backpropagation. Alla fine del processo la VRM mappa i vettori N dimensionali di ingresso nei vettori M dimensionali di interesse entro un errore accettato. A quel punto si salva l'eseguibile codificato dalle matrici della VRM così da poterlo successivamente rieseguire con qualsiasi VRM che implementi la stessa topologia. Le matrici che tu chiami "modello" codificano un'eseguibile che tutte (e solo) le VRM con quella determinata topologia possono eseguire e nessuno può interpretare. Tale eseguibile è una codifica compressa con perdita di informazione del dataset sorgente che è stato compilato per produrlo, esattamente come i l'eseguibile di un kernel è una codifica compressa con perdita di informazione dei testi sorgente che sono stati compilati per produrlo. > I parametri del modello (i contrnuti delle matrici), vengono > calcolati attraverso l’ottimizzazione della loss function sui > dati di apprendimento (sempre dati sono). La distinzione fra software e dato non ha fondamento informatico. Ogni dato è software eseguibile da almeno una macchina programmabile. Puoi infatti facilmente costruire una macchina programmabile che avanza il proprio program counter se riceve in input il byte corrente del proprio programma e si ferma altrimenti. Caricando su questa macchina i byte di un qualsiasi eseguibile x86, questa inizierà ad eseguirlo e fintanto che gli fornirai in input esattamente quegli stessi byte, in ordine, uno alla volta, mentre si fermerà altrimenti. Ma se gli carichi i byte di una foto, sostituendo il suo programma, e poi provi a passargli in input i byte dell'eseguibile x86 usato in precedenza, quella si fermerà, perché è cambiato il suo programma. Se invece gli passi in input i byte della foto, in ordine e uno alla volta, lei continuerà a lavorare come da programma. Caricagli sopra un film o un testo, e farà la stessa cosa con i rispettivi byte. La foto, il film e il testo diventano infatti software eseguibili per questa ipotetica macchina. E non credo di doverti dimostrare che per qualsiasi dato esistono infinite macchine programmabili in grado di eseguire tale dato. Dunque, dimostrato che ogni dato è codifica un eseguibile per infinite macchine virtuali, non dovrebbe sorprenderti che quella che tu chiami "rete neurale artificiale" altro non sia che una macchina in grado di eseguire determinati programmi, codificati sotto forma di matrici numeriche di dimensionalità compatibile. > La rete neurale implementa il modello direttamente, non in due fasi. Il problema è che ciò che tu chiami "rete neurale artificiale" in realtà è la composizione di due software che vengono implementati e distribuiti separatamente. Il primo software, la macchina virtuale in grado di eseguire qualsiasi insieme di matrici che rispettino le dimensionalità previste dalla topologia scelta, viene programmata esplicitamente, in un linguaggio di programmazione come C, Python, R etc... ed eseguita da un hardware noto (che a sua volta può essere virtuale, come la JVM, o virtualizzato come avviene con QEMU, per intenderci). Il secondo software, è codificato dalle matrici programmate statisticamente con il processo che ho grossolanamente descritto sopra e viene eseguito dal primo software (la macchina virtuale). Il fatto che siano software diversi, oltre che ovvio, è evidente dal fatto che possono essere versionati e distribuiti separatamente nonché sviluppati da gruppi distinti ed indipendenti. Le Vector Reducing Machines sono macchine programmabili estremamente flessibili, in grado di mappare approssimativamente spazi vettoriali qualsiasi indipendentemente dal loro significato, dall'esistenza di una relazione reale etc... Ma il discorso vale per qualsiasi software programmato statisticamente, come ha già mostrato Antonio in questo thread con llama.cpp https://server-nexa.polito.it/pipermail/nexa/2024-September/053196.html Finché continueremo a con-fonderli (conflating) saremo costretti a descrizioni fantasiose e antropomorfe come "intelligenza artificiale" e crederemo che "apprendano" (subendo una inquietante alienazione), mentre le stiamo semplicemente programmando tramite tanti esempi. > Certo, intendevo chi li allena non usa tecniche statistiche perché > non fa assunzioni statistiche sulla struttura dei dati da cui poter > estrarre un campione rappresentativo: utilizza tutti i dati > disponibili indistintamente. [...] > > Non proprio, non viene fatta una scelta basata su criteri statistici. Questo non è vero in generale per le Vector Reducing Machines (già la semplice scelta delle dimensioni rilevanti esprime assunzioni statistiche) ed è veramente ingenuo crederlo per le AI generative commerciali. Prendi banalmente GitHub CopyALot: pensi davvero che misure statistiche come il conteggio delle issue o il conteggio dei fork non abbiano avuto rilevanza del processo di programmazione statistica? Che il kernel di Linux abbia lo stesso peso del codice C scritto da migliaia di studenti alle prime armi? > Per i LARGE LM si usano quanti più dati possibile, al massimo si fa > una deduplicazione. Che è una analisi statistica, così come lo è l'analisi utilizzata per determinare i token da usare nel vocabolario, etc... > Infatti una calcolatrice non impara: non saprebbe fare altre > operazioni oltre a quelle per cui è stata programmata. Neanche una Vector Reducing Machine sa fare altre operazioni oltre alla mappatura fra spazi vettoriali codificata nelle matrici risultanti dal processo di programmazione statistica. Nelle intenzioni di chi la programma, quella mappatura dovrebbe approssima una funzione esistente fra dominio e codominio. Ma il fatto che riesca a fornirci un output a fronte di input non presenti nel dataset sorgente, non significa che abbia "imparato" a fare altre operazioni: semplicemente esegue meccanicamente l'eseguibile che gli viene caricato su qualsiasi input, indipendentemente dal suo significato. Infatti, se gli carichi un eseguibile costituito da matrici casuali, continuerà comunque a produrre un output. > > Se dicessi in una conferenza che la frutta "apprende" come > > comportarsi da marmellata, tutti riderebbero fragorosamente. :-D > > Quale sarebbe l’analogia umana di un tale forma di apprendimento? Ero ironico. Se possiamo dire che una VRM impara mentre la programmi, allora possiamo dire anche che la frutta impara mentre la mescoli. Le due affermazioni hanno la stessa validità scientifica. Giacomo

Sept. 9, 2024

Re: [nexa] AI Training is Copyright Infringement

by Guido Vetere

> > uno studente che si > fa fare la tesi dai SALAMI viola il diritto d'autore (oltre che le > norme, dai regolamenti di ateneo in su, che gli richiederebbero di > produrre farina del suo sacco) se il testo che ha fatto proprio contiene > frammenti letterali non correttamente attribuiti? E se viene scoperto e > sanzionato, può denunciare per truffa chi ha gli offerto i SALAMI come strumenti di lavoro creativo? per le ragioni che si sono qui illustrate, è ben difficile che un salame rigurgiti (oddio che immagine) un frammento verbatim così lungo da violare il copyright. dunque se lo si vuole denunciare per violazione del copyright lo si deve fare 'a prescindere' come direbbe Totò. è quello che ha fatto NYT con OpenAI, will see, ma vogliamo scommettere su come andrà a finire? quanto allo studente, è altresì difficile che si riesca a dimostrare che la sua tesi è una salamata, a meno che non sia così stupido da lasciare intatto il testo generato ma tutti hanno imparato a copiare le versioni al liceo, no? almeno quello .. verosimilmente, lo studente userà il salame, volta per volta, su specifici argomenti della sua tesi sintesi, sinossi, indicazioni bibliografiche, ecc se è uno studente scrupoloso, andrà a verificare, confronterà i risultati con la bibliografia del corso, farà altre ricerche, ci metterà del suo, ecc. si potrà comunque valutare la qualità del lavoro, e in seduta, se ci sono magagne concettuali, verranno fuori non so tu, ma io in genere riesco a capire chi ha fatto un buon lavoro di ricerca, salame o non salame cheers, G. On Sun, 8 Sept 2024 at 22:59, Maria Chiara Pievatolo < mariachiara.pievatolo(a)unipi.it> wrote: > On 08/09/24 15:48, Giacomo Tesio wrote: > > > > > L'eseguibile che i fautori delle "AI generative" chiamano impropriamente > > "modello" subisce una compressione concettualmente analoga attraverso > > il processo di compilazione dei dataset sorgenti. > > Ti segnalo uno studio sulla possibilità di mantenere la pubblicità delle > licenze Share Alike/Copyleft, presente nel materiale usato come training > data,in "developing AI models, deploying AI systems, and using AI output": > > > https://openfuture.eu/wp-content/uploads/2024/06/Share-Alike-and-ML-Report-… > > > L'articolo è scritto da autori assai più simpatetici ai valori della > cultura libera di quelli che rispondono ai non disinteressati > committenti (https://urheber.info/about-us) dello studio elogiato da > Voss. Cito da pagina 15: > > ...this broad approach in the EU raises the question of whether > electronic changes to a computer file containing a work that result in > adaptation or conversion of the file to a desirable format could > similarly involve an act of reproduction, which would be different and > separate from the mere act of copying data. While CJEU jurisprudence > points in this direction, the Canadian Supreme Court has reached a > different conclusion for such acts. Hence, the issue has not been > settled yet. If the issue is brought before the CJEU, the Court may > refrain from extending the Canvas approach to file conversions for TDM > purposes. > > Whether copyright-relevant acts of reproduction take place during stage > five is not as straightforward to ascertain. Although the applicable > copyright principles are easy to explain, the model exists as a separate > artefact: normally operating independently from its training pipeline.41 > It does not seem to retrieve the contents of the training dataset when > generating outputs during the exploitation phase. Hence, it can be > argued that the artefact exists and operates independently from the > copyright-protected data that have been used as training resources in > the preceding steps one to four – data that could include ‘licensed > material’ triggering CLSA obligations. Following this line of argument, > ***the artefact can be described as a giant collection of data points > and vectors that have been derived from the training material***. It can > also be assumed that the artefact is unlikely to contain > copyright-protected traces of works that were used for training.42 The > adoption of this perspective leads to the conclusion that the creation > of the trained model at stage five breaks the link with CLSA licensing > obligations that may rest on training resources. If the artefact as such > does not contain copyright-protected traces of CLSA works used for > training purposes, copyright law does not offer tools for enforcing CLSA > conditions: relevant acts of reproduction are sought in vain. > > Si tratta di una dottrina diffusa (come mostrano i riferimenti in nota, > che meritano di essere letti). Se vai avanti nella lettura vedrai che > gli autori riconoscono eccezioni solo quando l'artefact (così chiamano > il modello) contiene in effetti frammenti letterali. > > Collezionare non testi e immagine copiate, ma "data points and vectors > that have been derived from training materials" viola il diritto d'autore? > > Certo, se uso l'analogia delle traduzioni e applico il diritto d'autore > di Kant (che nega alla traduzione il carattere di opera derivata), una > traduzione, anche a calco, è un'espressione diversa che va attribuito > interamente al traduttore, sebbene "derivi" da un'opera altrui. Quando > traduco, anche meccanicamente, un testo, magari scrivendo la mia > versione in una qualche forma compressa, violo il diritto d'autore - > almeno se applico in modo coerente, come secondo me non fa il copyright > vigente, la distinzione fra idea ed espressione? > > Ho una risposta, ma ci devo pensare. > > Per il momento preferisco un approccio pragmatico (e kantiano) che > riguarda solo gli atti di comunicazione al pubblico: uno studente che si > fa fare la tesi dai SALAMI viola il diritto d'autore (oltre che le > norme, dai regolamenti di ateneo in su, che gli richiederebbero di > produrre farina del suo sacco) se il testo che ha fatto proprio contiene > frammenti letterali non correttamente attribuiti? E se viene scoperto e > sanzionato, può denunciare per truffa chi ha gli offerto i SALAMI come > strumenti di lavoro creativo? > > Buonanotte, > NCP > > >

Sept. 9, 2024

Re: [nexa] AI Training is Copyright Infringement

by Giuseppe Attardi

Dissento. > On 9 Sep 2024, at 11:10, nexa-request(a)server-nexa.polito.it wrote: > > From: Giacomo Tesio <giacomo(a)tesio.it> > ..l > >> On Mon, 9 Sep 2024 09:50:41 +0200 Giuseppe Attardi wrote: >> >> Che significa “software programmato statisticamente”? > > Un software (ovvero una sequenza di byte eseguibili da una macchina con > una architettura nota in fase di compilazione) programmato attraverso > tecniche statistiche, ovvero basate sull'elaborazione di grandi > quantitativi di dati selezionati allo scopo. > > >> Una rete neurale è realizzata con programmi come altri utilizzando >> algoritmi di ottimizzazione, con un processo di fit dei parametri del >> modello rispetto ai dati per minimizzare una funzione di loss. > > Esatto, ottimo esempio. > > Con il termine "rete neurale artificiale" si con-fondono due software > diversi programmati con tecniche diverse: > > - la macchina virtuale caratterizzata dall'architettura di interesse > (la topologia della rete), tipicamente scritta in R, Python, C etc... > - il software che quella macchina virtuale esegue, espresso come > matrici numeriche, programmato appunto attraverso tecniche > statistiche e compilato per quella specifica macchina virtuale > La domanda era proprio cosa significa programmare con tecniche statistiche. Posso capire implementare formule statistiche, ma il codice è pur sempre scritto in un linguaggio di programmazione. Quanto ai due software, proprio non li vedo, c’è solo un software ed è la rete neurale, scritta in un linguaggio di programmaziine a scelta che gira, direttamente o compilato, su una macchina, virtuale o reale. Le matrici sono dati, non software, e non vengono eseguite. Il programma di ottimizzazione (backpropagation) li modifica, ma non sono loro ad eseguire calcoli. > Si tratta di software distinti, anche quando usati insieme. > > Il primo software (la macchina virtuale) viene eseguito dall'hardware > (che può essere a sua volta virtuale, ovviamente), mentre il secondo > (il cosiddetto "modello" della "rete neurale artificiale") viene > eseguito dal primo. > La rete neurale implementa il modello direttamente, non in due fasi. > I sorgenti del primo vengono scritti. > I sorgenti del secondo vengono selezionati. > I sorgenti del secondo non esistono. I parametri del modello (i contrnuti delle matrici), vengono calcolati attraverso l’ottimizzazione della loss function sui dati di apprendimento (sempre dati sono). > Cambiano le tecniche di programmazione e compilazione, ma rimangono > sorgenti di software compilati per essere eseguiti dalle rispettive > architetture di interesse. > > >> Un modello statistico sarebbe quello costruito a partire da un >> campione statistico rappresentativo, selezionato appunto su basi >> statistiche. > > Infatti! > > Proprio il software programmato statisticamente a partire dai dataset > sorgente non è un modello statistico, è sbagliato chiamarlo "modello". > > Altrimenti finisce che i giuristi lo confondono con il data mining. > > >> Ciò non vale per i LLM che usano tutti i dati disponibili, >> considerandoli la realtà stessa e non la loro rappresentazione. > > Gli LLM non hanno alcuna consapevolezza dell'esistenza della realtà. > Dunque non possono "considerare" i dati come la realtà. Certo, intendevo chi li allena non usa tecniche statistiche perché non fa assunzioni statistiche sulla struttura dei dati da cui poter estrarre un campione rappresentativo: utilizza tutti i dati disponibili indistintamente. > > Gli LLM sono programmati compilando i dati SCELTI da chi li programma. > La scelta dei contenuti da includere nel dataset è l'aspetto > predominante del processo di programmazione statistica. > Non proprio, non viene fatta una scelta basata su criteri statistici. Per i LARGE LM si usano quanti più dati possibile, al massimo si fa una deduplicazione. > >> Quanto a “imparare”, è discutibile usare termini antropomorfi >> riguardo alle macchine, ma per intenderci si può dire che fanno >> qualcosa che si avvicina al nostro concetto di apprendere, ossia >> saper usare quanto visto in precedenza in situazioni nuove. > > No. > > La calcolatrice non conosce l'aritmetica, anche se riesce a produrre in > output una configurazione di cristalli liquidi che la tua mente può > interpretare come somme che non le sono mai state sottoposte in passato. > > Una calcolatrice non sa cosa sia un numero più di quanto > un LLM non sappia cosa sia un testo. Infatti una calcolatrice non impara: non saprebbe fare altre operazioni oltre a quelle per cui è stata programmata. > > Chi l'ha programmata non le ha insegnato l'aritmetica e lei non l'ha > appresa, per nessuna definizione ragionevole di "apprendimento". > Chi l'ha programmata ha codificato la _propria_ conoscenza della > aritmetica in una serie di circuiti che ne _riproducono_ le regole > sulle rappresentazioni elettriche fornite in input. > > > Allo stesso modo, non c'è alcuna relazione fra il processo di > programmazione statistica di una macchina in grado di ridurre > vettori e l'apprendimento di un essere umano. A parte il fatto che ancora non ho capito cosa sia la “programmazione statistica”, una relazione si trova sempre. > > Entrambi i processi sono iterativi e producono un cambiamento nel ente > che li subisce, non hanno null'altro in comune. > > > Se dicessi in una conferenza che la frutta "apprende" come comportarsi > da marmellata, tutti riderebbero fragorosamente. :-D > Quale sarebbe l’analogia umana di un tale forma di apprendimento? > > Dire che un software "apprende" come comportarsi è altrettanto > ridicolo, ma hubris, ignoranza e soldi convincono troppe persone > a non ridere quando sentono parlare di "machine learning". > > Così rimangono solo bambini e buffoni a ricordare che il re è nudo... > e i software si programmano.

Sept. 9, 2024