May 2024 - nexa - server-nexa.polito.it

“Self-driving cars may hit U.K. streets by 2026”

by J.C. DE MARTIN

May 22, 2024

Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzoni

by Antonio

> sul fatto di usare un tokenizzatore morfologico sono in polemica coi > giovani nerd con cui lavoro i quali dicono che sono un vecchio parruccone e > che all'atto pratico la cosa non servirebbe. Da ex giovane nerd, sono convinto pure io che un tokenizzatore solamente morfologico non servirebbe. Bisogna usare la statistica, ma "cum grano salis", pretrattando i testi (ad esempio eliminando segni, simboli, nomi propri, toponimi, ecc.). Occorre un'attenzione particolare al "vocabolario", perché mentre i testi per l'addestramento possono cambiare, il vocabolario (ovvero la tavola di conversione, token -> numero) rimane sempre lo stesso, in fase di learning, così come in fase di inference. Tornando al tuo esempio, "mangiarselo", Minerva lo tokenizza in quattro token, così: man-gi-ars-elo. Il mio tokenizer (testi di letteratura pretrattati), in tre token: man-gia-rselo. Morfologicamente errato ma statisticamente efficiente. A.

May 21, 2024

Scarlett Johansson says she is 'shocked, angered' over new ChatGPT voice

by Maurizio Borghi

Lawyers for Scarlett Johansson are demanding that OpenAI disclose how it developed an AI personal assistant voice that the actress says sounds uncannily similar to her own. Johansson's legal team has sent OpenAI two letters asking the company to detail the process by which it developed a voice the tech company dubbed "Sky," Johansson's publicist told NPR in a revelation that has not been previously reported. After OpenAI held a live demonstration of the voice last week, many observers compared it to Johansson's voice in the the 2013 Spike Jonze romantic sci-fi film "Her," which centers on a man who falls in love with the female voice of his computer's operating system. OpenAI CEO Sam Altman, who has said <https://www.google.com/search?q=sam+altman+her+and+salesforce&rlz=1C1GCEJ_e…> the 2013 Spike Jonze film is his favorite movie, invited comparisons by posting the word "Her" <https://x.com/sama/status/1790075827666796666> on X after the company announced the new ChatGPT version. But later, OpenAI executives denied any connection between Johansson and the new voice assistant. Then the company suddenly dropped the voice. .... [Continua qui:] https://www.npr.org/2024/05/20/1252495087/openai-pulls-ai-voice-that-was-co… -- _______________ *Maurizio Borghi* Università di Torino https://www.dg.unito.it/persone/maurizio.borghi Co-Director Nexa Center for Internet & Society <https://nexa.polito.it/>

May 21, 2024

Data Protection Regulation - AI labour : interviews request

by Thomas Le Bonniec

Dear members of the Nexa mailing list, This e-mail is intended to ask for those of you who might be available and interest if you'd be willing to conduct an interview with me. I am now visiting the Nexa center up until the end of June, and will be presenting my research topic tomorrow on the [ https://nexa.polito.it/lunch-114 | 114th luch seminar. ] So if you : - engage in the topics of AI labour and/or personal data protection - are a member of an AI producing company // work (or worked) with or as a data annotator to train AI systems // provide support or advice to Data Protection Authorities in the EU // are or were a member of a union or an NGO engaging with personal data protection and AI at work and have some free time to have a chat, even an informal one, please let me know. Many thanks, Kind regards, Thomas Le Bonniec [ https://www.telecom-paris.fr/ ] Thomas LE BONNIEC Doctorant SES- I3 [ https://diplab.eu/ | DiPLab ] Bureau 3A343 19 place Marguerite Perey CS 20031 91123 Palaiseau Cedex Une école de [ https://www.imt.fr/ | l'IMT ]

May 21, 2024

Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzoni

by Guido Vetere

sul fatto di usare un tokenizzatore morfologico sono in polemica coi giovani nerd con cui lavoro i quali dicono che sono un vecchio parruccone e che all'atto pratico la cosa non servirebbe. sarà, ma io finché non vedo una forma clitica come 'mangiarselo' tokenizzata come: 'mangiar' 'se' e 'lo' (con quelle belle particelle che vanno ad attenzionare gli argomenti verbali) resto della mia idea. comunque, il tokenizzatore è la cosa migliore di Minerva, e non dubito con molti più dati di buona qualità alla fine un tokenizzatore di quel tipo approssimerebbe abbastanza bene la micidiale morfologia dell'italiano G. On Mon, 20 May 2024 at 13:07, Antonio <antonio(a)piumarossa.it> wrote: > > https://huggingface.co/sapienzanlp/Minerva-3B-base-v1.0 > > You need to agree to share your contact information to access this model > This repository is publicly accessible, but you have to accept the > conditions to access its files and content. > Login or Sign Up to review the conditions and access this model content > > Ok, ma fortunatamente (sic!), la Hugging Face del "singolaritario" Julien > Chaumond [1], non è schizzinosa e si accontenta di una "temporary email". > Quello che mi serve scaricare, per un primo giudizio, è il file > tokenizer.json [2] > Per evitarvi la trasformazione da json a plain text, potete visualizzare i > token ivi contenuti qui: https://www.saela.eu/minerva/ > In breve, il vocab_size è 32768 token (quello di GPT2-3 è 50257, di > GPT3.5-4 è 100256, di LLaMA 32768) > Per un vocabolario "bilingue", inglese e italiano, è sufficiente. Ma i > token sono quelli che rendono il model efficiente ? > Secondo me, no. > Intanto i 32768 vanno divisi per due (due lingue) e poi per quattro. > Questa divisione può non essere chiara. Provo a spiegarla. > Prendiamo un lemma semplice: casa. Come token possiamo trovarlo in quattro > o anche più posizioni, casa, Casa, _casa, _Casa, _CASA (dove l'underscore > sta per spazio) e già questo significa "spreco" di risorse computazionali, > perché il significato è sempre lo stesso. > Quindi, 32768 : 8 = 4096, 4096 token non sono tantissimi e bisogna > sceglierli con "cura". Accuratezza che, ovviamente, i vari Sentencepiece, > lavorando esclusivamente sulla statistica, non hanno. > Basta dare un'occhiata all'elenco dei token per capire cosa voglio dire. > Vi troviamo _casinò, _casino, _Casino e _casinos, tanti segni, ad esempio > '.....', '...]', '0%)' ma mancano, per dire: gioioso, delizia, giocattolo. > In questi casi il model dovrà usare due, o più, token di grandezza > inferiore per comporre la parola e ciò a scapito dell'efficienza. > Forse servirebbe un po' meno statistica e un po' più morfologia :) > > Antonio > > [1] https://medium.com/@julien_c/about > [2] > https://huggingface.co/sapienzanlp/Minerva-3B-base-v1.0/raw/main/tokenizer.… > [3] https://en.wikipedia.org/wiki/Byte_pair_encoding > [4] > https://medium.com/codex/sentencepiece-a-simple-and-language-independent-su… >

May 20, 2024

Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzoni

by Antonio

> https://huggingface.co/sapienzanlp/Minerva-3B-base-v1.0 You need to agree to share your contact information to access this model This repository is publicly accessible, but you have to accept the conditions to access its files and content. Login or Sign Up to review the conditions and access this model content Ok, ma fortunatamente (sic!), la Hugging Face del "singolaritario" Julien Chaumond [1], non è schizzinosa e si accontenta di una "temporary email". Quello che mi serve scaricare, per un primo giudizio, è il file tokenizer.json [2] Per evitarvi la trasformazione da json a plain text, potete visualizzare i token ivi contenuti qui: https://www.saela.eu/minerva/ In breve, il vocab_size è 32768 token (quello di GPT2-3 è 50257, di GPT3.5-4 è 100256, di LLaMA 32768) Per un vocabolario "bilingue", inglese e italiano, è sufficiente. Ma i token sono quelli che rendono il model efficiente ? Secondo me, no. Intanto i 32768 vanno divisi per due (due lingue) e poi per quattro. Questa divisione può non essere chiara. Provo a spiegarla. Prendiamo un lemma semplice: casa. Come token possiamo trovarlo in quattro o anche più posizioni, casa, Casa, _casa, _Casa, _CASA (dove l'underscore sta per spazio) e già questo significa "spreco" di risorse computazionali, perché il significato è sempre lo stesso. Quindi, 32768 : 8 = 4096, 4096 token non sono tantissimi e bisogna sceglierli con "cura". Accuratezza che, ovviamente, i vari Sentencepiece, lavorando esclusivamente sulla statistica, non hanno. Basta dare un'occhiata all'elenco dei token per capire cosa voglio dire. Vi troviamo _casinò, _casino, _Casino e _casinos, tanti segni, ad esempio '.....', '...]', '0%)' ma mancano, per dire: gioioso, delizia, giocattolo. In questi casi il model dovrà usare due, o più, token di grandezza inferiore per comporre la parola e ciò a scapito dell'efficienza. Forse servirebbe un po' meno statistica e un po' più morfologia :) Antonio [1] https://medium.com/@julien_c/about [2] https://huggingface.co/sapienzanlp/Minerva-3B-base-v1.0/raw/main/tokenizer.… [3] https://en.wikipedia.org/wiki/Byte_pair_encoding [4] https://medium.com/codex/sentencepiece-a-simple-and-language-independent-su…

May 20, 2024

MEMENTO | 114° Nexa Lunch Seminar | 22 maggio 2024, ore 13.00

by Nexa - Media

Gentilissime, gentilissimi, Vi ricordiamo che mercoledì 22 maggio, dalle ore 13.00 alle ore 14.00, si terrà il 114° Nexa Lunch Seminar con un incontro dal titolo: "Personal Data Production: where AI labour & GDPR regulation intersect". Ospite dell'incontro: Thomas Le Bonniec (Institut Polytechnique de Paris). L'incontro si terrà IN PRESENZA e ONLINE. SEDE FISICA dell'incontro: Centro Nexa su Internet e Società, Politecnico di Torino, Via Boggio 65/a, Torino (1° piano). Per accedere alla sala si raccomanda di suonare al citofono Portineria e di seguire le indicazioni segnalate lungo il percorso. QUI<https://nexa.polito.it/contatti> maggiori informazioni su come raggiungerci. STANZA VIRTUALE dell'incontro: https://didattica.polito.it/VClass/NexaEvent Per maggiori dettagli è possibile consultare la pagina web dell'evento: https://nexa.polito.it/lunch-114 Cordiali saluti, -- Valeria Bergantino Communication Officer Nexa Center for Internet & Society Politecnico di Torino - DAUIN Via Pier Carlo Boggio, 65/A - 10138 Torino web: https://nexa.polito.it/ mail: valeria.bergantino(a)polito.it<mailto:valeria.bergantino@polito.it> tel: 3473443585

May 20, 2024

NetBSD Commit Guidelines ban LLM

by Giacomo Tesio

Do not commit tainted code to the repository. If you commit code that was not written by yourself, double check that the license on that code permits import into the NetBSD source repository, and permits free distribution. Check with the author(s) of the code, make sure that they were the sole author of the code and verify with them that they did not copy any other code. Code generated by a large language model or similar technology, such as GitHub/Microsoft's Copilot, OpenAI's ChatGPT, or Facebook/Meta's Code Llama, is presumed to be tainted code, and must not be committed without prior written approval by core. <https://www.netbsd.org/developers/commit-guidelines.html>

May 16, 2024

Re: [nexa] "cloud" vs "non-cloud": disquisizioni semitecniche... in liberta' [Era: ...and... We've left the cloud!" - David Heinemeier Hansson / 37signals]

by 380°

Ciao Davide, grazie per i commenti e scusa se rispondo solo ora. Non voglio entrare nei dettagli tecnici più di quanto io abbia già fatto (in realtà ho cercato di stare sui principi tecnici, ma a volte le due cose si confondono). "D. Davide Lamanna" <davide.lamanna(a)binarioetico.it> writes: > On 5/3/24 15:24, 380° wrote: >> [...] >>> Il 02/05/24 6:33 PM, Giuseppe Attardi ha scritto: >>>> [...] >>>> Kamal, da una breve scorsa alla documentazione, è qualcosa tipo >>>> Ansible [...] Hanson spiega che Kubernetes è complesso e richiede >>>> competenze (appunto come sospettavo), perché è “dichiarativo”. >> Iniziamo con un paio di concetti: >> >> 1. kubernetes è un sistema di gestione dei cluster, piuttosto complesso [...] > Essere utilizzati di più, come sai, significa avere maggiore supporto > dalla comunità, poter risolvere più facilmente i problemi, avere più > documentazione, maggior affidabilità e stabilità, maggiore > interoperabilità e integrazione... con i miei commenti nei confronti di kubernetes non era mia intenzione denigrarlo, forse mi sono spiegato male [...] > Sono moderatamente d'accordo. Anche se più banalmente, secondo me, la > difficoltà sta nella configurazione dettagliata di una molteplicità di > risorse IT. Esattamente, e siccome è il totale che fa la somma, sono i dettagli che rendono il tutto complicato... ma non vado oltre qui, ho già detto abbastanza > Il vantaggio è l'uniformità di queste configurazioni, l'opportunità di > versionamento delle stesse e la centralizzazione della loro gestione. Sì, è l'approccio Infrastructure As Code: quando funziona bene i vantaggi sono /stratosferici/, ma la differenza tra un sistema è l'altro è come poter intervenire (e a che livello) quando le cose non funzionano [...] >> I sistemi di "cluster management for world sized cloud infrastructure" >> sono figli dell'/ideologia/ "pets vs cattle" [2] > > Non so se si tratti di un'ideologia. Direi più un portato industriale. Un portato di ideologia marketing, che non c'entra nulla con la sistemistica (informatica) e di conseguanza con l'Infrastructure As Code (che è un concetto di industrializzazione informatica) [...] > Rimanendo, però, con i piedi per terra, servono sia i pets che i cattle. > Così come serve sia l'artigianato che l'industria. Se vuoi far passare la cosa in questi termini fai pure ma stai andando fuori tema Tutto questo (sub)thread si è sviluppato sulle scelte _industriali_ di 37Signals in merito ai suoi prodotti: se li vuoi chiamare artigiani fai pure. :-) [...] >> Come se i due insiemi descritti sopra fossero davvero _disgiunti_: sarà >> mica una cosa seria? (e infatti kubernetes usa il termine "Pet Sets" >> che l'autore dell'articolo sopra contesta... non proprio "rocket >> science" diciamo :-D ) > > Non ho mai sentito dire da nessuno che Kubernetes è rocket science. Io non mi riferivo a kubernetes, ma alla definizione originale di "pets vs cattle": quella non è "rocket science", ognuno interpreta e adatta la definizione in merito alle proprie esigenze narrative. [...] >> Tutto ciò ha portato alla /reificazione/ del concetto che i container >> sono _ephemeral_ by nature... tranne che i dati >> (https://urlsand.esvalabs.com/?u=https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FKub… ) e le configurazioni >> (https://urlsand.esvalabs.com/?u=https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FKub… ) che servono non lo sono >> affatto: > > Non lo so se sia questo che abbia portato alla reificazione dei > container. I namespace sono nel kernel di Linux dal 2002 e i cgroups dal > 2006. Kubernetes è nato nel 2014. La storia dei container inizia negli > anni '80 con chroot e per 3 decenni sono state proposte numerose > variazioni sul tema, fino a quella che ha preso piede. Che non è > necessariamente la migliore, Sì è esattamente quello che prima Heinemeier e poi Damiano Verzulli hanno spiegato anche meglio di me: non esiste "la migliore", esiste la più adatta alle esigenze sistemistiche dei progetti (industriali) [...] >>>> Appunto, dichiarativo vs procedurale. >>>> La differenza sta lì, da una parte fai tutto tu a mano, devi tenere >>>> traccia di tutyo e ogni modifica costa quanto ricominciare daccapo. >> Questa "una parte" sarebbe Ansible? Ma Ansible è dichiarativo! >> >> ...ormai "tutto è dichiarativo" :-)... "Infrastrutcture as Code". > > Ansible è dichiarativo, ecco appunto, solo che molte persone, anche del settore, sono convinte che sia "procedurale" [...] > Ecco su questo vorrei espandere un po'. Sono soluzioni di nicchia, > sicuramente interessanti ed eleganti, ma pochissimo utilizzate e quindi > l'ecosistema a supporto è limitato. mi avvalgo della facoltà di non rispondere :-) ...però se mi permetti un consiglio non richiesto: metti le mani in pasta, in /quella/ pasta. [...] >>>> Se cambiano i requisiti, basta cambiare le specifiche e il sistema si >>>> riadatta ad esse in modo totalmente automatico. >>> Su questo elemento *DISSENTO* fortemente. In *TEORIA* funziona cosi'. >>> Nella pratica, dipende assolutamente dall'applicazione che deve >>> girarci. >> Confermo: la statefulness dei sistemi purtroppo a volte è _embedded_ >> nelle applicazioni che sono progettate proprio male [3] > > Certo. Su questo non si può fare molto di più che odiare i > programmatori. Tranne che poi ai sistemisti tocca farli funzionare i sistemi [...] >> Non è solo una questione di gusti, è che a parità di competenze >> l'approccio on-premises costa almeno un ordine di grandezza meno. > > Ma dipende, in realtà, non generalizzerei. Bisogna farsi bene i conti. > Dovrebbe essere questo il mestiere del Product Owner. Ecco vedi che convergiamo :-) 37Signal è un product owner che ha saputo farsi bene i conti e ha documentato (bene, anche se sparso in enne articoli) il suo processo di analisi > In ogni caso, la questione dei costi mi interessa fino ad un certo > punto. Quanto meno valuterei anche i benefici, che sono soggettivi, come > il caso di Heinemeier dimostra. Diciamo che io ho il motivato sospetto che il "caso di Heinemeier" farà scuola :-) [...] >> Tra l'altro i 5 rimasti devono limitarsi a fare 4 click su un "admin >> panel". > > Beh no. Direi che il fine ultimo sarebbe lavorare tutte, lavorare > meno. mi avvalgo della facoltà di non rispondere :-P [...] > Giustissimo. Non c'è nulla di magico. E occorre conoscere > approfonditamente le soluzioni per evitare casini mondiali. > > E' anche vero che con la standardizzazione, magari un po' di "bricolage" > riusciamo ad ottenerlo anche dai meno tecnici. No: serve più competenza per evitare "casini mondiali", molta più competenza > Il che ci potrebbe consentire di creare comunità più inclusive e > orizzontali, non comunità dove pochi smanettoni fanno cose > incomprensibili alle più. Non so cosa vuol dire "comunità più inclusive"... e non lo voglio sapere :-) [...] Ciao e grazie! 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

May 16, 2024

Minerva, l'IA italiana al bivio tra Vannacci e Manzoni

by Guido Vetere

La settimana scorsa c'è stato molto rumore attorno al rilascio di Minerva, il primo LLM specializzato in italiano, da parte di un team di Sapienza. Potete vederlo su Huggingface ( https://huggingface.co/sapienzanlp/Minerva-3B-base-v1.0) La gente ci ha giocato un po' e sono uscite fuori molte cose tossiche, stile Vannacci, per cui la responsabile dell'etica della piattaforma ha sollevato un avvertimento formale. Ovviamente questo faceva notizia e il Manifesto mi ha chiesto un commento, che dovreste poter accedere liberamente al link sottostante: https://ilmanifesto.it/minerva-lia-italiana-al-bivio-tra-vannacci-e-manzoni… Buona giornata, G.

May 14, 2024