May 2024 - nexa - server-nexa.polito.it

Speech Synthesis Markup Language

by maurizio lana

buonasera, per una riflessione sulla produzione di audiolibri per persone non vedenti qualcuno sa dove in Italia e fuori si lavora a livello di ricerca e/o applicativo su text-to-speech differenziato per tipologia di testo? (cioè un TTS che non dia una lettura piatta ma dia una resa espressiva appropriata al tipo di testo e ai singoli passaggi di testo). so di SSML (Speech Synthesis Markup Language) ma non ho la minima idea se esistano dei repository di testi annotati in SSML, né se sia obsoleto o avanzato, né di quali sistemi software possano ricevere in input un testo annotato in SSML. grazie dell'aiuto! Maurizio ------------------------------------------------------------------------ che faresti se vivessi così? mau mau, con chi fugge ------------------------------------------------------------------------ Maurizio Lana - 347 7370925

May 23, 2024

Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzon

by Antonio

> secondo me, con opportuni adattamenti, varrebbe la pena di provare a vedere > se migliora un LLM 'pure Italian' Prima, secondo me, andrebbe perfezionato 'stanza'. Ad esempio: nlp = stanza.Pipeline('it') doc = nlp("agnello") ... Result: a-nnlo-lo "id": 1, "lemma": "a", "upos": "ADP", "xpos": "E", "deprel": "case" -- "id": 2, "lemma": "nnlo", "upos": "NOUN", "xpos": "S", "feats": "Gender=Masc|Number=Sing", "head": 0, "deprel": "root" -- "id": 3, "lemma": "lo", "upos": "PRON", "xpos": "PC", "feats": "Clitic=Yes|Gender=Masc|Number=Sing|Person=3|PronType=Prs", "deprel": "discourse" I clitici in genere li trova: doc = nlp("mangiarselo") "lemma": "se", "feats": "Clitic=Yes|Person=3|PronType=Prs", ... "lemma": "lo", "feats": "Clitic=Yes|Person=3|PronType=Prs", Ma, come con "agnello", anche dove "lo" non è una particella pronominale. Oppure in "abitazione": "lemma": "ne", "upos": "PRON", "feats": "Clitic=Yes|PronType=Prs", Per finire, "andirivieni", trova che è composto da: "id": 1, "text": "andirivi", "lemma": "andirire", "upos": "VERB", "feats": "Mood=Ind|Number=Sing|Person=2|Tense=Imp|Verbform=Fin", "deprel": "root" "id": 2, "text": "ne", "lemma": "ne", "upos": "PRON", "xpos": "PC", "feats": "Clitic=Yes|PronType=Prs", "head": 1, "deprel": "iob" un po' 'fuzzy' ... A.

May 23, 2024

Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzon

by Roberto Dolci

Per curiosita’, esiste un altro Minerva, LLM specializzato nel supporto clienti, con cui lavoro da settembre 2021 e creato da Cosimo Spera, gia’ Prof di Statistica a Siena, poi Berkley e da anni a San Francisco. Pensa te la fantasia nel scegliere i nomi 😊 Se qualcuno fosse interessato, creo il contatto con Cosimo. Ciao Roberto From: nexa <nexa-bounces(a)server-nexa.polito.it> On Behalf Of Guido Vetere Sent: Thursday, May 23, 2024 6:32 AM To: Giuseppe Attardi <attardi(a)di.unipi.it> Cc: nexa <nexa(a)server-nexa.polito.it> Subject: Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzon > Il nostro tokenizzatore morfologico per l’italiano è incluso in Stanza. l'ho sempre usato con soddisfazione :-) secondo me, con opportuni adattamenti, varrebbe la pena di provare a vedere se migliora un LLM 'pure Italian' colgo l'occasione per segnalarvi un mio articolo di follow-on<https://eu-west-1.protection.sophos.com?d=ilmanifesto.it&u=aHR0cHM6Ly9pbG1h…> sul tema dei modelli locali G. On Wed, 22 May 2024 at 10:20, Giuseppe Attardi <attardi(a)di.unipi.it<mailto:attardi@di.unipi.it>> wrote: Il nostro tokenizzatore morfologico per l’italiano è incluso in Stanza. Basta indicare lang=it [cid:image001.png@01DAACFD.F253EA20] Tokenization & Sentence Segmentation<https://eu-west-1.protection.sophos.com?d=stanfordnlp.github.io&u=aHR0cHM6L…> stanfordnlp.github.io<https://eu-west-1.protection.sophos.com?d=stanfordnlp.github.io&u=aHR0cHM6L…> — Beppe On 22 May 2024, at 09:16, nexa-request(a)server-nexa.polito.it<mailto:nexa-request@server-nexa.polito.it> wrote: Message: 3 Date: Tue, 21 May 2024 22:34:14 +0200 From: Antonio <antonio(a)piumarossa.it<mailto:antonio@piumarossa.it>> To: nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> Subject: Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzoni Message-ID: <20240521223414.54b9eda7fb6de7b43e7f3779(a)piumarossa.it<mailto:20240521223414.54b9eda7fb6de7b43e7f3779@piumarossa.it>> Content-Type: text/plain; charset=ISO-8859-1 sul fatto di usare un tokenizzatore morfologico sono in polemica coi giovani nerd con cui lavoro i quali dicono che sono un vecchio parruccone e che all'atto pratico la cosa non servirebbe. Da ex giovane nerd, sono convinto pure io che un tokenizzatore solamente morfologico non servirebbe. Bisogna usare la statistica, ma "cum grano salis", pretrattando i testi (ad esempio eliminando segni, simboli, nomi propri, toponimi, ecc.). Occorre un'attenzione particolare al "vocabolario", perché mentre i testi per l'addestramento possono cambiare, il vocabolario (ovvero la tavola di conversione, token -> numero) rimane sempre lo stesso, in fase di learning, così come in fase di inference. Tornando al tuo esempio, "mangiarselo", Minerva lo tokenizza in quattro token, così: man-gi-ars-elo. Il mio tokenizer (testi di letteratura pretrattati), in tre token: man-gia-rselo. Morfologicamente errato ma statisticamente efficiente. A.

May 23, 2024

Convegno "Di dati e di despoti. Scienza aperta, ricerca, repubblica" | 3-4 giugno 2024

by Nexa - Media

Gentilissime, gentilissimi, Vi invitiamo a partecipare al convegno dal titolo "Di dati e di despoti. Scienza aperta, ricerca, repubblica", che si terrà lunedì 3 giugno dalle ore 14.30 e martedì 4 giugno dalle ore 9.00, presso l'Aula Magna Nuova del Palazzo della Sapienza - Via Curtatone e Montanara 15, Pisa. L'incontro è organizzato dal Dipartimento di Scienze Politiche dell'Università di Pisa, nell'ambito del Progetto PRIN 2022 "Clinical Trial Data between Privatization of Knowledge and Open Science" (CLIPKOS). Partecipano al convegno, tra gli altri, il Prof. Maurizio Borghi (co-direttore del Centro Nexa) e la Prof.ssa Maria Chiara Pievatolo (trustee del Centro Nexa). Per maggiori informazioni è possibile consultare la pagina web dedicata all'incontro: https://nexa.polito.it/di-dati-e-di-despoti Vi ringraziamo per l'attenzione, Cordiali saluti, -- Valeria Bergantino Communication Officer Nexa Center for Internet & Society Politecnico di Torino - DAUIN Via Pier Carlo Boggio, 65/A - 10138 Torino web: https://nexa.polito.it/ mail: valeria.bergantino(a)polito.it<mailto:valeria.bergantino@polito.it> tel: 3473443585

May 23, 2024

Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzon

by Guido Vetere

> Il nostro tokenizzatore morfologico per l’italiano è incluso in Stanza. l'ho sempre usato con soddisfazione :-) secondo me, con opportuni adattamenti, varrebbe la pena di provare a vedere se migliora un LLM 'pure Italian' colgo l'occasione per segnalarvi un mio articolo di follow-on <https://ilmanifesto.it/lesplosione-ribelle-contro-limpero-dellia-generativa…> sul tema dei modelli locali G. On Wed, 22 May 2024 at 10:20, Giuseppe Attardi <attardi(a)di.unipi.it> wrote: > Il nostro tokenizzatore morfologico per l’italiano è incluso in Stanza. > Basta indicare lang=it > > [image: stanza-card.png] > > Tokenization & Sentence Segmentation > <https://stanfordnlp.github.io/stanza/tokenize.html> > stanfordnlp.github.io <https://stanfordnlp.github.io/stanza/tokenize.html> > <https://stanfordnlp.github.io/stanza/tokenize.html> > > > — Beppe > > On 22 May 2024, at 09:16, nexa-request(a)server-nexa.polito.it wrote: > > Message: 3 > Date: Tue, 21 May 2024 22:34:14 +0200 > From: Antonio <antonio(a)piumarossa.it> > To: nexa(a)server-nexa.polito.it > Subject: Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e > Manzoni > Message-ID: <20240521223414.54b9eda7fb6de7b43e7f3779(a)piumarossa.it> > Content-Type: text/plain; charset=ISO-8859-1 > > sul fatto di usare un tokenizzatore morfologico sono in polemica coi > giovani nerd con cui lavoro i quali dicono che sono un vecchio parruccone e > che all'atto pratico la cosa non servirebbe. > > > Da ex giovane nerd, sono convinto pure io che un tokenizzatore solamente > morfologico non servirebbe. Bisogna usare la statistica, ma "cum grano > salis", pretrattando i testi (ad esempio eliminando segni, simboli, nomi > propri, toponimi, ecc.). Occorre un'attenzione particolare al > "vocabolario", perché mentre i testi per l'addestramento possono cambiare, > il vocabolario (ovvero la tavola di conversione, token -> numero) rimane > sempre lo stesso, in fase di learning, così come in fase di inference. > Tornando al tuo esempio, "mangiarselo", Minerva lo tokenizza in quattro > token, così: man-gi-ars-elo. > Il mio tokenizer (testi di letteratura pretrattati), in tre token: > man-gia-rselo. Morfologicamente errato ma statisticamente efficiente. > > A. > > > >

May 23, 2024

Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzoni

by Andrea Bolioli

Buonasera, per chi volesse approfondire le tematiche della linguistica computazionale (e dintorni), segnalo in questo thread che in questi giorni a Torino ci sono i convegni internazionali COLING e LREC al Lingotto: https://lrec-coling-2024.org/ Quest’anno sono arrivate circa 3k submission (di cui credo 30% dalla Cina). Gli LLM hanno una parte rilevante nel convegno. Buona serata, Andrea Il giorno mer 22 mag 2024 alle 10:08 alessandro marzocchi < alemarzoc(a)gmail.com> ha scritto: > Domando: c'è una relazione statistica (frequenza d'uso, attribuzione di > significati, condivisione di significati) che progressivamente lega parole, > frasi, testi al loro significato? > A me pare di si e che sia inevitabile, mi pare anche di trovare conferma > in questi scambi. Sbaglio? > Si può automatizzare "cum grano salis" che cita Antonio? > Grazie e cordialità. Duccio (Alessandro Marzocchi) > > Il giorno mer 22 mag 2024 alle ore 09:17 < > nexa-request(a)server-nexa.polito.it> ha scritto: > >> Message: 3 >> Date: Tue, 21 May 2024 22:34:14 +0200 >> From: Antonio <antonio(a)piumarossa.it> >> To: nexa(a)server-nexa.polito.it >> Subject: Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e >> Manzoni >> Message-ID: <20240521223414.54b9eda7fb6de7b43e7f3779(a)piumarossa.it> >> Content-Type: text/plain; charset=ISO-8859-1 >> > sul fatto di usare un tokenizzatore morfologico sono in polemica coi >> > giovani nerd con cui lavoro i quali dicono che sono un vecchio >> parruccone e >> > che all'atto pratico la cosa non servirebbe. >> >> Da ex giovane nerd, sono convinto pure io che un tokenizzatore solamente >> morfologico non servirebbe. Bisogna usare la statistica, ma "cum grano >> salis", pretrattando i testi (ad esempio eliminando segni, simboli, nomi >> propri, toponimi, ecc.). Occorre un'attenzione particolare al >> "vocabolario", perché mentre i testi per l'addestramento possono cambiare, >> il vocabolario (ovvero la tavola di conversione, token -> numero) rimane >> sempre lo stesso, in fase di learning, così come in fase di inference. >> Tornando al tuo esempio, "mangiarselo", Minerva lo tokenizza in quattro >> token, così: man-gi-ars-elo. >> Il mio tokenizer (testi di letteratura pretrattati), in tre token: >> man-gia-rselo. Morfologicamente errato ma statisticamente efficiente. >> A. >> >>

May 22, 2024

Google’s call-scanning AI could dial up censorship by default, privacy experts warn

by Daniela Tafani

Google’s call-scanning AI could dial up censorship by default, privacy experts warn Natasha Lomas - May 15, 2024 A feature Google demoed at its I/O confab yesterday, using its generative AI technology to scan voice calls in real time for conversational patterns associated with financial scams, has sent a collective shiver down the spines of privacy and security experts who are warning the feature represents the thin end of the wedge. They warn that, once client-side scanning is baked into mobile infrastructure, it could usher in an era of centralized censorship. Google’s demo of the call scam-detection feature, which the tech giant said would be built into a future version of its Android OS — estimated to run on some three-quarters of the world’s smartphones — is powered by Gemini Nano, the smallest of its current generation of AI models meant to run entirely on-device. This is essentially client-side scanning: A nascent technology that’s generated huge controversy in recent years in relation to efforts to detect child sexual abuse material (CSAM) or even grooming activity on messaging platforms. Apple abandoned a plan to deploy client-side scanning for CSAM in 2021 after a huge privacy backlash. However, policymakers have continued to heap pressure on the tech industry to find ways to detect illegal activity taking place on their platforms. Any industry moves to build out on-device scanning infrastructure could therefore pave the way for all-sorts of content scanning by default — whether government-led or related to a particular commercial agenda. Responding to Google’s call-scanning demo in a post on X, Meredith Whittaker, president of the U.S.-based encrypted messaging app Signal, warned: “This is incredibly dangerous. It lays the path for centralized, device-level client side scanning. “From detecting ‘scams’ it’s a short step to ‘detecting patterns commonly associated w[ith] seeking reproductive care’ or ‘commonly associated w[ith] providing LGBTQ resources’ or ‘commonly associated with tech worker whistleblowing.’” Cryptography expert Matthew Green, a professor at Johns Hopkins, also took to X to raise the alarm. “In the future, AI models will run inference on your texts and voice calls to detect and report illicit behavior,” he warned. “To get your data to pass through service providers, you’ll need to attach a zero-knowledge proof that scanning was conducted. This will block open clients.” Green suggested this dystopian future of censorship by default is only a few years out from being technically possible. “We’re a little ways from this tech being quite efficient enough to realize, but only a few years. A decade at most,” he suggested. European privacy and security experts were also quick to object. Reacting to Google’s demo on X, Lukasz Olejnik, a Poland-based independent researcher and consultant for privacy and security issues, welcomed the company’s anti-scam feature but warned the infrastructure could be repurposed for social surveillance. “[T]his also means that technical capabilities have already been, or are being developed to monitor calls, creation, writing texts or documents, for example in search of illegal, harmful, hateful, or otherwise undesirable or iniquitous content — with respect to someone’s standards,” he wrote. “Going further, such a model could, for example, display a warning. Or block the ability to continue,” Olejnik continued with emphasis. “Or report it somewhere. Technological modulation of social behaviour, or the like. This is a major threat to privacy, but also to a range of basic values and freedoms. The capabilities are already there.” Fleshing out his concerns further, Olejnik told TechCrunch: “I haven’t seen the technical details but Google assures that the detection would be done on-device. This is great for user privacy. However, there’s much more at stake than privacy. This highlights how AI/LLMs inbuilt into software and operating systems may be turned to detect or control for various forms of human activity. This highlights how AI/LLMs inbuilt into software and operating systems may be turned to detect or control for various forms of human activity. Lukasz Olejnik “So far it’s fortunately for the better. But what’s ahead if the technical capability exists and is built in? Such powerful features signal potential future risks related to the ability of using AI to control the behavior of societies at a scale or selectively. That’s probably among the most dangerous information technology capabilities ever being developed. And we’re nearing that point. How do we govern this? Are we going too far?” Michael Veale, an associate professor in technology law at UCL, also raised the chilling specter of function-creep flowing from Google’s conversation-scanning AI — warning in a reaction post on X that it “sets up infrastructure for on-device client side scanning for more purposes than this, which regulators and legislators will desire to abuse.” Privacy experts in Europe have particular reason for concern: The European Union has had a controversial message-scanning legislative proposal on the table since 2022, which critics — including the bloc’s own Data Protection Supervisor — warn represents a tipping point for democratic rights in the region as it would force platforms to scan private messages by default. While the current legislative proposal claims to be technology agnostic, it’s widely expected that such a law would lead to platforms deploying client-side scanning in order to be able to respond to a so-called detection order demanding they spot both known and unknown CSAM and also pick up grooming activity in real time. Earlier this month, hundreds of privacy and security experts penned an open letter warning the plan could lead to millions of false positives per day, as the client-side scanning technologies that are likely to be deployed by platforms in response to a legal order are unproven, deeply flawed and vulnerable to attacks. Google was contacted for a response to concerns that its conversation-scanning AI could erode people’s privacy but at press time it had not responded. https://techcrunch.com/2024/05/15/googles-call-scanning-ai-could-dial-up-ce…

May 22, 2024

New Windows AI feature records everything you’ve done on your PC

by Daniela Tafani

New Windows AI feature records everything you’ve done on your PC Recall uses AI features "to take images of your active screen every few seconds At a Build conference event on Monday, Microsoft revealed a new AI-powered feature called "Recall" for Copilot+ PCs that will allow Windows 11 users to search and retrieve their past activities on their PC. To make it work, Recall records everything users do on their PC, including activities in apps, communications in live meetings, and websites visited for research. Despite encryption and local storage, the new feature raises privacy concerns for certain Windows users. Further Reading Microsoft’s “Copilot+” AI PC requirements are embarrassing for Intel and AMD "Recall uses Copilot+ PC advanced processing capabilities to take images of your active screen every few seconds," Microsoft says on its website. "The snapshots are encrypted and saved on your PC’s hard drive. You can use Recall to locate the content you have viewed on your PC using search or on a timeline bar that allows you to scroll through your snapshots." By performing a Recall action, users can access a snapshot from a specific time period, providing context for the event or moment they are searching for. It also allows users to search through teleconference meetings they've participated in and videos watched using an AI-powered feature that transcribes and translates speech. At first glance, the Recall feature seems like it may set the stage for potential gross violations of user privacy. Despite reassurances from Microsoft, that impression persists for second and third glances as well. For example, someone with access to your Windows account could potentially use Recall to see everything you've been doing recently on your PC, which might extend beyond the embarrassing implications of pornography viewing and actually threaten the lives of journalists or perceived enemies of the state. Advertisement Despite the privacy concerns, Microsoft says that the Recall index remains local and private on-device, encrypted in a way that is linked to a particular user's account. "Recall screenshots are only linked to a specific user profile and Recall does not share them with other users, make them available for Microsoft to view, or use them for targeting advertisements. Screenshots are only available to the person whose profile was used to sign in to the device," Microsoft says. Users can pause, stop, or delete captured content and can exclude specific apps or websites. Recall won't take snapshots of InPrivate web browsing sessions in Microsoft Edge or DRM-protected content. However, Recall won't actively hide sensitive information like passwords and financial account numbers that appear on-screen. Microsoft previously explored a somewhat similar functionality with the Timeline feature in Windows 10, which the company discontinued in 2021, but it didn't take continuous snapshots. Recall also shares some obvious similarities to Rewind, a third-party app for Mac we covered in 2022 that logs user activities for later playback. As you might imagine, all this snapshot recording comes at a hardware penalty. To use Recall, users will need to purchase one of the new "Copilot Plus PCs" powered by Qualcomm's Snapdragon X Elite chips, which include the necessary neural processing unit (NPU). There are also minimum storage requirements for running Recall, with a minimum of 256GB of hard drive space and 50GB of available space. The default allocation for Recall on a 256GB device is 25GB, which can store approximately three months of snapshots. Users can adjust the allocation in their PC settings, with old snapshots being deleted once the allocated storage is full. As far as availability goes, Microsoft says that Recall is still undergoing testing. "Recall is currently in preview status," Microsoft says on its website. "During this phase, we will collect customer feedback, develop more controls for enterprise customers to manage and govern Recall data, and improve the overall experience for users." https://arstechnica.com/gadgets/2024/05/microsofts-new-recall-feature-will-…

May 22, 2024

Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzon

by Giuseppe Attardi

Il nostro tokenizzatore morfologico per l’italiano è incluso in Stanza. Basta indicare lang=it https://stanfordnlp.github.io/stanza/tokenize.html Tokenization & Sentence Segmentation stanfordnlp.github.io — Beppe > On 22 May 2024, at 09:16, nexa-request(a)server-nexa.polito.it wrote: > > Message: 3 > Date: Tue, 21 May 2024 22:34:14 +0200 > From: Antonio <antonio(a)piumarossa.it <mailto:antonio@piumarossa.it>> > To: nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > Subject: Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e > Manzoni > Message-ID: <20240521223414.54b9eda7fb6de7b43e7f3779(a)piumarossa.it <mailto:20240521223414.54b9eda7fb6de7b43e7f3779@piumarossa.it>> > Content-Type: text/plain; charset=ISO-8859-1 > >> sul fatto di usare un tokenizzatore morfologico sono in polemica coi >> giovani nerd con cui lavoro i quali dicono che sono un vecchio parruccone e >> che all'atto pratico la cosa non servirebbe. > > Da ex giovane nerd, sono convinto pure io che un tokenizzatore solamente morfologico non servirebbe. Bisogna usare la statistica, ma "cum grano salis", pretrattando i testi (ad esempio eliminando segni, simboli, nomi propri, toponimi, ecc.). Occorre un'attenzione particolare al "vocabolario", perché mentre i testi per l'addestramento possono cambiare, il vocabolario (ovvero la tavola di conversione, token -> numero) rimane sempre lo stesso, in fase di learning, così come in fase di inference. > Tornando al tuo esempio, "mangiarselo", Minerva lo tokenizza in quattro token, così: man-gi-ars-elo. > Il mio tokenizer (testi di letteratura pretrattati), in tre token: man-gia-rselo. Morfologicamente errato ma statisticamente efficiente. > > A. > >

May 22, 2024

Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzoni

by alessandro marzocchi

Domando: c'è una relazione statistica (frequenza d'uso, attribuzione di significati, condivisione di significati) che progressivamente lega parole, frasi, testi al loro significato? A me pare di si e che sia inevitabile, mi pare anche di trovare conferma in questi scambi. Sbaglio? Si può automatizzare "cum grano salis" che cita Antonio? Grazie e cordialità. Duccio (Alessandro Marzocchi) Il giorno mer 22 mag 2024 alle ore 09:17 <nexa-request(a)server-nexa.polito.it> ha scritto: > Message: 3 > Date: Tue, 21 May 2024 22:34:14 +0200 > From: Antonio <antonio(a)piumarossa.it> > To: nexa(a)server-nexa.polito.it > Subject: Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e > Manzoni > Message-ID: <20240521223414.54b9eda7fb6de7b43e7f3779(a)piumarossa.it> > Content-Type: text/plain; charset=ISO-8859-1 > > sul fatto di usare un tokenizzatore morfologico sono in polemica coi > > giovani nerd con cui lavoro i quali dicono che sono un vecchio > parruccone e > > che all'atto pratico la cosa non servirebbe. > > Da ex giovane nerd, sono convinto pure io che un tokenizzatore solamente > morfologico non servirebbe. Bisogna usare la statistica, ma "cum grano > salis", pretrattando i testi (ad esempio eliminando segni, simboli, nomi > propri, toponimi, ecc.). Occorre un'attenzione particolare al > "vocabolario", perché mentre i testi per l'addestramento possono cambiare, > il vocabolario (ovvero la tavola di conversione, token -> numero) rimane > sempre lo stesso, in fase di learning, così come in fase di inference. > Tornando al tuo esempio, "mangiarselo", Minerva lo tokenizza in quattro > token, così: man-gi-ars-elo. > Il mio tokenizer (testi di letteratura pretrattati), in tre token: > man-gia-rselo. Morfologicamente errato ma statisticamente efficiente. > A. > >

May 22, 2024