Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzon
Il nostro tokenizzatore morfologico per l’italiano è incluso in Stanza. Basta indicare lang=it https://stanfordnlp.github.io/stanza/tokenize.html Tokenization & Sentence Segmentation stanfordnlp.github.io — Beppe
On 22 May 2024, at 09:16, nexa-request@server-nexa.polito.it wrote:
Message: 3 Date: Tue, 21 May 2024 22:34:14 +0200 From: Antonio <antonio@piumarossa.it <mailto:antonio@piumarossa.it>> To: nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> Subject: Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzoni Message-ID: <20240521223414.54b9eda7fb6de7b43e7f3779@piumarossa.it <mailto:20240521223414.54b9eda7fb6de7b43e7f3779@piumarossa.it>> Content-Type: text/plain; charset=ISO-8859-1
sul fatto di usare un tokenizzatore morfologico sono in polemica coi giovani nerd con cui lavoro i quali dicono che sono un vecchio parruccone e che all'atto pratico la cosa non servirebbe.
Da ex giovane nerd, sono convinto pure io che un tokenizzatore solamente morfologico non servirebbe. Bisogna usare la statistica, ma "cum grano salis", pretrattando i testi (ad esempio eliminando segni, simboli, nomi propri, toponimi, ecc.). Occorre un'attenzione particolare al "vocabolario", perché mentre i testi per l'addestramento possono cambiare, il vocabolario (ovvero la tavola di conversione, token -> numero) rimane sempre lo stesso, in fase di learning, così come in fase di inference. Tornando al tuo esempio, "mangiarselo", Minerva lo tokenizza in quattro token, così: man-gi-ars-elo. Il mio tokenizer (testi di letteratura pretrattati), in tre token: man-gia-rselo. Morfologicamente errato ma statisticamente efficiente.
A.
Il nostro tokenizzatore morfologico per l’italiano è incluso in Stanza.
l'ho sempre usato con soddisfazione :-) secondo me, con opportuni adattamenti, varrebbe la pena di provare a vedere se migliora un LLM 'pure Italian' colgo l'occasione per segnalarvi un mio articolo di follow-on <https://ilmanifesto.it/lesplosione-ribelle-contro-limpero-dellia-generativa/...> sul tema dei modelli locali G. On Wed, 22 May 2024 at 10:20, Giuseppe Attardi <attardi@di.unipi.it> wrote:
Il nostro tokenizzatore morfologico per l’italiano è incluso in Stanza. Basta indicare lang=it
[image: stanza-card.png]
Tokenization & Sentence Segmentation <https://stanfordnlp.github.io/stanza/tokenize.html> stanfordnlp.github.io <https://stanfordnlp.github.io/stanza/tokenize.html> <https://stanfordnlp.github.io/stanza/tokenize.html>
— Beppe
On 22 May 2024, at 09:16, nexa-request@server-nexa.polito.it wrote:
Message: 3 Date: Tue, 21 May 2024 22:34:14 +0200 From: Antonio <antonio@piumarossa.it> To: nexa@server-nexa.polito.it Subject: Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzoni Message-ID: <20240521223414.54b9eda7fb6de7b43e7f3779@piumarossa.it> Content-Type: text/plain; charset=ISO-8859-1
sul fatto di usare un tokenizzatore morfologico sono in polemica coi giovani nerd con cui lavoro i quali dicono che sono un vecchio parruccone e che all'atto pratico la cosa non servirebbe.
Da ex giovane nerd, sono convinto pure io che un tokenizzatore solamente morfologico non servirebbe. Bisogna usare la statistica, ma "cum grano salis", pretrattando i testi (ad esempio eliminando segni, simboli, nomi propri, toponimi, ecc.). Occorre un'attenzione particolare al "vocabolario", perché mentre i testi per l'addestramento possono cambiare, il vocabolario (ovvero la tavola di conversione, token -> numero) rimane sempre lo stesso, in fase di learning, così come in fase di inference. Tornando al tuo esempio, "mangiarselo", Minerva lo tokenizza in quattro token, così: man-gi-ars-elo. Il mio tokenizer (testi di letteratura pretrattati), in tre token: man-gia-rselo. Morfologicamente errato ma statisticamente efficiente.
A.
Per curiosita’, esiste un altro Minerva, LLM specializzato nel supporto clienti, con cui lavoro da settembre 2021 e creato da Cosimo Spera, gia’ Prof di Statistica a Siena, poi Berkley e da anni a San Francisco. Pensa te la fantasia nel scegliere i nomi 😊 Se qualcuno fosse interessato, creo il contatto con Cosimo. Ciao Roberto From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Guido Vetere Sent: Thursday, May 23, 2024 6:32 AM To: Giuseppe Attardi <attardi@di.unipi.it> Cc: nexa <nexa@server-nexa.polito.it> Subject: Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzon
Il nostro tokenizzatore morfologico per l’italiano è incluso in Stanza.
l'ho sempre usato con soddisfazione :-) secondo me, con opportuni adattamenti, varrebbe la pena di provare a vedere se migliora un LLM 'pure Italian' colgo l'occasione per segnalarvi un mio articolo di follow-on<https://eu-west-1.protection.sophos.com?d=ilmanifesto.it&u=aHR0cHM6Ly9pbG1hb...> sul tema dei modelli locali G. On Wed, 22 May 2024 at 10:20, Giuseppe Attardi <attardi@di.unipi.it<mailto:attardi@di.unipi.it>> wrote: Il nostro tokenizzatore morfologico per l’italiano è incluso in Stanza. Basta indicare lang=it [cid:image001.png@01DAACFD.F253EA20] Tokenization & Sentence Segmentation<https://eu-west-1.protection.sophos.com?d=stanfordnlp.github.io&u=aHR0cHM6Ly...> stanfordnlp.github.io<https://eu-west-1.protection.sophos.com?d=stanfordnlp.github.io&u=aHR0cHM6Ly...> — Beppe On 22 May 2024, at 09:16, nexa-request@server-nexa.polito.it<mailto:nexa-request@server-nexa.polito.it> wrote: Message: 3 Date: Tue, 21 May 2024 22:34:14 +0200 From: Antonio <antonio@piumarossa.it<mailto:antonio@piumarossa.it>> To: nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> Subject: Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzoni Message-ID: <20240521223414.54b9eda7fb6de7b43e7f3779@piumarossa.it<mailto:20240521223414.54b9eda7fb6de7b43e7f3779@piumarossa.it>> Content-Type: text/plain; charset=ISO-8859-1 sul fatto di usare un tokenizzatore morfologico sono in polemica coi giovani nerd con cui lavoro i quali dicono che sono un vecchio parruccone e che all'atto pratico la cosa non servirebbe. Da ex giovane nerd, sono convinto pure io che un tokenizzatore solamente morfologico non servirebbe. Bisogna usare la statistica, ma "cum grano salis", pretrattando i testi (ad esempio eliminando segni, simboli, nomi propri, toponimi, ecc.). Occorre un'attenzione particolare al "vocabolario", perché mentre i testi per l'addestramento possono cambiare, il vocabolario (ovvero la tavola di conversione, token -> numero) rimane sempre lo stesso, in fase di learning, così come in fase di inference. Tornando al tuo esempio, "mangiarselo", Minerva lo tokenizza in quattro token, così: man-gi-ars-elo. Il mio tokenizer (testi di letteratura pretrattati), in tre token: man-gia-rselo. Morfologicamente errato ma statisticamente efficiente. A.
secondo me, con opportuni adattamenti, varrebbe la pena di provare a vedere se migliora un LLM 'pure Italian'
Prima, secondo me, andrebbe perfezionato 'stanza'. Ad esempio: nlp = stanza.Pipeline('it') doc = nlp("agnello") ... Result: a-nnlo-lo "id": 1, "lemma": "a", "upos": "ADP", "xpos": "E", "deprel": "case" -- "id": 2, "lemma": "nnlo", "upos": "NOUN", "xpos": "S", "feats": "Gender=Masc|Number=Sing", "head": 0, "deprel": "root" -- "id": 3, "lemma": "lo", "upos": "PRON", "xpos": "PC", "feats": "Clitic=Yes|Gender=Masc|Number=Sing|Person=3|PronType=Prs", "deprel": "discourse" I clitici in genere li trova: doc = nlp("mangiarselo") "lemma": "se", "feats": "Clitic=Yes|Person=3|PronType=Prs", ... "lemma": "lo", "feats": "Clitic=Yes|Person=3|PronType=Prs", Ma, come con "agnello", anche dove "lo" non è una particella pronominale. Oppure in "abitazione": "lemma": "ne", "upos": "PRON", "feats": "Clitic=Yes|PronType=Prs", Per finire, "andirivieni", trova che è composto da: "id": 1, "text": "andirivi", "lemma": "andirire", "upos": "VERB", "feats": "Mood=Ind|Number=Sing|Person=2|Tense=Imp|Verbform=Fin", "deprel": "root" "id": 2, "text": "ne", "lemma": "ne", "upos": "PRON", "xpos": "PC", "feats": "Clitic=Yes|PronType=Prs", "head": 1, "deprel": "iob" un po' 'fuzzy' ... A.
participants (4)
-
Antonio -
Giuseppe Attardi -
Guido Vetere -
Roberto Dolci