Il nostro tokenizzatore morfologico per l’italiano è incluso in Stanza.
l'ho sempre usato con soddisfazione :-) secondo me, con opportuni adattamenti, varrebbe la pena di provare a vedere se migliora un LLM 'pure Italian' colgo l'occasione per segnalarvi un mio articolo di follow-on <https://ilmanifesto.it/lesplosione-ribelle-contro-limpero-dellia-generativa/...> sul tema dei modelli locali G. On Wed, 22 May 2024 at 10:20, Giuseppe Attardi <attardi@di.unipi.it> wrote:
Il nostro tokenizzatore morfologico per l’italiano è incluso in Stanza. Basta indicare lang=it
[image: stanza-card.png]
Tokenization & Sentence Segmentation <https://stanfordnlp.github.io/stanza/tokenize.html> stanfordnlp.github.io <https://stanfordnlp.github.io/stanza/tokenize.html> <https://stanfordnlp.github.io/stanza/tokenize.html>
— Beppe
On 22 May 2024, at 09:16, nexa-request@server-nexa.polito.it wrote:
Message: 3 Date: Tue, 21 May 2024 22:34:14 +0200 From: Antonio <antonio@piumarossa.it> To: nexa@server-nexa.polito.it Subject: Re: [nexa] Minerva, l'IA italiana al bivio tra Vannacci e Manzoni Message-ID: <20240521223414.54b9eda7fb6de7b43e7f3779@piumarossa.it> Content-Type: text/plain; charset=ISO-8859-1
sul fatto di usare un tokenizzatore morfologico sono in polemica coi giovani nerd con cui lavoro i quali dicono che sono un vecchio parruccone e che all'atto pratico la cosa non servirebbe.
Da ex giovane nerd, sono convinto pure io che un tokenizzatore solamente morfologico non servirebbe. Bisogna usare la statistica, ma "cum grano salis", pretrattando i testi (ad esempio eliminando segni, simboli, nomi propri, toponimi, ecc.). Occorre un'attenzione particolare al "vocabolario", perché mentre i testi per l'addestramento possono cambiare, il vocabolario (ovvero la tavola di conversione, token -> numero) rimane sempre lo stesso, in fase di learning, così come in fase di inference. Tornando al tuo esempio, "mangiarselo", Minerva lo tokenizza in quattro token, così: man-gi-ars-elo. Il mio tokenizer (testi di letteratura pretrattati), in tre token: man-gia-rselo. Morfologicamente errato ma statisticamente efficiente.
A.
