- nexa - server-nexa.polito.it

Debates on the nature of artificial general intelligence

by Enrico Nardelli

The term “artificial general intelligence” (AGI) has become ubiquitous in current discourse around AI. OpenAI states that its mission is “to ensure that artificial general intelligence benefits all of humanity.” DeepMind’s company vision statement notes that “artificial general intelligence…has the potential to drive one of the greatest transformations in history.” AGI is mentioned prominently in the UK government’s National AI Strategy and in US government AI documents. Microsoft researchers recently claimed evidence of “sparks of AGI” in the large language model GPT-4, and current and former Google executives proclaimed that “AGI is already here.” The question of whether GPT-4 is an “AGI algorithm” is at the center of a lawsuit filed by Elon Musk against OpenAI. Given the pervasiveness of AGI talk in business, government, and the media, one could not be blamed for assuming that the meaning of the term is established and agreed upon. However, the opposite is true: What AGI means, or whether it means anything coherent at all, is hotly debated in the AI community. And the meaning and likely consequences of AGI have become more than just an academic dispute over an arcane term. The world’s biggest tech companies and entire governments are making important decisions on the basis of what they think AGI will entail. But a deep dive into speculations about AGI reveals that many AI practitioners have starkly different views on the nature of intelligence than do those who study human and animal cognition—differences that matter for understanding the present and predicting the likely future of machine intelligence. Continua qua https://www.science.org/doi/10.1126/science.ado7069 -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Past President di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli(a)mat.uniroma2.it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================== --

March 21, 2024

Re: [nexa] L'AI e il cambio di paradigma

by Antonio

> per questo, tornando al tema dell'autarchia italiana, mi chiedo se, avendo > pochi dati ma una lingua nota, non valga la pena tokenizzare come ci hanno > insegnato a scuola Beh, parafrasando e rivoltando il senso della famosa battuta di Frederick Jelinek, mi verrebbe da dire: "Ogni volta che licenzio un matematico (per assumere un linguista) la performance del nostro sistema migliora". A parità di risultato finale, un set dati in una lingua nota, produce un "model" molto più piccolo, un "tokenizer" più piccolo e adattato ai lemmi di quella lingua, con la sua sillabazione, le sue forme clitiche, i suoi affissi, ecc. Un risultato finale *identico* ma con molti cicli macchina in meno (non ditelo a NVIDA) e con molta energia elettrica in meno. Un "modello" del genere potrebbe andare bene in tutti quei casi in cui non serve un approccio multilingue. Penso alla pubblica amministrazione, alla giustizia ... Poi, certo, vi si potrebbe abbinare un sistema "generico", magari derivato da uno di quelli "open source" che ci sono adesso, tipo LLaMA, ecc. che entrerebbe in azione solo su richiesta dell'utente. A.

March 21, 2024

Re: [nexa] L'AI e il cambio di paradigma

by Guido Vetere

i mathematicos che vogliono fare l'AGI, pensano che associando i token del representamen (significante) e dell'oggetto (referente) si riesca a risalire al interpretante (più o meno il 'segno' degli strutturalisti). i più bold pensano che l'associazione /sia/ l'interpretante, ma i filosofi, senza laurea STEM, non lo hanno mai capito noialtri scettici (skepsi - e sai cosa bevi) pensiamo invece (con Peirce) che l'interpretazione sia /abduzione/, cioè una decisione che contiene sempre qualcosa di extra-logico (preferenze, orientamenti, interessi, sensibilità, intuizioni geniali, disagio mentale) i mathematicos ci sbatteranno davanti al naso i loro robottini che eseguono ordini e rispondono a tono (sceglieranno vocette rassicuranti, anche un po' insicure) facendosi beffe dei nostri dubbi con ostentazioni /positive/. hanno già iniziato, come sapete: https://www.youtube.com/watch?v=Sq1QZB5baNw detto questo, vedo in giro atteggiamenti di 'denial' (questa cosa non funziona! non serve! è illegale! va impedita!). si tratta a mio avviso di un 'aventinismo tecnologico' che non serve a nulla. piuttosto dobbiamo prendere le misure queste 'intelligenze aliene' pensando a come integrarle nella loro e per la loro diversità G. On Thu, 21 Mar 2024 at 17:22, 380° <g380(a)biscuolo.net> wrote: > Buongiorno Guido, > > Guido Vetere <vetere.guido(a)gmail.com> writes: > > [...] > > > quando gli amici mathematicos, in tempi non sospetti, mi illustrarono > > queste tecniche, li presi in giro dicendo che era una spannometria > > (span=espansione) > > > > adesso sono loro che prendono in giro me, perché la cosa ha funzionato > :-O > > [...] > > > PS: i mathematicos poi sbagliano quando reificano i loro intrugli > > algoritmici promuovendoli a una linguistica alternativa tutta giocata sul > > piano del significante > > Quindi continuano a spannometricare, solo che lo span=espansione > stavolta è grande come internet e quindi il significante /sembra/ > l'intero triangolo semiotico ma in realtà è solo una sua /proiezione/ > monodimensionale _molto_ "bold"? > > Saluti, 380° > > [...] > > P.S.: faccio finta di aver capito quello che ho scritto :-D > > -- > 380° (Giovanni Biscuolo public alter ego) > > «Noi, incompetenti come siamo, > non abbiamo alcun titolo per suggerire alcunché» > > Disinformation flourishes because many people care deeply about injustice > but very few check the facts. Ask me about <https://stallmansupport.org>. >

March 21, 2024

Re: [nexa] L'AI e il cambio di paradigma

by 380°

Buongiorno Guido, Guido Vetere <vetere.guido(a)gmail.com> writes: [...] > quando gli amici mathematicos, in tempi non sospetti, mi illustrarono > queste tecniche, li presi in giro dicendo che era una spannometria > (span=espansione) > > adesso sono loro che prendono in giro me, perché la cosa ha funzionato :-O [...] > PS: i mathematicos poi sbagliano quando reificano i loro intrugli > algoritmici promuovendoli a una linguistica alternativa tutta giocata sul > piano del significante Quindi continuano a spannometricare, solo che lo span=espansione stavolta è grande come internet e quindi il significante /sembra/ l'intero triangolo semiotico ma in realtà è solo una sua /proiezione/ monodimensionale _molto_ "bold"? Saluti, 380° [...] P.S.: faccio finta di aver capito quello che ho scritto :-D -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

March 21, 2024

Re: [nexa] Can Large Language Models Reason and Plan?

by 380°

Buongiorno Daniela, Daniela Tafani <daniela.tafani(a)unipi.it> writes: > Can Large Language Models Reason and Plan? > Subbarao Kambhampati [...] > https://nyaspubs.onlinelibrary.wiley.com/doi/10.1111/nyas.15125 > oppure > https://arxiv.org/pdf/2403.04121.pdf grazie per la segnalazione. Qual'è la definizione scientifica di "ragionare"? :-D L'autore scrive: --8<---------------cut here---------------start------------->8--- Let us pause to note that my interest here is not whether LLMs can fake reasoning (by giving correct answers to reasoning tasks from memory and pattern finding), but whether they can actually do principled reasoning. Of course, seeing patterns in reasoning problems is not any- thing to be sneezed at. After all, our interest in master- ing it is what is behind much of “street fighting” math (e.g. George Pólya’s ”How to Solve it”). But finding ap- proximate shortcuts over provably correct reasoning proce- dures is obviously not equivalent to doing reasoning–unless you have an ability to establish from first principles that your hunch is actually correct. It is challenging to decide whether a system (or a human, for that matter) is memoriz- ing or solving a problem from scratch–especially as the sys- tems (or humans) get trained on larger and larger “question banks.” This is a challenge that most instructors and inter- viewers are acutely aware of. Think of that infamous “Why are manhole covers round?” interview question. While it may well have given the interviewer an insight into the candidate’s analytical reasoning skills the very first time it was asked, all it does with high probability now is to con- firm whether the candidate trained on the interview ques- tion banks! --8<---------------cut here---------------end--------------->8--- ...non mi dire che per decidere se un sistema sappia ragionare è necessario che quel sistema necessiti di self-reflection!?! :-D (ho avuto fortuna perché mi sono ricordato bene o ho compreso l'argomento?) Uh, quindi _molto_ probabilmente i sistemi LLM _non_ sanno ragionare: e allora?!? --8<---------------cut here---------------start------------->8--- While the foregoing questions the claims that LLMs are capable of planning/reasoning, it is not meant to imply that LLMs don’t have any constructive roles to play in solving planning/reasoning tasks. In particular, their uncanny abil- ity to generate ideas/potential candidate solutions–albeit with no guarantees about those guesses–can still be valu- able in the “LLM-Modulo” setups 6 , in conjunction with either model-based verifiers or expert humans in the loop. The trick to avoiding ascribing autonomous reasoning ca- pabilities to LLMs is to recognize that LLMs are generating potential answers that still need to be checked by external verifiers. --8<---------------cut here---------------end--------------->8--- Forse che forse, quindi, gli umani rischiano di essere ancora necessari?!? --8<---------------cut here---------------start------------->8--- LLMs can be a rich source of approximate models of world/domain dynamics and user preferences, as long as the humans (and any specialized critics) in the loop verify and refine the models, and give them over to model-based solvers. This way of using LLMs has the advantage that the humans need only be present when the dynamics/preference model is being teased out and refined, with the actual planning after that being left to sound frameworks with correctness guarantees 6 . --8<---------------cut here---------------end--------------->8--- Uh guarda, quella /roba/ descritta sopra assomiglia tantissimo alla _programmazione_ :-O, sarà un caso stocastico! Mi spiego... Se non ho capito male, i model-based solvers sono quelle /robe/ che servono da "external verifiers" nei LLM-Modulo Frameworks: https://arxiv.org/abs/2402.01817 «LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks» Sempre se non ho capito male, gli "external model-based verifiers" sono "symbolic solvers", cioè *programmi* scritti per sistemi CAS https://en.wikipedia.org/wiki/Computer_algebra_system (per i quali l'articolo di Wikipedia afferma: «the result of a computation commonly has an unpredictable form and an unpredictable size; therefore user intervention is frequently needed») ...o sistemi simbolici analoghi. Finché c'è programmazione c'è speranza. Ho capito male? [...] Saluti, 380° P.S.: la riproposizione in "salsa AI" della famosissima figura «Figure 2. Claimed reasoning capabilities of LLMs are sometimes due to the subconscious helpful iterative prompting by the humans in the loop (graphic adapted from https://xkcd.com/2347/ under Creative Commons License)» (pag. 3 del PDF) è una genialata! -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

March 21, 2024

Re: [nexa] Sharenting: influencer e rischi per i minori, proposta di legge in arrivo

by 380°

Buongiorno, è imbarazzante questa fregola di pretendere di regolare per mezzo di leggi ogni singolo aspetto relativo all'uso dei mezzi di comunicazione... senza avere ben chiaro il contesto giuridico e _soprattutto_ tecnico relativo ai mezzi di comunicazione. 380° <g380(a)biscuolo.net> writes: [...] > https://www.orizzontescuola.it/sharenting-influencer-e-rischi-per-i-minori-… > > --8<---------------cut here---------------start------------->8--- > = Pericoli per i minori = I potenziali rischi della condivisione _pubblica_ di informazioni biometriche o dei metadati delle persone riguarda tutti, non solo i minori. Certo è che la posizione dei minori è più _svantaggiata_ rispetto ai maggiorenni perché sono i genitori - o i tutori legali - a scegliere per loro... ...però io mi domando se, almeno in materia di informatica, la stragrande maggioranza degli adulti non sia in realtà in condizione di minorità e non siano in realtà altri UberTutori a decidere per loro. > * Pedofilia: I contenuti pubblicati online, anche se apparentemente > innocenti, possono essere utilizzati da pedofili per alimentare i loro > abusi. La stessa cosa vale per qualsiasi gruppo sociale o individuo sottoposto ad abusi di qualsiasi natura > * Cyberbullismo: Le foto e i video dei bambini possono essere usati per > creare meme, insulti o altri contenuti offensivi, con gravi conseguenze > sulla loro reputazione e autostima. Ovviamente la stessa cosa vale per qualsiasi persona > * Diritto alla privacy: I minori non hanno la capacità di esprimere il > proprio consenso alla condivisione della loro immagine online. Lo > sharenting viola il loro diritto alla privacy e li priva del controllo > sulla propria identità digitale. Ma no! A tal proposito esiste l'art. 16 del GDPR. Mentre sono minori, sono i genitori a decidere per i figli in materia di privacy: chi altro dovrebbe decidere?!? ...semmai io darei alle persone il diritto di decidere in autonomia in merito alla propria privacy a partire dai 14 anni, semmai. > = Proposta di legge = > > La social media strategist e giornalista Serena Mazzini, Questa la pagina web dell'esperta: https://www.serenadoe.it/ [...] > = Misure alternative = > > Esistono modi alternativi per condividere i momenti speciali con i > propri figli senza esporli a rischi online. Alcune semplici precauzioni: > > * Limitare la condivisione a reti private: Condividere foto e video solo > con familiari e amici fidati, utilizzando piattaforme con impostazioni > di privacy adeguate. Non ho capito: potete ripetere per favore?!? «Reti private»: intendete dire che quel patetico escamotage «condividi con gli amici» equivale a una rete davvero privata? Per favore, siate seri! Condividere le foto di famiglia su "la mia famiglia" su Wazzupp o Terlagram è considerato sharenting o no? «Piattaforme con impostazioni di privacy adeguate»: di grazia, quali diavolo sarebbero?!? [...] > * Non condividere informazioni personali: Evitare di pubblicare dati > sensibili come il nome completo, la data di nascita o la scuola > frequentata. Questo dovrebbe valere per qualsiasi metadato sensibile: *mai* pubblicare a meno che siate veramente consapevoli che "il metadato è per sempre". > * Sensibilizzare i figli: Crescendo, è importante educare i figli sui > rischi della condivisione online e coinvolgerli nelle decisioni che > riguardano la loro privacy. Prima, però, sarebbe il caso che i genitori per primi si auto-educhino ai "rischi della condivisione online" e _non solo_: c'è un'abbondanza di schiaccianti evidenze tecniche che dimostrano che IL MEZZO è inadeguato alla comunicazione privata. Cari esperti di social media e opinionisti vari, è inutile che vi esercitiate in pittoreschi voli pindarici per cercare di tappare i buchi di un colabrodo che fate fatica a comprendere: non risolverete MAI il problema della riservatezza delle comunicazioni con questa internet. > Per approfondimenti in merito allo "sharenting": > https://en.wikipedia.org/wiki/Sharenting# dove c'è scritto: --8<---------------cut here---------------start------------->8--- Sharenting is a portmanteau of "sharing" and "parenting" describing the practice of parents publicizing a large amount of potentially sensitive content about their children on internet platforms. --8<---------------cut here---------------end--------------->8--- per cui questa branchia della sociologia è talmente consolidata che non si capisce nemmeno se pubblicare con restrizioni a amici e parenti sia da considerare "sharenting" oppure no; manco su _quale_ piattaforma potrebbe _non_ essere considerato sharenting --8<---------------cut here---------------start------------->8--- Priya Kumar suggests that recording life moments of children rearing is not a new practice: people have been using diaries, scrapbooks and baby log books as the media of documentation for centuries. --8<---------------cut here---------------end--------------->8--- Come se quelle pratiche corrispondessero a *pubblicazione* delle informazioni! Perché diavolo nel 2024 ancora non è possibile collezionare un album di foto (con didascalie varie) _online_ e condividerlo con amici a patrenti senza che /terzi/, alcuni estremamente potenti e motivati, siano in grado di accedere alle informazioni raccolte? Saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

March 21, 2024

Sharenting: influencer e rischi per i minori, proposta di legge in arrivo

by 380°

Buongiorno, che ignorante che sono, non immaginavo nemmeno che il fenomeno avesse un proprio nome: "sharenting". «Sharenting: influencer e rischi per i minori, proposta di legge in arrivo» 20 Mar 2024 - 11:55 https://www.orizzontescuola.it/sharenting-influencer-e-rischi-per-i-minori-… --8<---------------cut here---------------start------------->8--- La condivisione di foto e video dei figli sui social media, pratica conosciuta come “sharenting”, è un fenomeno in preoccupante aumento. Sebbene motivato dall’amore e dall’orgoglio genitoriale, questo comportamento può nascondere diverse insidie. La condivisione di foto e video dei figli sui social media, pratica conosciuta come “sharenting”, è un fenomeno in preoccupante aumento. Sebbene motivato dall’amore e dall’orgoglio genitoriale, questo comportamento può nascondere diverse insidie. = Pericoli per i minori = * Pedofilia: I contenuti pubblicati online, anche se apparentemente innocenti, possono essere utilizzati da pedofili per alimentare i loro abusi. * Cyberbullismo: Le foto e i video dei bambini possono essere usati per creare meme, insulti o altri contenuti offensivi, con gravi conseguenze sulla loro reputazione e autostima. * Diritto alla privacy: I minori non hanno la capacità di esprimere il proprio consenso alla condivisione della loro immagine online. Lo sharenting viola il loro diritto alla privacy e li priva del controllo sulla propria identità digitale. = Proposta di legge = La social media strategist e giornalista Serena Mazzini, impegnata da anni nello studio dello sharenting, presenterà alla Camera dei Deputati i dati raccolti sulle sue ricerche. L’obiettivo è quello di sensibilizzare il Parlamento sui rischi di questa pratica e di promuovere una proposta di legge per vietarla. = Misure alternative = Esistono modi alternativi per condividere i momenti speciali con i propri figli senza esporli a rischi online. Alcune semplici precauzioni: * Limitare la condivisione a reti private: Condividere foto e video solo con familiari e amici fidati, utilizzando piattaforme con impostazioni di privacy adeguate. * Nascondere il volto del bambino: Offuscare il volto del bambino o utilizzare emoji per coprire i tratti distintivi. * Non condividere informazioni personali: Evitare di pubblicare dati sensibili come il nome completo, la data di nascita o la scuola frequentata. * Sensibilizzare i figli: Crescendo, è importante educare i figli sui rischi della condivisione online e coinvolgerli nelle decisioni che riguardano la loro privacy. --8<---------------cut here---------------end--------------->8--- Per approfondimenti in merito allo "sharenting": https://en.wikipedia.org/wiki/Sharenting# Saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

March 21, 2024

Re: [nexa] L'AI e il cambio di paradigma

by Guido Vetere

> Eh, ma ragioni da linguista, non da statistico ;) lo so, è una vergogna :-) quando gli amici mathematicos, in tempi non sospetti, mi illustrarono queste tecniche, li presi in giro dicendo che era una spannometria (span=espansione) adesso sono loro che prendono in giro me, perché la cosa ha funzionato :-O il fatto è che sui grandi numeri emerge in effetti qualcosa di morfologico, ma servono appunto i grandi numeri, sia in termini di dati di addestramento, sia dei parametri del modello per questo, tornando al tema dell'autarchia italiana, mi chiedo se, avendo pochi dati ma una lingua nota, non valga la pena tokenizzare come ci hanno insegnato a scuola staremo a vedere G. PS: i mathematicos poi sbagliano quando reificano i loro intrugli algoritmici promuovendoli a una linguistica alternativa tutta giocata sul piano del significante On Wed, 20 Mar 2024 at 23:10, Antonio <antonio(a)piumarossa.it> wrote: > > Anzitutto complimenti per Zefiro, lo proverò appena posso > > No, no, non voglio prendermi meriti che non mi spettano. > Io non c'entro nulla con quel progetto, ho solo usato alcuni dei file che > ne fanno parte, per i test. > > > La tokenizzazione dell'italiano ha sicuramente una sua specificità, vista > > l'abbondanza e la complessità delle forme clitiche, con le particelle > > pronominali ficcate dappertutto, pure nei verbi. > > Eh, ma ragioni da linguista, non da statistico ;) > La tokenizzazione, nei Transformer models, è ad opera degli algoritmi > Byte-Pair Encoding (BPE) [1], WordPiece, Unigram, linguisticamente neutri. > In breve, un algoritmo del genere forma dei dizionari composti da un > insieme iniziale di unigrammi (ad esempio le lettere dell'alfabeto) seguito > da digrammi composti dalle coppie più frequenti e così via, finché non si > ottiene un vocabolario delle dimensioni stabilite (32000 nel caso di LLaMA, > 50257 di GPT, ecc.). > Scorrendo l'elenco del vocabolario di LLaMA saltano fuori token che, a > prima vista, ti chiedi dove cavolo sono andati a prenderli, visto che non > esistono in nessuna lingua del mondo, ad esempio: pgfscope. > Poi cerchi in rete e scopri che è un termine usato da "pgf package", "a > TEX macro package", "Inside a picture, you can create nested scopes using > pgfscope" [2]. Chissà in quanti documenti TEX hanno ravanato. > > A. > > [1] https://arxiv.org/pdf/1508.07909.pdf > [2] > https://www.cs.cmu.edu/afs/cs/misc/tex/common/teTeX-3.0-distrib/share/texmf… > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

March 21, 2024

Re: [nexa] L'AI e il cambio di paradigma

by Antonio

> Anzitutto complimenti per Zefiro, lo proverò appena posso No, no, non voglio prendermi meriti che non mi spettano. Io non c'entro nulla con quel progetto, ho solo usato alcuni dei file che ne fanno parte, per i test. > La tokenizzazione dell'italiano ha sicuramente una sua specificità, vista > l'abbondanza e la complessità delle forme clitiche, con le particelle > pronominali ficcate dappertutto, pure nei verbi. Eh, ma ragioni da linguista, non da statistico ;) La tokenizzazione, nei Transformer models, è ad opera degli algoritmi Byte-Pair Encoding (BPE) [1], WordPiece, Unigram, linguisticamente neutri. In breve, un algoritmo del genere forma dei dizionari composti da un insieme iniziale di unigrammi (ad esempio le lettere dell'alfabeto) seguito da digrammi composti dalle coppie più frequenti e così via, finché non si ottiene un vocabolario delle dimensioni stabilite (32000 nel caso di LLaMA, 50257 di GPT, ecc.). Scorrendo l'elenco del vocabolario di LLaMA saltano fuori token che, a prima vista, ti chiedi dove cavolo sono andati a prenderli, visto che non esistono in nessuna lingua del mondo, ad esempio: pgfscope. Poi cerchi in rete e scopri che è un termine usato da "pgf package", "a TEX macro package", "Inside a picture, you can create nested scopes using pgfscope" [2]. Chissà in quanti documenti TEX hanno ravanato. A. [1] https://arxiv.org/pdf/1508.07909.pdf [2] https://www.cs.cmu.edu/afs/cs/misc/tex/common/teTeX-3.0-distrib/share/texmf…

March 20, 2024

Re: [nexa] L'AI e il cambio di paradigma

by Guido Vetere

Anzitutto complimenti per Zefiro, lo proverò appena posso La tokenizzazione dell'italiano ha sicuramente una sua specificità, vista l'abbondanza e la complessità delle forme clitiche, con le particelle pronominali ficcate dapertutto, pure nei vebi. Non so se il 'Modello Italia' adotti un tokenizzatore 'custom' o vada in cerca di questi token (molto 'attenzionabili') con euristiche 'spannometriche'. Di sicuro non potranno esserci effetti di 'transfer learning' da lingue morfologicamente simili, come lo spagnolo. Da questo originano le mie perplessità, ma naturalmente spero di essere smentito. G. On Tue, 19 Mar 2024 at 19:50, Antonio <antonio(a)piumarossa.it> wrote: > > fare un LLM competitivo con dataset limitati (solo italiano, no > copyright, > > no bias, etc) mi sembra una cosa tecnicamente improbabile ... > > Per quanto riguarda la lingua non sono d'accordo. > Un foundation model in italiano sarebbe molto più efficiente, sia in fase > di training che in inference. > A cominciare dal tokenizer, meno token si usano per una parola, più è > efficiente l'LLM. > I termini inglesi hanno in media, rispetto ai corrispondenti italiani, uno > o due caratteri in meno. > Il tokenizer, e qui sta il maggiore spreco, è stato "composto" con i token > più diffusi, per lo più termini inglesi. > Per dire, la parola "misunderstanding" di ben 16 caratteri, viene > "spezzata" in soli 3 token: mis-under-standing > La parola "trasgredirebbero", sempre di 16, ne richiederebbe invece ben > otto, tr-as-g-red-ire-b-ber-o. > Ho testato il tokenizer del progetto Zefiro [1]. Qui [2] il file. > Ebbene, su 32000 token, solo 831 hanno un "senso" in italiano. Uno > "spreco" del 97,4%. > > A. > > [1] https://huggingface.co/giux78/zefiro-7b-beta-ITA-v0.1 > [2] > https://huggingface.co/giux78/zefiro-7b-beta-ITA-v0.1/raw/main/tokenizer.js… > > > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

March 20, 2024