March 2024 - nexa - server-nexa.polito.it

Re: [nexa] L'AI e il cambio di paradigma

by Antonio

> il tema però è quello della costruzione (nb: non fine-tuning) E' un NB grosso come una casa. "Zefiro is a fine-tuned version of the Mistral model for the Italian language" Quindi, il dizionario di Zefiro è lo STESSO di quello di Mistral. E' come studiare i Promessi Sposi, avendo accanto un dizionario multilingue in cui i lemmi in italiano (una piccola percentuale) siano in mezzo a quelli delle altre lingue. Una follia, direbbe un letterato. > se dovessi farlo io, punterei > molto sul recupero di 'prior knowledge' sulla lingua italiana, a partire > dalla morfologia. ma parlo da linguista :-) Prendiamo il progetto OSCAR [1]: The OSCAR project (Open Super-large Crawled Aggregated coRpus) is an Open Source project aiming to provide web-based multilingual resources and datasets for Machine Learning (ML) and Artificial Intelligence (AI) applications. This repository is publicly accessible, but you have to accept the conditions to access its files and content. By filling the form below, you understand that only the metadata and the annotations of OSCAR 23.01 have a cc0-1.0 license, and that the rest of the content is crawled data derived from the November/December 2022 snapshot of Common Crawl, for which the authors of OSCAR do not hold any copyright whatsoever. Italian 89.021.606 documenti, 36.327.274.203 parole, 259.4 GB Estratte da Common Crawl, quindi dal web, senza chiedere permesso a nessuno. Qualcuno ha mai quantificato, invece, l'Open access in italiano? A naso direi più di 259 Gb Qualcuno ha mai quantificato i "documenti" presenti, ad esempio, in Normattiva? Sempre a naso, direi più di 259 Gb E potrei continuare ... A. [1] https://oscar-project.github.io/documentation/versions/oscar-2301/

March 22, 2024

Re: [nexa] L'AI e il cambio di paradigma

by Guido Vetere

sono d'accordo: alla PA non serve un sistema "general purpose" multilingua e con generazione di codice inclusa, ma soprattutto qualcosa che permetta di implementare funzioni di estrazione intelligente, di RAG, etc grazie soprattutto a buoni embedding. Un LM monolingua adatto a questi scopi potrebbe benissimo avere dimensioni contenute e ciascuna amministrazione potrebbe metterlo in esercizio perfino sulle workstation. peraltro, questo in qualche modo è già fattibile con modelli aperti < 70B. il tema però è quello della costruzione (nb: non fine-tuning) di un LM su testi italiani 'kosher'. OpenAI e Mistral hanno entrambi detto che sarebbe ben difficile stimare un modello efficace senza usare anche materiale copyrighted. chi ha ragione? lo vedremo. se dovessi farlo io, punterei molto sul recupero di 'prior knowledge' sulla lingua italiana, a partire dalla morfologia. ma parlo da linguista :-) G. On Thu, 21 Mar 2024 at 20:00, Antonio <antonio(a)piumarossa.it> wrote: > > per questo, tornando al tema dell'autarchia italiana, mi chiedo se, > avendo > > pochi dati ma una lingua nota, non valga la pena tokenizzare come ci > hanno > > insegnato a scuola > > Beh, parafrasando e rivoltando il senso della famosa battuta di Frederick > Jelinek, mi verrebbe da dire: "Ogni volta che licenzio un matematico (per > assumere un linguista) la performance del nostro sistema migliora". > A parità di risultato finale, un set dati in una lingua nota, produce un > "model" molto più piccolo, un "tokenizer" più piccolo e adattato ai lemmi > di quella lingua, con la sua sillabazione, le sue forme clitiche, i suoi > affissi, ecc. > Un risultato finale *identico* ma con molti cicli macchina in meno (non > ditelo a NVIDA) e con molta energia elettrica in meno. > Un "modello" del genere potrebbe andare bene in tutti quei casi in cui non > serve un approccio multilingue. Penso alla pubblica amministrazione, alla > giustizia ... Poi, certo, vi si potrebbe abbinare un sistema "generico", > magari derivato da uno di quelli "open source" che ci sono adesso, tipo > LLaMA, ecc. che entrerebbe in azione solo su richiesta dell'utente. > > A. > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

March 22, 2024

Re: [nexa] L'AI e il cambio di paradigma

by 380°

Antonio <antonio(a)piumarossa.it> writes: >> per questo, tornando al tema dell'autarchia italiana, mi chiedo se, avendo >> pochi dati ma una lingua nota, non valga la pena tokenizzare come ci hanno >> insegnato a scuola > > Beh, parafrasando e rivoltando il senso della famosa battuta di > Frederick Jelinek, mi verrebbe da dire: "Ogni volta che licenzio un > matematico (per assumere un linguista) la performance del nostro > sistema migliora". <joke> pensa cosa potrebbe succedere quando un linguista dovesse imparare la programmazione o un matematico imparare la linguistica </joke> 555 [1] saluti, 380° [...] [1] un lauto premio a chi interpreta correttamente quel /simbolo/! P.S.: finché c'è programmazione c'è speranza. -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

March 22, 2024

Re: [nexa] Debates on the nature of artificial general intelligence

by 380°

Buongiorno, grazie mille della segnalazione Enrico Nardelli <nardelli(a)mat.uniroma2.it> writes: [...] > a deep dive into speculations about AGI reveals that many AI > practitioners have starkly different views on the nature of intelligence > than do those who study human and animal cognition—differences that > matter for understanding the present and predicting the likely future of > machine intelligence. _taggo_ questo concetto > Continua qua https://www.science.org/doi/10.1126/science.ado7069 My personal humble executive summary: --8<---------------cut here---------------start------------->8--- The definition of AGI was adjusted accordingly to include only so-called “cognitive tasks.” DeepMind cofounder Demis Hassabis defines AGI as a system that “should be able to do pretty much any cognitive task that humans can do,” and OpenAI describes it as “highly autonomous systems that outperform humans at most economically valuable work,” where “most” leaves out tasks requiring the physical intelligence that will likely elude robots for some time. The notion of “intelligence” in AI—cognitive or otherwise—is often framed in terms of an individual agent optimizing for a reward or goal. One influential paper defined general intelligence as “an agent’s ability to achieve goals in a wide range of environments”; another stated that “intelligence, and its associated abilities, can be understood as subserving the maximisation of reward.” Indeed, this is how current-day AI works—the computer program AlphaGo, for example, is trained to optimize a particular reward function (“win the game”), and GPT-4 is trained to optimize another kind of reward function (“predict the next word in a phrase”). --8<---------------cut here---------------end--------------->8--- Ho già detto in altre occasioni che una efficace caratterizzazione dei sistemi LLM è "macchine sofistiche", perché - perdonatemi la banalizzazione - per i sofisti non è importante comprendere la verità ma solo /dipinger(se)la/, /narrar(se)la/. Analogamente, più osservo il dibattito sulla AGI più mi convinco che si tratti solo e soltanto di meta-sofismo, ovvero sofismo sul sofismo, cioè sofismo al quadrato: non importa comprendere cosa sia l'intelligenza o cosa siano le capacità cognitive, i meta-sofisti l'intelligenza "se la cantano e se la suonano". Di questo stiamo parlando: meta-sofismo on steroids. [...] Saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

March 22, 2024

Debates on the nature of artificial general intelligence

by Enrico Nardelli

The term “artificial general intelligence” (AGI) has become ubiquitous in current discourse around AI. OpenAI states that its mission is “to ensure that artificial general intelligence benefits all of humanity.” DeepMind’s company vision statement notes that “artificial general intelligence…has the potential to drive one of the greatest transformations in history.” AGI is mentioned prominently in the UK government’s National AI Strategy and in US government AI documents. Microsoft researchers recently claimed evidence of “sparks of AGI” in the large language model GPT-4, and current and former Google executives proclaimed that “AGI is already here.” The question of whether GPT-4 is an “AGI algorithm” is at the center of a lawsuit filed by Elon Musk against OpenAI. Given the pervasiveness of AGI talk in business, government, and the media, one could not be blamed for assuming that the meaning of the term is established and agreed upon. However, the opposite is true: What AGI means, or whether it means anything coherent at all, is hotly debated in the AI community. And the meaning and likely consequences of AGI have become more than just an academic dispute over an arcane term. The world’s biggest tech companies and entire governments are making important decisions on the basis of what they think AGI will entail. But a deep dive into speculations about AGI reveals that many AI practitioners have starkly different views on the nature of intelligence than do those who study human and animal cognition—differences that matter for understanding the present and predicting the likely future of machine intelligence. Continua qua https://www.science.org/doi/10.1126/science.ado7069 -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Past President di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli(a)mat.uniroma2.it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================== --

March 21, 2024

Re: [nexa] L'AI e il cambio di paradigma

by Antonio

> per questo, tornando al tema dell'autarchia italiana, mi chiedo se, avendo > pochi dati ma una lingua nota, non valga la pena tokenizzare come ci hanno > insegnato a scuola Beh, parafrasando e rivoltando il senso della famosa battuta di Frederick Jelinek, mi verrebbe da dire: "Ogni volta che licenzio un matematico (per assumere un linguista) la performance del nostro sistema migliora". A parità di risultato finale, un set dati in una lingua nota, produce un "model" molto più piccolo, un "tokenizer" più piccolo e adattato ai lemmi di quella lingua, con la sua sillabazione, le sue forme clitiche, i suoi affissi, ecc. Un risultato finale *identico* ma con molti cicli macchina in meno (non ditelo a NVIDA) e con molta energia elettrica in meno. Un "modello" del genere potrebbe andare bene in tutti quei casi in cui non serve un approccio multilingue. Penso alla pubblica amministrazione, alla giustizia ... Poi, certo, vi si potrebbe abbinare un sistema "generico", magari derivato da uno di quelli "open source" che ci sono adesso, tipo LLaMA, ecc. che entrerebbe in azione solo su richiesta dell'utente. A.

March 21, 2024

Re: [nexa] L'AI e il cambio di paradigma

by Guido Vetere

i mathematicos che vogliono fare l'AGI, pensano che associando i token del representamen (significante) e dell'oggetto (referente) si riesca a risalire al interpretante (più o meno il 'segno' degli strutturalisti). i più bold pensano che l'associazione /sia/ l'interpretante, ma i filosofi, senza laurea STEM, non lo hanno mai capito noialtri scettici (skepsi - e sai cosa bevi) pensiamo invece (con Peirce) che l'interpretazione sia /abduzione/, cioè una decisione che contiene sempre qualcosa di extra-logico (preferenze, orientamenti, interessi, sensibilità, intuizioni geniali, disagio mentale) i mathematicos ci sbatteranno davanti al naso i loro robottini che eseguono ordini e rispondono a tono (sceglieranno vocette rassicuranti, anche un po' insicure) facendosi beffe dei nostri dubbi con ostentazioni /positive/. hanno già iniziato, come sapete: https://www.youtube.com/watch?v=Sq1QZB5baNw detto questo, vedo in giro atteggiamenti di 'denial' (questa cosa non funziona! non serve! è illegale! va impedita!). si tratta a mio avviso di un 'aventinismo tecnologico' che non serve a nulla. piuttosto dobbiamo prendere le misure queste 'intelligenze aliene' pensando a come integrarle nella loro e per la loro diversità G. On Thu, 21 Mar 2024 at 17:22, 380° <g380(a)biscuolo.net> wrote: > Buongiorno Guido, > > Guido Vetere <vetere.guido(a)gmail.com> writes: > > [...] > > > quando gli amici mathematicos, in tempi non sospetti, mi illustrarono > > queste tecniche, li presi in giro dicendo che era una spannometria > > (span=espansione) > > > > adesso sono loro che prendono in giro me, perché la cosa ha funzionato > :-O > > [...] > > > PS: i mathematicos poi sbagliano quando reificano i loro intrugli > > algoritmici promuovendoli a una linguistica alternativa tutta giocata sul > > piano del significante > > Quindi continuano a spannometricare, solo che lo span=espansione > stavolta è grande come internet e quindi il significante /sembra/ > l'intero triangolo semiotico ma in realtà è solo una sua /proiezione/ > monodimensionale _molto_ "bold"? > > Saluti, 380° > > [...] > > P.S.: faccio finta di aver capito quello che ho scritto :-D > > -- > 380° (Giovanni Biscuolo public alter ego) > > «Noi, incompetenti come siamo, > non abbiamo alcun titolo per suggerire alcunché» > > Disinformation flourishes because many people care deeply about injustice > but very few check the facts. Ask me about <https://stallmansupport.org>. >

March 21, 2024

Re: [nexa] L'AI e il cambio di paradigma

by 380°

Buongiorno Guido, Guido Vetere <vetere.guido(a)gmail.com> writes: [...] > quando gli amici mathematicos, in tempi non sospetti, mi illustrarono > queste tecniche, li presi in giro dicendo che era una spannometria > (span=espansione) > > adesso sono loro che prendono in giro me, perché la cosa ha funzionato :-O [...] > PS: i mathematicos poi sbagliano quando reificano i loro intrugli > algoritmici promuovendoli a una linguistica alternativa tutta giocata sul > piano del significante Quindi continuano a spannometricare, solo che lo span=espansione stavolta è grande come internet e quindi il significante /sembra/ l'intero triangolo semiotico ma in realtà è solo una sua /proiezione/ monodimensionale _molto_ "bold"? Saluti, 380° [...] P.S.: faccio finta di aver capito quello che ho scritto :-D -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

March 21, 2024

Re: [nexa] Can Large Language Models Reason and Plan?

by 380°

Buongiorno Daniela, Daniela Tafani <daniela.tafani(a)unipi.it> writes: > Can Large Language Models Reason and Plan? > Subbarao Kambhampati [...] > https://nyaspubs.onlinelibrary.wiley.com/doi/10.1111/nyas.15125 > oppure > https://arxiv.org/pdf/2403.04121.pdf grazie per la segnalazione. Qual'è la definizione scientifica di "ragionare"? :-D L'autore scrive: --8<---------------cut here---------------start------------->8--- Let us pause to note that my interest here is not whether LLMs can fake reasoning (by giving correct answers to reasoning tasks from memory and pattern finding), but whether they can actually do principled reasoning. Of course, seeing patterns in reasoning problems is not any- thing to be sneezed at. After all, our interest in master- ing it is what is behind much of “street fighting” math (e.g. George Pólya’s ”How to Solve it”). But finding ap- proximate shortcuts over provably correct reasoning proce- dures is obviously not equivalent to doing reasoning–unless you have an ability to establish from first principles that your hunch is actually correct. It is challenging to decide whether a system (or a human, for that matter) is memoriz- ing or solving a problem from scratch–especially as the sys- tems (or humans) get trained on larger and larger “question banks.” This is a challenge that most instructors and inter- viewers are acutely aware of. Think of that infamous “Why are manhole covers round?” interview question. While it may well have given the interviewer an insight into the candidate’s analytical reasoning skills the very first time it was asked, all it does with high probability now is to con- firm whether the candidate trained on the interview ques- tion banks! --8<---------------cut here---------------end--------------->8--- ...non mi dire che per decidere se un sistema sappia ragionare è necessario che quel sistema necessiti di self-reflection!?! :-D (ho avuto fortuna perché mi sono ricordato bene o ho compreso l'argomento?) Uh, quindi _molto_ probabilmente i sistemi LLM _non_ sanno ragionare: e allora?!? --8<---------------cut here---------------start------------->8--- While the foregoing questions the claims that LLMs are capable of planning/reasoning, it is not meant to imply that LLMs don’t have any constructive roles to play in solving planning/reasoning tasks. In particular, their uncanny abil- ity to generate ideas/potential candidate solutions–albeit with no guarantees about those guesses–can still be valu- able in the “LLM-Modulo” setups 6 , in conjunction with either model-based verifiers or expert humans in the loop. The trick to avoiding ascribing autonomous reasoning ca- pabilities to LLMs is to recognize that LLMs are generating potential answers that still need to be checked by external verifiers. --8<---------------cut here---------------end--------------->8--- Forse che forse, quindi, gli umani rischiano di essere ancora necessari?!? --8<---------------cut here---------------start------------->8--- LLMs can be a rich source of approximate models of world/domain dynamics and user preferences, as long as the humans (and any specialized critics) in the loop verify and refine the models, and give them over to model-based solvers. This way of using LLMs has the advantage that the humans need only be present when the dynamics/preference model is being teased out and refined, with the actual planning after that being left to sound frameworks with correctness guarantees 6 . --8<---------------cut here---------------end--------------->8--- Uh guarda, quella /roba/ descritta sopra assomiglia tantissimo alla _programmazione_ :-O, sarà un caso stocastico! Mi spiego... Se non ho capito male, i model-based solvers sono quelle /robe/ che servono da "external verifiers" nei LLM-Modulo Frameworks: https://arxiv.org/abs/2402.01817 «LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks» Sempre se non ho capito male, gli "external model-based verifiers" sono "symbolic solvers", cioè *programmi* scritti per sistemi CAS https://en.wikipedia.org/wiki/Computer_algebra_system (per i quali l'articolo di Wikipedia afferma: «the result of a computation commonly has an unpredictable form and an unpredictable size; therefore user intervention is frequently needed») ...o sistemi simbolici analoghi. Finché c'è programmazione c'è speranza. Ho capito male? [...] Saluti, 380° P.S.: la riproposizione in "salsa AI" della famosissima figura «Figure 2. Claimed reasoning capabilities of LLMs are sometimes due to the subconscious helpful iterative prompting by the humans in the loop (graphic adapted from https://xkcd.com/2347/ under Creative Commons License)» (pag. 3 del PDF) è una genialata! -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

March 21, 2024

Re: [nexa] Sharenting: influencer e rischi per i minori, proposta di legge in arrivo

by 380°

Buongiorno, è imbarazzante questa fregola di pretendere di regolare per mezzo di leggi ogni singolo aspetto relativo all'uso dei mezzi di comunicazione... senza avere ben chiaro il contesto giuridico e _soprattutto_ tecnico relativo ai mezzi di comunicazione. 380° <g380(a)biscuolo.net> writes: [...] > https://www.orizzontescuola.it/sharenting-influencer-e-rischi-per-i-minori-… > > --8<---------------cut here---------------start------------->8--- > = Pericoli per i minori = I potenziali rischi della condivisione _pubblica_ di informazioni biometriche o dei metadati delle persone riguarda tutti, non solo i minori. Certo è che la posizione dei minori è più _svantaggiata_ rispetto ai maggiorenni perché sono i genitori - o i tutori legali - a scegliere per loro... ...però io mi domando se, almeno in materia di informatica, la stragrande maggioranza degli adulti non sia in realtà in condizione di minorità e non siano in realtà altri UberTutori a decidere per loro. > * Pedofilia: I contenuti pubblicati online, anche se apparentemente > innocenti, possono essere utilizzati da pedofili per alimentare i loro > abusi. La stessa cosa vale per qualsiasi gruppo sociale o individuo sottoposto ad abusi di qualsiasi natura > * Cyberbullismo: Le foto e i video dei bambini possono essere usati per > creare meme, insulti o altri contenuti offensivi, con gravi conseguenze > sulla loro reputazione e autostima. Ovviamente la stessa cosa vale per qualsiasi persona > * Diritto alla privacy: I minori non hanno la capacità di esprimere il > proprio consenso alla condivisione della loro immagine online. Lo > sharenting viola il loro diritto alla privacy e li priva del controllo > sulla propria identità digitale. Ma no! A tal proposito esiste l'art. 16 del GDPR. Mentre sono minori, sono i genitori a decidere per i figli in materia di privacy: chi altro dovrebbe decidere?!? ...semmai io darei alle persone il diritto di decidere in autonomia in merito alla propria privacy a partire dai 14 anni, semmai. > = Proposta di legge = > > La social media strategist e giornalista Serena Mazzini, Questa la pagina web dell'esperta: https://www.serenadoe.it/ [...] > = Misure alternative = > > Esistono modi alternativi per condividere i momenti speciali con i > propri figli senza esporli a rischi online. Alcune semplici precauzioni: > > * Limitare la condivisione a reti private: Condividere foto e video solo > con familiari e amici fidati, utilizzando piattaforme con impostazioni > di privacy adeguate. Non ho capito: potete ripetere per favore?!? «Reti private»: intendete dire che quel patetico escamotage «condividi con gli amici» equivale a una rete davvero privata? Per favore, siate seri! Condividere le foto di famiglia su "la mia famiglia" su Wazzupp o Terlagram è considerato sharenting o no? «Piattaforme con impostazioni di privacy adeguate»: di grazia, quali diavolo sarebbero?!? [...] > * Non condividere informazioni personali: Evitare di pubblicare dati > sensibili come il nome completo, la data di nascita o la scuola > frequentata. Questo dovrebbe valere per qualsiasi metadato sensibile: *mai* pubblicare a meno che siate veramente consapevoli che "il metadato è per sempre". > * Sensibilizzare i figli: Crescendo, è importante educare i figli sui > rischi della condivisione online e coinvolgerli nelle decisioni che > riguardano la loro privacy. Prima, però, sarebbe il caso che i genitori per primi si auto-educhino ai "rischi della condivisione online" e _non solo_: c'è un'abbondanza di schiaccianti evidenze tecniche che dimostrano che IL MEZZO è inadeguato alla comunicazione privata. Cari esperti di social media e opinionisti vari, è inutile che vi esercitiate in pittoreschi voli pindarici per cercare di tappare i buchi di un colabrodo che fate fatica a comprendere: non risolverete MAI il problema della riservatezza delle comunicazioni con questa internet. > Per approfondimenti in merito allo "sharenting": > https://en.wikipedia.org/wiki/Sharenting# dove c'è scritto: --8<---------------cut here---------------start------------->8--- Sharenting is a portmanteau of "sharing" and "parenting" describing the practice of parents publicizing a large amount of potentially sensitive content about their children on internet platforms. --8<---------------cut here---------------end--------------->8--- per cui questa branchia della sociologia è talmente consolidata che non si capisce nemmeno se pubblicare con restrizioni a amici e parenti sia da considerare "sharenting" oppure no; manco su _quale_ piattaforma potrebbe _non_ essere considerato sharenting --8<---------------cut here---------------start------------->8--- Priya Kumar suggests that recording life moments of children rearing is not a new practice: people have been using diaries, scrapbooks and baby log books as the media of documentation for centuries. --8<---------------cut here---------------end--------------->8--- Come se quelle pratiche corrispondessero a *pubblicazione* delle informazioni! Perché diavolo nel 2024 ancora non è possibile collezionare un album di foto (con didascalie varie) _online_ e condividerlo con amici a patrenti senza che /terzi/, alcuni estremamente potenti e motivati, siano in grado di accedere alle informazioni raccolte? Saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

March 21, 2024