- nexa - server-nexa.polito.it

Re: [nexa] L'AI e il cambio di paradigma

by Antonio

> fare un LLM competitivo con dataset limitati (solo italiano, no copyright, > no bias, etc) mi sembra una cosa tecnicamente improbabile ... Per quanto riguarda la lingua non sono d'accordo. Un foundation model in italiano sarebbe molto più efficiente, sia in fase di training che in inference. A cominciare dal tokenizer, meno token si usano per una parola, più è efficiente l'LLM. I termini inglesi hanno in media, rispetto ai corrispondenti italiani, uno o due caratteri in meno. Il tokenizer, e qui sta il maggiore spreco, è stato "composto" con i token più diffusi, per lo più termini inglesi. Per dire, la parola "misunderstanding" di ben 16 caratteri, viene "spezzata" in soli 3 token: mis-under-standing La parola "trasgredirebbero", sempre di 16, ne richiederebbe invece ben otto, tr-as-g-red-ire-b-ber-o. Ho testato il tokenizer del progetto Zefiro [1]. Qui [2] il file. Ebbene, su 32000 token, solo 831 hanno un "senso" in italiano. Uno "spreco" del 97,4%. A. [1] https://huggingface.co/giux78/zefiro-7b-beta-ITA-v0.1 [2] https://huggingface.co/giux78/zefiro-7b-beta-ITA-v0.1/raw/main/tokenizer.js…

March 19, 2024

Can Large Language Models Reason and Plan?

by Daniela Tafani

Can Large Language Models Reason and Plan? Subbarao Kambhampati Large Language Models (LLMs), essentially n-gram models on steroids that have been trained on web-scale lan- guage corpora (or, effectively, our civilizational knowledge), have caught our collective imagination with linguis- tic behaviors that no one expected text completion systems to possess. By training and operation, LLMs are perhaps best seen as giant non-veridical memories akin to an external System 1 for us all (see Figure 1). Their seem- ing versatility has however led many researchers to wonder whether they can also do well on planning and reasoning tasks typically associated with System 2 competency. Nothing in the training and use of LLMs would seem to suggest remotely that they can do any type of princi- pled reasoning (which, as we know, often involves computationally hard inference/search). What LLMs are good at is a form of universal approximate retrieval. Unlike databases that index and retrieve data exactly, LLMs, as n- gram models, probabilistically reconstruct completions for the prompt word by word–a process we shall refer to as approximate retrieval. This means that LLMs can’t even guarantee memorizing complete answers, something that is the flip side of their appeal about constructing “novel” prompt completions on the fly. The boon (“creativity”) and bane (“hallucination”) of LLMs is that n-gram models will naturally mix and match–and have almost as much trouble strictly memorizing as we do. It is indeed the very basis of their appeal. https://nyaspubs.onlinelibrary.wiley.com/doi/10.1111/nyas.15125 oppure https://arxiv.org/pdf/2403.04121.pdf

March 19, 2024

Re: [nexa] Affidabilità delle traduzioni automatiche

by Fabio Alemagna

Il giorno mar 19 mar 2024 alle ore 11:48 Diego Giorio <dgiorio(a)hotmail.com> ha scritto: > > Questa è decisamente carina. > > E non ditemi che sono out of topic, perché riguarda l'affidabilità dei sistemi di traduzione automatica. > > Il paese in questione è naturalmente la cittadina di BRA, opportunamente tradotta in italiano... Immagino dipenda da quanto si è disposti a pagare.

March 19, 2024

Affidabilità delle traduzioni automatiche

by Diego Giorio

Questa è decisamente carina. E non ditemi che sono out of topic, perché riguarda l'affidabilità dei sistemi di traduzione automatica. Il paese in questione è naturalmente la cittadina di BRA, opportunamente tradotta in italiano... Saluti a tutti D.

March 19, 2024

MEMENTO | Convegno "Tra condivisione e controllo: intelligenza artificiale generativa e licenze aperte nel diritto d'autore" | 20 marzo 2024, ore 17.00

by Nexa - Media

Gentilissime, gentilissimi, Vi ricordiamo che mercoledì 20 marzo, dalle ore 17.00 alle ore 19.00, si terrà il convegno organizzato dal Centro Nexa in collaborazione con l'Ordine degli Avvocati di Torino, dal titolo: "Tra condivisione e controllo: intelligenza artificiale generativa e licenze aperte nel diritto d'autore". Parteciperà all'incontro l'Avv. Deborah De Angelis (Nexa Fellow), in dialogo con il Prof. Maurizio Borghi (co-direttore del Centro Nexa) e l'Avv. Marco Ciurcina (Nexa Fellow). L'evento si terrà IN PRESENZA presso l'Aula Croce della Curia Maxima (Via Corte d'Appello 16, Torino) E ONLINE al seguente indirizzo: https://pyx-is.zoom.us/meeting/register/tZEqcOqgrTMtGdYyL0ziaS92NFo9pzKN3cw2 Per maggiori dettagli è possibile consultare la pagina web dell'incontro: https://nexa.polito.it/tra-condivisione-e-controllo Cordiali saluti, -- Valeria Bergantino Communication Officer Nexa Center for Internet & Society Politecnico di Torino - DAUIN Via Pier Carlo Boggio, 65/A - 10138 Torino web: https://nexa.polito.it/ mail: valeria.bergantino(a)polito.it<mailto:valeria.bergantino@polito.it> tel: 3473443585

March 19, 2024

Re: [nexa] L'AI e il cambio di paradigma

by Guido Vetere

nelle prime interviste al CEO di i-Genius c'era un appello alla lingua come 'genio del popolo', orecchiato forse da Vico, che mi fece un po' ridere ma c'è un'arietta di autarchia che, questa sì, sembra un ricorso della Storia fare un LLM competitivo con dataset limitati (solo italiano, no copyright, no bias, etc) mi sembra una cosa tecnicamente improbabile, forse l'idea è quella di imporlo come modello 'certificato' alla PA: un modello 'kosher' rispettoso dei canoni dell'AI Act (en passant: 'il manifesto della razza' sarà incluso nel dataset; essendo libero da copyright?) quello che si intravede è il confronto tra supremazia tecnologica e cogenza normativa che è un aspetto critico dell'attuale approccio EU portare questo confronto sul piano dei 'foundational models' secondo me è uno sbaglio, ma parliamone G. On Mon, 18 Mar 2024 at 20:43, Antonio <antonio(a)piumarossa.it> wrote: > > alla fine il collo di bottiglia è proprio il cloud, perché per il > training, > > una tantum, ce la possiamo cavare anche con Leonardo > > Beh, allora aspettiamo, prima dell'estate, "Modello Italia" [1] > Intanto ieri XAI-ORG ha pubblicato su Github, Grok-1 [2] > > A. > > [1] > https://www.wired.it/article/modello-italia-intelligenza-artificiale-igeniu… > [2] https://github.com/xai-org/grok-1/ > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

March 19, 2024

Joe Biden has just dealt a big defeat to big tech | Joseph Stiglitz | The Guardian

by Alberto Cammozzo

<https://www.theguardian.com/business/2024/mar/18/joe-biden-has-just-dealt-a…> Joe Biden has just dealt a big defeat to big tech | Joseph Stiglitz Joseph Stiglitz Last year, Joe Biden’s administration infuriated lobbyists representing big tech firms and others that profit from our personal data by denouncing a proposal that would have gutted domestic data privacy, online civil rights and liberties, and competition safeguards. Now, the US president’s new executive order on Americans’ data security reveals that the lobbyists had good reason to worry. After decades of data brokers and tech platforms exploiting Americans’ personal data without any oversight or restrictions, the Biden administration has announced that it will ban the transfer of certain kinds of data to China and other countries of concern. It is a small, but important, step towards protecting Americans’ sensitive personal information, in addition to government-related data. Moreover, the order is likely a precursor to additional policy responses. Americans are rightly worried about what is happening online, and their concerns extend well beyond privacy violations to a host of other digital harms, such as mis- and disinformation, social media-induced teenage anxiety, and racial incitement. The firms that make money from our data (including personal medical, financial, and geolocation information) have spent years trying to equate “free flows of data” with free speech. They will try to frame any Biden administration public interest protection as an effort to shut down access to news websites, cripple the internet, and empower authoritarians. That is nonsense. Tech companies know that if there is an open, democratic debate, consumers’ concerns about digital safeguards will easily trump concerns about their profit margins. Industry lobbyists thus have been busy trying to short-circuit the democratic process. One of their methods is to press for obscure trade provisions aimed at circumscribing what the US and other countries can do to protect personal data. It might seem obvious that a US president should protect Americans’ privacy and national security, both of which could be jeopardised depending on how and where the vast amounts of data that we all generate are processed and stored. Yet, amazingly, former President Donald Trump’s administration sought to prohibit the US from placing any restrictions on “the crossborder transfer of information, including personal information” to any country if such transfers were related to the business of any investor or service provider operating in the US or other countries signing the agreement. The Trump administration’s proposal to include this rule in the World Trade Organization did provide for one exception, which ostensibly would allow some regulation “necessary to achieve a legitimate public policy objective”, but it was designed not to work in practice. While big tech lobbyists cite the exception to rebut criticism of the broader proposal, the provision’s language comes straight from a WTO “General Exception” that has failed in 46 of 48 attempted uses. The ban on crossborder data regulation was just one of four proposals that big tech lobbyists convinced Trump officials to slip into the revised North American Free Trade Agreement and to propose at WTO-related talks. Written in arcane jargon and buried among hundreds of pages of trade-pact language, these provisions were misleadingly branded as “digital trade” rules. By prohibiting governments from adopting certain policies, the proposal’s industry-written terms threatened bipartisan efforts in the US Congress to counter big tech’s abuses of consumers, workers, and smaller businesses. They also undercut the US regulatory agencies responsible for protecting our privacy and civil rights, and for enforcing antitrust policy. In fact, had the Trump-era rules banning government restrictions on data flows gone into effect at the WTO, they would have barred the Biden administration’s own new data-security policy. Few people realised the Trump-era proposal even existed – except, of course, for the lobbyists who had been quietly commandeering trade talks. While no previous US trade pacts had included provisions pre-empting executive and congressional authority over data regulation, digital platforms suddenly would have been granted special secrecy rights. The kinds of algorithmic assessments and AI pre-screenings that Congress and executive-branch agencies deem critical to protecting the public interest would have been banned. After Trump’s loss in the 2020 election, industry lobbyists still hoped to make these anomalous rules a new norm. Their plan was to get the same provisions added to a Biden administration agreement called the Indo-Pacific Economic Framework. But instead of going with the lobbyists, Biden administration officials worked with Congress to determine that the Trump-era proposals were not compatible with congressional and administration goals for digital privacy, competition, and regulation. Now, we can understand why tech lobbyists were so incensed by the Biden administration’s decision to withdraw support for the Trump-era proposal. They recognised that by casting aside big tech’s favoured “digital trade” handcuffs, the Biden administration was reasserting its authority to regulate the large platforms and data brokers that Americans across the political spectrum think have too much power. Trade agreements have gotten a bad name precisely because of this kind of behaviour by corporate lobbyists. The US needs a robust debate about how best to regulate big tech, and over how to maintain competition while preventing the digital harms that are stoking political polarisation and undermining democracy. Obviously, the debate should not be tethered by constraints imposed surreptitiously by big tech through trade agreements. US trade representative Katherine Tai is exactly right when she says that it would be “policy malpractice” to lock in trade rules limiting action on these matters before the US government has established its own domestic approach. Whatever one’s position on the regulation of big tech – whether one believes that its anti-competitive practices and social harms should be restricted or not – anyone who believes in democracy should applaud the Biden administration for its refusal to put the cart before the horse. The US, like other countries, should decide its digital policy democratically. If that happens, I suspect the outcome will be a far cry from what big tech and its lobbyists were pushing for. Joseph E Stiglitz is a Nobel laureate in economics, university professor at Columbia University and a former chief economist of the World Bank. Ⓒ Project Syndicate

March 19, 2024

Re: [nexa] L'AI e il cambio di paradigma

by Antonio

> alla fine il collo di bottiglia è proprio il cloud, perché per il training, > una tantum, ce la possiamo cavare anche con Leonardo Beh, allora aspettiamo, prima dell'estate, "Modello Italia" [1] Intanto ieri XAI-ORG ha pubblicato su Github, Grok-1 [2] A. [1] https://www.wired.it/article/modello-italia-intelligenza-artificiale-igeniu… [2] https://github.com/xai-org/grok-1/

March 18, 2024

112° Nexa Lunch Seminar | 27 marzo 2024, ore 13.00

by Nexa - Media

Gentilissime, gentilissimi, Vi invitiamo a partecipare al 112° Nexa Lunch Seminar che si terrà mercoledì 27 marzo, dalle ore 13.00 alle ore 14.00, con un incontro dal titolo: "'Pay or ok': you cannot be serious". Ospite dell'incontro: Marco Giraudo (Università degli Studi di Torino). L'incontro si terrà IN PRESENZA e ONLINE. SEDE FISICA dell'incontro: Campus Luigi Einaudi, Lungo Dora Siena, 100 Edificio D4, II piano, Aula H1 (MAPS<https://www.google.com/maps/place/Campus+Luigi+Einaudi/@45.0734963,7.699408…>) STANZA VIRTUALE dell'incontro: https://didattica.polito.it/VClass/NexaEvent Di seguito maggiori dettagli: https://nexa.polito.it/lunch-112 Cordiali saluti, -- Valeria Bergantino Communication Officer Nexa Center for Internet & Society Politecnico di Torino - DAUIN Via Pier Carlo Boggio, 65/A - 10138 Torino web: https://nexa.polito.it/ mail: valeria.bergantino(a)polito.it<mailto:valeria.bergantino@polito.it> tel: 3473443585

March 18, 2024

Re: [nexa] L'AI e il cambio di paradigma

by Guido Vetere

in realtà gli array di gpu servono in training, ma per far girare in inferenza o anche in fine-tuning un LLM aperto decente bastano schede da poche migliaia di euro. il problema è la scalabilità per applicazioni 'consumer', tipo GPT, ed è il motivo per cui Mistral ha fatto l'accordo con Microsoft per il suo modello 'large' alla fine il collo di bottiglia è proprio il cloud, perché per il training, una tantum, ce la possiamo cavare anche con Leonardo tutto questo nella situazione attuale, poi domani chissà che succede, magari nuove architetture tipo 'mixture of experts' saranno più scalabili, magari il mercato consumer si differenzia la risorsa scarsa che mi preoccupa di più è quella delle competenze G. On Sat, 16 Mar 2024 at 12:53, Antonio <antonio(a)piumarossa.it> wrote: > Immaginate che il prossimo primo d'aprile, le BigTech facciano al mondo un > bel pesce d'aprile. > Si mettano d'accordo e spengano i loro server. Una disconnessione, non di > un paio d'ore come è successo il 5 marzo con Facebook e consorelle [1], ma > per sempre, o comunque per un periodo molto lungo. > A parte lo shock iniziale, la comunità di sviluppatori open source sarebbe > in grado, nel giro di poco tempo, di mettere su delle alternative valide, > considerata l'enorme quantità di software libero in grado di coprire la > quasi totalità dei servizi "offerti" dalle Big. > Già, la quasi ... Ma con l'intelligenza artificiale come la mettiamo? > Non è questione di software, l'AI è basata su una manciata di linee di > codice (v. il mio nanoLLaMA [2]) disponibile in rete liberamente. > Non è questione di dati in input. Common Crawl [3] è lì per questo, basta > una connessione ed un hard disk decente e i dati sono pronti. > E' ovviamente una questione di potenza di calcolo e di corrente elettrica, > insomma, dei "chip" che riescano ad effettuare miliardi di miliardi di > "moltiplicazioni" al secondo e accesi per mesi e mesi [4]. > Quindi ... siamo "bloccati". Il miglior lock-in che l'industria del > hardware (Nvidia) e del software è riuscita a mettere in atto. > > A. > > [1] https://notizie.tiscali.it/cronaca/articoli/anomalie-siti-meta/ > [2] https://github.com/opensignature/stories > [3] https://commoncrawl.org/ > [4] https://www.saela.eu/flops/ > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

March 17, 2024