July 2024 - nexa - server-nexa.polito.it

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Fabio Alemagna

Il giorno mer 3 lug 2024 alle ore 14:55 Giacomo Tesio <giacomo(a)tesio.it> ha scritto: > > ROTFL! :-D > > Il giorno Wed, 3 Jul 2024 14:29:07 Guido Vetere ha scritto: > > un algoritmo che fa uso di numeri casuali è generalmente considerato > > non deterministico, full stop I vari GPT* sono non-deterministici: https://152334h.github.io/blog/non-determinism-in-gpt-4/

July 3, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Marco A. Calamari

On mer, 2024-07-03 at 15:38 +0200, Guido Vetere wrote: > > Se così fosse, la somma di due numeri interi sarebbe un'algoritmo non > > deterministico se applicato a due numeri ottenuti con i dadi. > > la conclusione, se ci pensi, è che non esistono algoritmi non deterministici. Certo che esistono. Pensa all'algoritmo "Cuoci due uova al tegamino" di cui modifichi uno step "Tira i dadi e rompi le uova solo se il numero è dispari." In realtà qui parliamo di software e computer ordinari, quindi di di algoritmi rappresentabili con un linguaggio di programmazione, e completamente eseguibili su una macchina a stati. Vabbè, basta divertirsi ... Scusate, mi è scappata ... > dai, non tediamo gli astanti :-) > > cheers, > G. > > On Wed, 3 Jul 2024 at 14:55, Giacomo Tesio <giacomo(a)tesio.it> wrote: > > ROTFL! :-D > > > > Il giorno Wed, 3 Jul 2024 14:29:07 Guido Vetere ha scritto: > > > un algoritmo che fa uso di numeri casuali è generalmente considerato > > > non deterministico, full stop > > > > Se così fosse, la somma di due numeri interi sarebbe un'algoritmo non > > deterministico se applicato a due numeri ottenuti con i dadi. > > > > Ehm... no. > > > > La somma è una funzione deterministica. > > > > Il tiro di dadi è un'operazione non deterministica. > > Ma il software può solo implementare la somma: serve hardware per avere > > un numero casuale. > > > > > > Ora, noi stiamo parlando di matrici che codificano un software > > deterministico eseguibile da macchine con un'architettura nota. > > Un software che approssima una funzione matematica ignota, > > ma pur sempre una funzione matematica. > > > > Ad un determinato stato e ad un determinato input, l'output prodotto da > > questi software sarà sempre lo stesso. > > > > > > > > Solo nascondendo all'utente parte dell'input > > > > (come i numeri randomici .. > > > > > > non so cosa tu possa intendere per 'nascondere' un numero generato > > > dinamicamente in modo casuale > > > > Oh, è molto semplice: all'utente questi numeri non vengono mostrati né > > gli viene data la possibilità di modificarli. > > > > Se all'utente fosse mostrato tutto l'input (inclusi questi numeri), > > questi comprenderebbe istantaneamente che non c'è alcuna intelligenza > > nel giocattolo. > > > > > > Allo stesso modo, l'interfaccia potrebbe mostrare, ad ogni step di > > generazione del prossimo token, tutte le possibili continuazioni con le > > rispettive probabilità di emissione e far scegliere all'utente come > > proseguire invece di usare un numero casuale (o più probabilmente, > > pseudocasuale). > > > > L'utente comprenderebbe così di star sostanzialmente navigando un grafo. > > > > > > Naturalmente Google e Open AI si guardano bene da fornire una siffatta > > interfaccia perché verrebbe meno l'allucinazione di comunicare con una > > qualche "intelligenza aliena". > > > > > > > non vorrei alimentare inutili diatribe > > > > Perché diatribe? > > E perché inutili? > > > > > > Giacomo

July 3, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Guido Vetere

> Se così fosse, la somma di due numeri interi sarebbe un'algoritmo non > deterministico se applicato a due numeri ottenuti con i dadi. la conclusione, se ci pensi, è che non esistono algoritmi non deterministici. dai, non tediamo gli astanti :-) cheers, G. On Wed, 3 Jul 2024 at 14:55, Giacomo Tesio <giacomo(a)tesio.it> wrote: > ROTFL! :-D > > Il giorno Wed, 3 Jul 2024 14:29:07 Guido Vetere ha scritto: > > un algoritmo che fa uso di numeri casuali è generalmente considerato > > non deterministico, full stop > > Se così fosse, la somma di due numeri interi sarebbe un'algoritmo non > deterministico se applicato a due numeri ottenuti con i dadi. > > Ehm... no. > > La somma è una funzione deterministica. > > Il tiro di dadi è un'operazione non deterministica. > Ma il software può solo implementare la somma: serve hardware per avere > un numero casuale. > > > Ora, noi stiamo parlando di matrici che codificano un software > deterministico eseguibile da macchine con un'architettura nota. > Un software che approssima una funzione matematica ignota, > ma pur sempre una funzione matematica. > > Ad un determinato stato e ad un determinato input, l'output prodotto da > questi software sarà sempre lo stesso. > > > > > Solo nascondendo all'utente parte dell'input > > > (come i numeri randomici .. > > > > non so cosa tu possa intendere per 'nascondere' un numero generato > > dinamicamente in modo casuale > > Oh, è molto semplice: all'utente questi numeri non vengono mostrati né > gli viene data la possibilità di modificarli. > > Se all'utente fosse mostrato tutto l'input (inclusi questi numeri), > questi comprenderebbe istantaneamente che non c'è alcuna intelligenza > nel giocattolo. > > > Allo stesso modo, l'interfaccia potrebbe mostrare, ad ogni step di > generazione del prossimo token, tutte le possibili continuazioni con le > rispettive probabilità di emissione e far scegliere all'utente come > proseguire invece di usare un numero casuale (o più probabilmente, > pseudocasuale). > > L'utente comprenderebbe così di star sostanzialmente navigando un grafo. > > > Naturalmente Google e Open AI si guardano bene da fornire una siffatta > interfaccia perché verrebbe meno l'allucinazione di comunicare con una > qualche "intelligenza aliena". > > > > non vorrei alimentare inutili diatribe > > Perché diatribe? > E perché inutili? > > > Giacomo >

July 3, 2024

Trends&Signals Observatory "Talenti per il futuro": CALL APERTA! ✍️

by Francesca Fattorini

Forwardto - Studi e competenze per scenari futuri <https://www.forwardto.it/> è entusiasta di annunciare un percorso di formazione gratuito che mira a agevolare l’incontro e la collaborazione tra giovani talenti e professionisti di istituzioni, imprese e terzo settore in Piemonte. Nel 2022, Forwardto ha attivato una redazione di ricerca dedicata all'analisi e al monitoraggio delle driving forces, ovvero quelle forze di cambiamento che influenzano il nostro quotidiano. Con “Talenti per il futuro”, sostenuto dalla Fondazione CRT, intendiamo arricchire gli input del nostro Osservatorio dedicato all’analisi di tendenze e segnali. *Chi cerchiamo:* giovani laureati o dottorandi in materie politecniche e umanistiche, residenti o domiciliati in Piemonte, per un percorso di capacity building intergenerazionale su foresight skills e competenze strategiche all’interno Trends&Signals Observatory. Utili esperienze / competenze in analisi e ricerca e/o divulgazione e presentazione e/o facilitazione di gruppi. *Il percorso:* - Workshop introduttivo sul foresight rivolto a un gruppo eterogeneo, composto da giovani selezionati e da professionisti senior cooptati, provenienti dall'ecosistema piemontese di enti pubblici, università, imprese, terzo settore e società civile. - Percorso di capacity building rivolto alla classe junior su skills di ricerca previsionale, produzione e divulgazione di contenuti testuali, visuali e multimediali su scenari e tendenze, e metodi di foresight per facilitare laboratori partecipati. - Percorso di ricerca svolto dalla classe junior per lo studio di tendenze e scenari futuri riguardanti tematiche rilevanti per il territorio. - Evento-laboratorio finale in cui i giovani presentano ai professionisti senior i risultati della loro ricerca e forniscono input per un laboratorio sprint basato su logiche di foresight. Il programma si svolge tra settembre e novembre, in collaborazione con il Dipartimento Culture, Politica e Società dell’Università degli Studi di Torino e con l’hub di innovazione Rinascimenti sociali. *Per maggiori info, consulta questa presentazione:* https://drive.google.com/file/d/1HEASZrrpU5cdsv0ZmopQ_KB-A5eGO2ux/view?usp=… *Le candidature rimangono aperte fino al 6 settembre, è possibile candidarsi compilando questo form: https://forms.gle/1iuVBQNECo4CrVDL9 <https://forms.gle/1iuVBQNECo4CrVDL9>* Speriamo possa interessarti direttamente o qualcuna/o del tuo network di conoscenze. Grazie infinite se farai circolare! Un caro saluto, Francesca Fattorini Team Forwardto

July 3, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Giacomo Tesio

ROTFL! :-D Il giorno Wed, 3 Jul 2024 14:29:07 Guido Vetere ha scritto: > un algoritmo che fa uso di numeri casuali è generalmente considerato > non deterministico, full stop Se così fosse, la somma di due numeri interi sarebbe un'algoritmo non deterministico se applicato a due numeri ottenuti con i dadi. Ehm... no. La somma è una funzione deterministica. Il tiro di dadi è un'operazione non deterministica. Ma il software può solo implementare la somma: serve hardware per avere un numero casuale. Ora, noi stiamo parlando di matrici che codificano un software deterministico eseguibile da macchine con un'architettura nota. Un software che approssima una funzione matematica ignota, ma pur sempre una funzione matematica. Ad un determinato stato e ad un determinato input, l'output prodotto da questi software sarà sempre lo stesso. > > Solo nascondendo all'utente parte dell'input > > (come i numeri randomici .. > > non so cosa tu possa intendere per 'nascondere' un numero generato > dinamicamente in modo casuale Oh, è molto semplice: all'utente questi numeri non vengono mostrati né gli viene data la possibilità di modificarli. Se all'utente fosse mostrato tutto l'input (inclusi questi numeri), questi comprenderebbe istantaneamente che non c'è alcuna intelligenza nel giocattolo. Allo stesso modo, l'interfaccia potrebbe mostrare, ad ogni step di generazione del prossimo token, tutte le possibili continuazioni con le rispettive probabilità di emissione e far scegliere all'utente come proseguire invece di usare un numero casuale (o più probabilmente, pseudocasuale). L'utente comprenderebbe così di star sostanzialmente navigando un grafo. Naturalmente Google e Open AI si guardano bene da fornire una siffatta interfaccia perché verrebbe meno l'allucinazione di comunicare con una qualche "intelligenza aliena". > non vorrei alimentare inutili diatribe Perché diatribe? E perché inutili? Giacomo

July 3, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Guido Vetere

> Stiamo parlando di software completamente deterministici. e vabbè, ma allora non chiamateli "stochastic parrots" :-)) un algoritmo che fa uso di numeri casuali è generalmente considerato non deterministico, full stop > Solo nascondendo all'utente parte dell'input (come i numeri randomici .. non so cosa tu possa intendere per 'nascondere' un numero generato dinamicamente in modo casuale, ma non vorrei alimentare inutili diatribe G. On Wed, 3 Jul 2024 at 13:47, Giacomo Tesio <giacomo(a)tesio.it> wrote: > Suvvia Guido, non diciamo sciocchezze... > > Il giorno Wed, 3 Jul 2024 12:56:06 Guido Vetere ha scritto: > > > la generazione basata su LLM è aleatoria: lo stesso > > prompt può darti cose un po' diverse a seconda di come gli gira il > > random generator. > > i numeri casuali utilizzati come input sono, appunto parte dell'input. > > Stiamo parlando di software completamente deterministici. > > Solo nascondendo all'utente parte dell'input (come i numeri randomici > utilizzati durante l'elaborazione di un prompt) possiamo fargli credere > che ci sia una intelligenza dentro quella macchina. > > Ma rimangono software il cui output è perfettamente predicibile e > riproducibile se si dispone di tutti i dati utilizzati per calcolarlo > (lo stato e l'input). > > > > Giacomo >

July 3, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by 380°

Buongiorno, (scusate il messaggio precedente è partito vuoto per errore) grazie Claudio che mi dai retta, considera che io sono (e voglio rimanere) orgogliosamente ignorante di AI Act :-) Claudio Agosti <claudio.agosti(a)hermescenter.org> writes: [...] > On Mon, 1 Jul 2024, 16:28 380°, <g380(a)biscuolo.net> wrote: > >> >> > nell'AIAct i software "open" (cazzo, è tornato!) vengono visti come >> > neutrali, general purposes, unbiased. >> >> quindi il vuoto con il buco attorno, giusto? > > Si, secondo le tue riflessioni, che pure condivido, è cosí. il motivo del mio giudizio tranchant «il vuoto col buco...» è una sintesi della mia critica a «neutrali, general purpose» ma soprattutto «unbiased»... "c'è tutto un mondo attorno, che gira ogni giorno" cantavano i Matia Bazar. [...] >> scusa ma non ho capito: guess_fitness() è una (funzione) black box? >> >> una black box rilasciata con AGPL-3? >> > > In questo *esempio*: > > 1) La funzione guess_fitness è codice python sotto AGPL-3 il buco > 2) Il codice della funzione usa un DB binario risultato di addestramento, > distribuito nel pacchetto il vuoto attorno > 3) Il file binario viene considerato come una risorsa facoltativa, come un > JPEG. Ma di default viene usato. l'AI Act considera _quel_ binario come "non-functional data"? https://www.gnu.org/distros/free-system-distribution-guidelines.en.html#non… sarebbe vergognoso > Questo pacchetto sarebbe considerato software libero? E quindi escluso > dagli obblighi di conformità? ah boh :-O > Volevo riflettere su come, in mancanza di miglori chiarimenti, in questo > momento non solo il movimento del software libero non ha ancora una > soluzione, sei sicuro? non so, è che a volte ho la sensazioni che le cose siano _complicate_ artificiosamente, mentre in realtà sono _solo_ complesse [...] Ciao, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

July 3, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by 380°

Buongiorno, Claudio Agosti <claudio.agosti(a)hermescenter.org> writes: > Grazie a tutti per le risposte ed i commenti, proseguirò le riflessioni nei > prossimi giorni, ma avevo qualcosa di rapido per 380° > > On Mon, 1 Jul 2024, 16:28 380°, <g380(a)biscuolo.net> wrote: > >> >> > nell'AIAct i software "open" (cazzo, è tornato!) vengono visti come >> > neutrali, general purposes, unbiased. >> >> quindi il vuoto con il buco attorno, giusto? >> > > Si, secondo le tue riflessioni, che pure condivido, è cosí. Secondo l'AIAct > no, e quindi mettendo da parte la critica al problema, c'è da venire a > patti con il fatto che ci sia un problema e che toccherà anche noi in più > modi. Pensando male: > > 1) il fatto che le cose open siano sfruttate per fare software > intrinsicamente più abusivo > 2) il fatto che il software libero, e chi lo programma, potrebbero perdere > gli sconti di conformità, portando ad oneri maggiori > > >> >> scusa ma non ho capito: guess_fitness() è una (funzione) black box? >> >> una black box rilasciata con AGPL-3? >> > > In questo *esempio*: > > 1) La funzione guess_fitness è codice python sotto AGPL-3 > 2) Il codice della funzione usa un DB binario risultato di addestramento, > distribuito nel pacchetto > 3) Il file binario viene considerato come una risorsa facoltativa, come un > JPEG. Ma di default viene usato. > > Questo pacchetto sarebbe considerato software libero? E quindi escluso > dagli obblighi di conformità? > > Volevo riflettere su come, in mancanza di miglori chiarimenti, in questo > momento non solo il movimento del software libero non ha ancora una > soluzione, ma anche la società _potrebbe avere_ un ulteriore problema di > accuntability sulla base della distorsione dei valori che originariamente > erano del free software. > > > Ciao ciao! > > > > >> [...] >> >> grazie, 380° >> >> -- >> 380° (Giovanni Biscuolo public alter ego) >> >> «Noi, incompetenti come siamo, >> non abbiamo alcun titolo per suggerire alcunché» >> >> Disinformation flourishes because many people care deeply about injustice >> but very few check the facts. Ask me about <https://stallmansupport.org>. >> -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

July 3, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Giacomo Tesio

Suvvia Guido, non diciamo sciocchezze... Il giorno Wed, 3 Jul 2024 12:56:06 Guido Vetere ha scritto: > la generazione basata su LLM è aleatoria: lo stesso > prompt può darti cose un po' diverse a seconda di come gli gira il > random generator. i numeri casuali utilizzati come input sono, appunto parte dell'input. Stiamo parlando di software completamente deterministici. Solo nascondendo all'utente parte dell'input (come i numeri randomici utilizzati durante l'elaborazione di un prompt) possiamo fargli credere che ci sia una intelligenza dentro quella macchina. Ma rimangono software il cui output è perfettamente predicibile e riproducibile se si dispone di tutti i dati utilizzati per calcolarlo (lo stato e l'input). Giacomo

July 3, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Giacomo Tesio

Ciao Guido, non preoccuparti per me, ho tutte le GPU che servono! ;-) Il giorno Wed, 3 Jul 2024 10:29:39 Guido Vetere ha scritto: > se pure uno avesse tutti i dataset eccetera, gli mancherebbe ancora > quel mesetto di GPU che serve per fare training anche di pochi > miliardi di parametri. Cioè: servirebbe ancora Leonardo, o in > alternativa un grosso conto in banca. O anche solo nozioni di economia. O di storia. Infatti qualsiasi economista ti farà notare che il costo di qualsiasi componente hardware decresce rapidamente nel tempo, soprattutto quando prezzi artificialmente gonfiati forniscono enormi profitti che attraggono diversi produttori. E lo confermerà qualsiasi storico, ricordando computer che occupavano interi edifici con una potenza di calcolo inferiore a quella di un qualsiasi cellulare contemporaneo. > Dunque: di che stiamo parlando? Non saprei... di che stiamo parlando? Di miopia? Di amnesia? Di disinformazione? Di lobbying? > PS: continuo a osservare un certo verbalismo in questo accanimento > terminologico, ma per carità non voglio sollevare polemiche :-) Figurati, nessuna polemica: Claudio ha semplicemente evidenziato una manovra di open-washing in corso ad altissimo livello per permettere a black-box proprietarie di aziende come Google o Microsoft di aggirare la normativa europea. Disponiamo già di termini come "freeware" e "SaaS" che descrivono benissimo i LLM scaricabili da huggingface e i servizi come GPT4. E certamente, nell'interesse di OpenAI, Google, and friends, sottolineare l'inadeguatezza di una ridefinizione legalmente comoda ai propri prodotti, deve passare per "accanimento terminologico". D'altro canto i cani veri sbavano, fedeli al padrone che li nutre. Sono certo che per evitare questo "verbalismo", molti oggi lavorano per far scrivere una nuova voce sul vocabolario del tipo: Open Source AI: matrice numerica scaricabile da huggingface, vedi Freeware. Ma c'è una contraddizione evidente in ciò che scrive, ad esempio, l'OSI nella sua ultima bozza di definizione per OpenSource AI: si sono dimenticati il sorgente! Ora, se la chiamassero "OpenAI definition" ci starebbe anche. :-p Ma se si deve chiamare Open SOURCE AI, l'accesso e il riuso del sorgente completo deve essere garantito. E il sorgente accessibile deve essere proprio quello della "AI" in questione, non quello di un'altra simile. Perché vedi, bontà loro, all'OSI hanno persino elencato le libertà che le "AI" in questione dovrebbero garantire. E fra queste hanno incluso la libertà di STUDIARE il software. Cosa che è IMPOSSIBILE se non si dispone di TUTTE le informazioni e TUTTI i dati utilizzati durante la creazione di questi software che ne costituiscono il sorgente Per queste ragioni non definirei "verbalismo" [1] la questione sollevata da Claudio, viste le notevoli implicazioni legali per OpenAI & friends (nonché sociali e geopolitiche per tutta l'Unione Europea). La chiamerei più semplicemente "onestà intellettuale". ;-) Giacomo [1] confesso che sono dovuto andare a cercare il significato sul vocabolario https://www.treccani.it/vocabolario/verbalismo/

July 3, 2024