April 2023 - nexa - server-nexa.polito.it

Re: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter

by Marco A. Calamari

On gio, 2023-04-13 at 16:26 +0200, Giuseppe Attardi wrote: > Se vuoi saperne di più sulle capacità emergenti, ne parla Giorgio Parisi, > citando l’affermazione “More is Different” di Philip Warren Anderson (premio > Nobel nel 1977), oppure, nel caso dei LLM, puoi leggere i lavori di Jason > Wei: Emergent Abilities of Large Language > Models https://openreview.net/pdf?id=yzkSU5zdwD > > Poi se vuoi fare scadere una conversazione seria, che cita lavori di due premi > nobel, in chiacchiere da bar, fai pure. No, conoscendo bene il lavoro di Parisi, volevo solo essere sicuro di aver capito bene il tuo pensiero. Non avevo mai preso in considerazione questo aspetto, anche se lo ritengo certamente impossibile. Grazie dell'interessante suggerimento e della conferma. Marco P.S.: Non era mia intenzione scendere al livello del bar, ma solo capire una frase abbastanza complessa che avevi scritto. Se voglio sapere cosa pensa un premio Nobel, mi vado a leggere i testi. Citare i Nobel non conferisce automaticamente peso ad un'opinione. > — Beppe > > > On 12 Apr 2023, at 17:33, Marco A. Calamari <marcoc_maillist(a)marcoc.it> > > wrote: > > > > > > On mer, 2023-04-12 at 14:15 +0200, Giuseppe Attardi wrote: > > > > > > > On 11 Apr 2023, at 20:34, Antonio Casilli > > > > <antonio.casilli(a)telecom-paris.fr> wrote: > > > > > > > > > PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a > > > > > pappagallo i testi da cui sono stati allenati è proprio ciò che non > > > > > sanno fare. > > > > > > > > Beppe, "stochastic parrot" non è questo. > > > > Timnit Gebru et al. ne parlano nel senso di un dispositivo che > > > > "haphazardly stitch[es] together sequences of linguistic forms (...), > > > > according to probabilistic information about how they combine, but > > > > without any reference to meaning". L'accento è sullo "stochastic". > > > > > > Ma non è questo quello che fanno i LLM della serie GPT: non attaccano > > > affatto insieme “sequenze di forme linguistiche”. Questo riprodurrebbe > > > appunto pezzi di frasi a pappagallo. > > > Invece il loro meccanismo di base è quello del calcolo della distribuzione > > > di probabilità della prossima parola a seguire in una sequenza. > > > > > > Come spiega Giorgio Parisi nel suo libro In un volo di storni, il > > > funzionamento di un sistema complesso è il risultato dell’applicazione su > > > larga scala di semplici leggi probabilistiche. > > > I Large Language Models come GPT-3 fanno appunto questo: sono stati > > > allenati a stimare una distribuzione di probabilità. Da questa capacità > > > usata su larga scala (miliardi di parametri a rappresentare connessioni > > > tra neuroni) emergono, altre capacità, apparentemente scollegate, come > > > quella di rispondere a domande, riassumere testi, tradurre, scrivere > > > codice, generare immagini, compiere semplici ragionamenti, ecc. > > > > > > Il risultato più che altro esula dalla nostra capacità di “comprensione" e > > > tendiamo a concludere che non hanno capacità di “comprensione”, anche se > > > sono in grado di superare molti dei test che sono stati sviluppati proprio > > > per valutare la capacità di “comprensione" umana. > > > Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà > > > le risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, > > > anche se a volte inesatte. > > > > > > Scusa Giuseppe, ma hai usato la parola "emergono". > > > > Mi sembra di aver capito che intendi dire che GPT è diventato abbastanza > > complesso da manifestare, una proprietà "emergente", non prevista dal suo > > progetto. > > Dei comportamenti imprevisti che lo stanno portando ad essere, almeno > > statisticamente, in grado di "capire" la domanda e fornire la "risposta > > corretta", se la conosce? > > > > Perché in questo caso invece che GPT-4 chiamiamolo HAL9000 e siamo a posto! > > > > Perdonate la brutalità, è giusto per essere chiari. Marco > > > > > — Beppe > > > > > > > > > > C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei > > > > pappagalli stocastici perché reiterano visioni del mondo egemoniche. > > > > > > > > > > > > > > > > > > > > From: Enrico Nardelli <nardelli(a)mat.uniroma2.it> > > > > > > > > > > > > > > > > To: Nexa <nexa(a)server-nexa.polito.it> > > > > Subject: [nexa] Statement from the listed authors of Stochastic > > > > Parrots on the “AI pause” letter > > > > Message-ID: <22c6ff05-a037-f3de-68c0-83548bc4a122(a)mat.uniroma2.it> > > > > Content-Type: text/plain; charset="utf-8"; Format="flowed" > > > > > > > > (mi pare non sia passato in lista) > > > > > > > > > > > > Statement from the listed authors of Stochastic Parrots on the “AI > > > > pause” letter > > > > > > > > Timnit Gebru (DAIR), Emily M. Bender (University of Washington), > > > > Angelina McMillan-Major (University of Washington), Margaret Mitchell > > > > (Hugging Face) > > > > > > > > March 31, 2023 > > > > > > > > /Tl;dr: The harms from so-called AI are real and present and follow from > > > > the acts of people and corporations deploying automated systems. > > > > Regulatory efforts should focus on transparency, accountability and > > > > preventing exploitative labor practices./ > > > > > > > > > > > [ https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230411183424079346… > > > > > > > | https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230411183424079346… > > > > ] >

April 13, 2023

Re: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter

by Giuseppe Attardi

Se vuoi saperne di più sulle capacità emergenti, ne parla Giorgio Parisi, citando l’affermazione “More is Different” di Philip Warren Anderson (premio Nobel nel 1977), oppure, nel caso dei LLM, puoi leggere i lavori di Jason Wei: Emergent Abilities of Large Language Models https://openreview.net/pdf?id=yzkSU5zdwD Poi se vuoi fare scadere una conversazione seria, che cita lavori di due premi nobel, in chiacchiere da bar, fai pure. — Beppe > On 12 Apr 2023, at 17:33, Marco A. Calamari <marcoc_maillist(a)marcoc.it> wrote: > > On mer, 2023-04-12 at 14:15 +0200, Giuseppe Attardi wrote: >> >>> On 11 Apr 2023, at 20:34, Antonio Casilli <antonio.casilli(a)telecom-paris.fr <mailto:antonio.casilli@telecom-paris.fr>> wrote: >>> >>>> PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare. >>> >>> Beppe, "stochastic parrot" non è questo. >>> Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic". >> >> Ma non è questo quello che fanno i LLM della serie GPT: non attaccano affatto insieme “sequenze di forme linguistiche”. Questo riprodurrebbe appunto pezzi di frasi a pappagallo. >> Invece il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza. >> >> Come spiega Giorgio Parisi nel suo libro In un volo di storni, il funzionamento di un sistema complesso è il risultato dell’applicazione su larga scala di semplici leggi probabilistiche. >> I Large Language Models come GPT-3 fanno appunto questo: sono stati allenati a stimare una distribuzione di probabilità. Da questa capacità usata su larga scala (miliardi di parametri a rappresentare connessioni tra neuroni) emergono, altre capacità, apparentemente scollegate, come quella di rispondere a domande, riassumere testi, tradurre, scrivere codice, generare immagini, compiere semplici ragionamenti, ecc. >> >> Il risultato più che altro esula dalla nostra capacità di “comprensione" e tendiamo a concludere che non hanno capacità di “comprensione”, anche se sono in grado di superare molti dei test che sono stati sviluppati proprio per valutare la capacità di “comprensione" umana. >> Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà le risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, anche se a volte inesatte. > > Scusa Giuseppe, ma hai usato la parola "emergono". > > Mi sembra di aver capito che intendi dire che GPT è diventato abbastanza complesso da manifestare, una proprietà "emergente", non prevista dal suo progetto. > Dei comportamenti imprevisti che lo stanno portando ad essere, almeno statisticamente, in grado di "capire" la domanda e fornire la "risposta corretta", se la conosce? > > Perché in questo caso invece che GPT-4 chiamiamolo HAL9000 e siamo a posto! > > Perdonate la brutalità, è giusto per essere chiari. Marco > >> — Beppe >> >> >>> C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei pappagalli stocastici perché reiterano visioni del mondo egemoniche. >>> >>> >>> >>> >>> From: Enrico Nardelli <nardelli(a)mat.uniroma2.it <mailto:nardelli@mat.uniroma2.it>> >>> >>> >>> >>> To: Nexa <nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>> >>> Subject: [nexa] Statement from the listed authors of Stochastic >>> Parrots on the “AI pause” letter >>> Message-ID: <22c6ff05-a037-f3de-68c0-83548bc4a122(a)mat.uniroma2.it <mailto:22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it>> >>> Content-Type: text/plain; charset="utf-8"; Format="flowed" >>> >>> (mi pare non sia passato in lista) >>> >>> >>> Statement from the listed authors of Stochastic Parrots on the “AI pause” letter >>> >>> Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face) >>> >>> March 31, 2023 >>> >>> /Tl;dr: The harms from so-called AI are real and present and follow from the acts of people and corporations deploying automated systems. Regulatory efforts should focus on transparency, accountability and preventing exploitative labor practices./ >>> >>> [ https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230411183424079346… | https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230411183424079346… ]

April 13, 2023

ChatGPT: al via una task force europea news: ChatGPT: al via una task force europea

by Mauro Alovisio

Gent-mi dal sito del Garante https://www.garanteprivacy.it/home/docweb/-/docweb-display/docweb/9875657 cordiali saluti Mauro *ChatGPT: al via una task force europea* A seguito del provvedimento di limitazione provvisoria <https://www.garanteprivacy.it/garante/doc.jsp?ID=9870847> del trattamento, adottato dal Garante per la protezione dei dati personali lo scorso 30 marzo nei confronti di ChatGPT, gestita dalla società statunitense OpenAI, i Garanti della privacy europei, riuniti nel Comitato europeo per la protezione dei dati (EDPB), hanno deciso di lanciare una task force su ChatGPT <https://edpb.europa.eu/news/news/2023/edpb-resolves-dispute-transfers-meta-…> . L’obiettivo della task force è di promuovere la cooperazione e lo scambio di informazioni su eventuali iniziative per l'applicazione del Regolamento europeo condotte dalle Autorità di protezione dati. *Ieri, dopo una serie di interlocuzioni con i rappresentati di OpenAI, il Garante italiano ha indicato alcune prescrizioni <https://www.garanteprivacy.it/garante/doc.jsp?ID=9874751> *su trasparenza, diritti degli interessati e base giuridica del trattamento effettuato da ChatGPT, da adempiere entro il 30 aprile 2023. *Roma, 13 aprile 2023*

April 13, 2023

Re: [nexa] ChatGPT disabled for users in Italy

by Giacomo Tesio

Il 12 Aprile 2023 14:28:03 UTC, Guido Vetere <vetere.guido(a)gmail.com> ha scritto: >Giacomo, >anche il LM più puri usati per il più innocente task di classificazione >potrebbero essere stati addestrati con dati ottenuti senza il consenso >esplicito di chi li ha condivisi, dunque in violazione del GDPR. >Che vogliamo fare? Nella peggiore delle ipotesi, quello che si fa con l'Eternit, per esempio. Possibilmente prima che faccia troppi danni alle persone e alla società. Però la questione che poni sul dataset usato per la programmazione statistica ha una soluzione estremamente semplice. Basta imporre che tutti i dataset utilizzati durante la programmazione statistica ("training" nella vulgata), inclusi quelli usati per la cross validation e il test, nonché tutti gli altri dati necessari a riprodurre esattamente il processo ed ottenere esattamente il modello in produzione (e le sue alternative scartate), siano preservati per tutta la durata della sua permanenza in produzione e diciamo 20 anni dopo (in caso di aggiornamento). [1] Rendendo verficabilmente e completamente riproducibile il processo di programmazione statistica, Open AI (come chiunque altro) potrà facilmente dimostrare di non aver utilizzato dati ottenuti in violazione di qualsisi Legge. Più costoso (ma spesso possibile) sarà dimostrare che la selezione del dataset o il processo di programnazione utilizzato non abbia prodotto specifiche discriminazioni. Molto più complesso e costoso, dimostrare di non aver voluto imporre al modello alcuna discriminazione intenzionale. Tuttavia parliamo di cose perfettamente fattibili sul piano tecnico, ancorché costose. Ma si sa: l'innovazione costa. E al DARPA hanno un sacco di soldi per finanziarla. ;-) L'importante è impedire che qualsiasi tecnologia possa essere usata per violare i diritti delle persone (a vantaggio di altre persone, per altro) Perché se passasse questo principio, dovremmo dire addio allo Stato di Diritto, con tutto ciò che questo comporta. Inclusa, ad esempio, l'abolizione del diritto alla proprietà privata. Si può fare eh! Ma sei sicuro che sia ciò a cui aspiri? Giacomo [1]: inclusi ovviamente vettori di inizializzazione, valori ottenuti da sorgenti randomiche, ordine esatto e contenuto dei batch di vettori usati durante il processo di programmazione statistica etc... tutto insomma ciò che serve a riottenere esattamente quel binario codato come matrice.

April 13, 2023

Re: [nexa] ChatGPT: Garante privacy, limitazione provvisoria sospesa se OpenAI adotterà le misure richieste.

by Giacomo Tesio

Concordo, la difesa del "diritto" di Open AI (e Microsoft) di violare impunemente i diritti di milioni di persone, rivela chiaramente una forte ideologizzazione che impedisce di comprendere chiaramente i contorni della questione da un punto di vista tecnico / scientifico. > bonificare terabyte di dati testuali da >tutto ciò che può riguardare il sig, Mario Rossi che ha fatto opt-out è >un'impresa abbastanza ardua (cosa facciamo col Mario Rossi che ha fatto >opt-in?) Non è affatto "ardua" è solo estremamente costosa. > nulla garantisce che un sistema generativo basato >su trasformers non possa comunque inventare storielle su 'Mario Rossi' >sulla base di analogie ('somiglianze di famiglia' per usare una metafora >wittgensteiniana) Poco male: Open AI fa ricerca di mestiere. Troveranno qualcosa. Fino ad allora, i diritti delle persone DEVONO prevalere sui loro interessi. Giacomo

April 13, 2023

Re: [nexa] ChatGPT: Garante privacy, limitazione provvisoria sospesa se OpenAI adotterà le misure richieste.

by Guido Vetere

Caro Stefano, queste facili ironie (per glissare sugli insulti) rivelano il sottofondo ideologico della questione. Si interpreta la vicenda come la difesa dei diritti contro il profitto, e ci si compiace per la propria democraticità. Benissimo. Questo però offusca una visione chiara della cosa, e rischia di fornire l'alibi per continuare a non capire certi aspetti tecnici. Il punto non è tanto che rifare il training ogni 6 mesi costa 80M (e svariati gigawatt), il punto è che bonificare terabyte di dati testuali da tutto ciò che può riguardare il sig, Mario Rossi che ha fatto opt-out è un'impresa abbastanza ardua (cosa facciamo col Mario Rossi che ha fatto opt-in?), e in ogni caso nulla garantisce che un sistema generativo basato su trasformers non possa comunque inventare storielle su 'Mario Rossi' sulla base di analogie ('somiglianze di famiglia' per usare una metafora wittgensteiniana) Non vorrei sembrare arrogante, e mi scuso in anticipo, ma credo davvero che la questione vada studiata più a fondo. G. On Thu, 13 Apr 2023 at 07:46, Stefano Quintarelli <stefano(a)quintarelli.it> wrote: > > eh gia', quelle cose fastidiose chiamate regole, che impongono limiti al > magnifico e > progressivo sviluppo (di qualche megacorporate). non sono questi i veri > problemi. il > problema e' che magari ci sfugge di mano e schiavizza l'umanita'! di > quello ci dovremmo > occupare! mica di impatti sulla societa', sui lavoratori, fiscali, ecc. > ecc. > > scusa la facile ironia, ma dissento. > > On 12/04/23 22:57, Guido Vetere wrote: > > non credo che Google e Microsoft stiano lì a rivedere i loro piani sulla > base degli > > ultimatum del Garante italiano, più verosimilmente tutta questa vicenda > sarà solo una > > annoyance per chi in Italia continuerà a usare quei servizi per lavoro, > del tutto > > disinteressati alla tua e alla mia biografia > > premesso che la cosa non e' IT ma UE, ma anche mmettendo fosse solo IT, > dipenderebbe solo > se in IT fanno piu' soldi di quanto gli costerebbe > e la risposta ovvia e' si. (e gia' successo e succedera' ancora) > > supponiamo il garante trovi proporzionale che l'opt out sia entro 60 > giorni e non entro 30. > > supponiamo che > - un retraining del modello costi 20M > - ne facciano di per se' gia uno ogni sei mesi > - sono 4 retraining aggiuntivi, pari a 80M > > bazzeccole. > rinuncio al fatturato IT per bazzeccole ? (cosa che tra l'altro mi > metterebbe al riparo da > fastidi analoghi in altri paesi) > > ciao, s. > > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

April 13, 2023

Re: [nexa] ChatGPT: Garante privacy, limitazione provvisoria sospesa se OpenAI adotterà le misure richieste.

by Stefano Quintarelli

eh gia', quelle cose fastidiose chiamate regole, che impongono limiti al magnifico e progressivo sviluppo (di qualche megacorporate). non sono questi i veri problemi. il problema e' che magari ci sfugge di mano e schiavizza l'umanita'! di quello ci dovremmo occupare! mica di impatti sulla societa', sui lavoratori, fiscali, ecc. ecc. scusa la facile ironia, ma dissento. On 12/04/23 22:57, Guido Vetere wrote: > non credo che Google e Microsoft stiano lì a rivedere i loro piani sulla base degli > ultimatum del Garante italiano, più verosimilmente tutta questa vicenda sarà solo una > annoyance per chi in Italia continuerà a usare quei servizi per lavoro, del tutto > disinteressati alla tua e alla mia biografia premesso che la cosa non e' IT ma UE, ma anche mmettendo fosse solo IT, dipenderebbe solo se in IT fanno piu' soldi di quanto gli costerebbe e la risposta ovvia e' si. (e gia' successo e succedera' ancora) supponiamo il garante trovi proporzionale che l'opt out sia entro 60 giorni e non entro 30. supponiamo che - un retraining del modello costi 20M - ne facciano di per se' gia uno ogni sei mesi - sono 4 retraining aggiuntivi, pari a 80M bazzeccole. rinuncio al fatturato IT per bazzeccole ? (cosa che tra l'altro mi metterebbe al riparo da fastidi analoghi in altri paesi) ciao, s.

April 13, 2023

China to require ‘security assessment’ for new AI products

by J.C. DE MARTIN

*China to require ‘security assessment’ for new AI products* AFP April 11, 2023 5:21 am New AI products developed in China will have to undergo a security assessment before being released and must reflect “core socialist values”, a sweeping new draft law by the country’s internet regulator showed Tuesday. The fresh regulations come as a flurry of Chinese companies rush to develop artificial intelligence services that can mimic human speech since San Francisco-based OpenAI launched ChatGPT in November, sparking a gold rush in the market. Rapid advancements in AI have stoked global alarm over the technology’s potential for disinformation and misuse, with deepfake images and people shown mouthing things they never said. “Before providing services to the public that use generative AI products, a security assessment shall be applied for through national internet regulatory departments,” the draft law, released by the Cyberspace Administration of China, reads. continua qui: https://insiderpaper.com/china-draft-law-to-require-security-assessment-for…

April 13, 2023

Re: [nexa] ChatGPT: Garante privacy, limitazione provvisoria sospesa se OpenAI adotterà le misure richieste.

by Giacomo Tesio

Beh, che dire Guido... On Wed, 12 Apr 2023 22:57:43 +0200 Guido Vetere wrote: > non credo che Google e Microsoft stiano lì a rivedere i loro piani > sulla base degli ultimatum del Garante italiano, più verosimilmente > tutta questa vicenda sarà solo una annoyance per chi in Italia > continuerà a usare quei servizi per lavoro, del tutto disinteressati > alla tua e alla mia biografia ...mi dispiace disturbare il bestiame ammaestrato... Ma preservare lo Stato di Diritto è più importante. Giacomo

April 12, 2023

Re: [nexa] ChatGPT: Garante privacy, limitazione provvisoria sospesa se OpenAI adotterà le misure richieste.

by Guido Vetere

> Riprogrammare statisticamente il software (il "re- training") rimuovendo tutte le occorrenze di testi che contengano il nome di chi chiede di essere cancellato, è tecnicamente fattibilissimo. > E' solo costoso certo, ad esempio costerebbe qualche gigawatt, ma poi resterebbe il problema di capire che quel 'Giacomo Tesio' di cui, in un twitt, si dice questo e quello, sei proprio tu e non un tuo omonimo. insomma: no way, secondo me ma vedremo cosa rispondono da OpenAI alternative ai LLM per gestire dati fattuali ci sono da sempre, sono le basi di dati (o di conoscenza, se preferisci). la ricerca per integrare gli approcci simbolici e neurali è anche ben nota, Bing e Bard vanno proprio in quella direzione non credo che Google e Microsoft stiano lì a rivedere i loro piani sulla base degli ultimatum del Garante italiano, più verosimilmente tutta questa vicenda sarà solo una annoyance per chi in Italia continuerà a usare quei servizi per lavoro, del tutto disinteressati alla tua e alla mia biografia G. Il Mer 12 Apr 2023, 22:12 Giacomo Tesio <giacomo(a)tesio.it> ha scritto: > On Wed, 12 Apr 2023 21:30:48 +0200 Guido Vetere wrote: > > > Allora: il metodo 2 (reinforcement learning per evitare di rispondere > > a certe domande) si può fare e già lo fanno; l'1 (re-training del > > modello ogni volta che qualcuno fa opt-out) proprio no > > Riprogrammare statisticamente il software (il "re-training") rimuovendo > tutte le occorrenze di testi che contengano il nome di chi chiede di > essere cancellato, è tecnicamente fattibilissimo. > > E' solo costoso. > > Ed è esattamente ciò che è necessario fare su richiesta > dell'interessato: https://gdpr-info.eu/art-17-gdpr/ > > Ma di nuovo, non è un ottimo incentivo alla ricerca di metodi più > economici ed ecologici di effettuare tali operazioni? > > La ragion d'essere di Open AI, giusto? > > > Stessa cosa per il diritto alla rettifica, che non viene meno solo > perché il contenuto errato è salvato in una matrice invece che > in un file o in un database. > > Tutte ottime ragioni per finanziare Open AI (e molti altri centri di > ricerca)! > > > Open AI dovrebbe ringraziare il GDPR e il Garante Italiano. > Spegnere GPT e dire a tutti: "Vi piace il giocattolo? Ok allora dateci > qualche trilliardo di dollari per trovare il modo di renderlo > compatibile con i diritti umani". > > > Per una volta diritto, ecologia ed economia si sposano alla perfezione! > > > D'altro canto non ci sono alternative: mica vorremo sacrificare i > diritti umani e il futuro del pianeta ai profitti di una azienda? > > > Giacomo >

April 12, 2023