- nexa - server-nexa.polito.it

Re: [nexa] ChatGPT disabled for users in Italy

by Guido Vetere

provo a risponderti, Giulio in linea di principio sì: potrebbero usare ad esempio solo testi provenienti dalla letteratura. niente dati personali, giusto? Poniamo però che mettano dentro *Bel-Ami* e che io mi chiami Giorgio Durey Facile che mi ritrovi ad essere dipinto sotto una cattiva luce .. :-) In un LLM non c'è mai scritto testualmente che (poniamo) Giorgio Durey è un onestissimo impiegato del catasto, ben distinto da quel piacione di Georges Duroy protagonista del romanzo di Maupassant, c'è solo il "campo forze" generato dalla testualità che gli è stata presentata. Di questo "campo di forze", sono utilizzate, generativamente, le "spinte" che portano da una parola all'altra nel co-testo, a partire dal "prompt" e immettendo nel ciclo generativo le stesse produzioni dell'automa. Per questo non ha senso tecnico chiedere ad OpenAI di de-indicizzare chi fa opt-out: non c'è in realtà alcun 'indice'. Di me, ad esempio, ChatGPT dice un po' di cose più o meno giuste, ma poi si inventa che avrei scritto romanzi di fantascienza. Perché lo fa? Probabilmente perché, nel suo "campo di forze", chi si occupa delle cose di cui mi occupo io è associato a chi scrive romanzi. Forse dovrei dargli ascolto ... :-) Un abbraccio e buon w.e. G On Sat, 15 Apr 2023 at 10:35, de petra giulio <giulio.depetra(a)gmail.com> wrote: > Sinceramente grato a tutte/i voi per avermi consentito di capire, o almeno > di intuire, la complessità delle questioni in gioco vi chiedo e mi scuso da > subito se la mia domanda è ingenua: ma non ci sono campi di utilizzo dei > software LLM (e quindi di ricerca e anche di legittimo guadagno) che non > prevedono affatto per il loro addestramento l’utilizzo di dati personali di > viventi? Ad esempio nella letteratura, nella ricerca, nella stessa > produzione di software? Se la risposta è positiva, perché considerare in > contrasto l’azione del garante, che si occupa solo dei dati personali dei > viventi, con lo sviluppo della ricerca e della produzione di AI? > Giulio > > Il giorno ven 14 apr 2023 alle 11:02 Daniela Tafani < > daniela.tafani(a)unipi.it> ha scritto: > >> Ha scritto, su questa distinzione, un paio di giorni fa, Margaret >> Mitchell: >> >> >> "When AI companies release "open training data" for a model, they're >> generally sharing *fine-tuning* data. >> >> The big issues w data and consent are NOT of this type. The issues are >> with the MAIN DATA used in training" >> >> <https://nitter.snopyta.org/mmitchell_ai/status/1646242689862729728> >> >> >> >> >> ------------------------------ >> *Da:* nexa <nexa-bounces(a)server-nexa.polito.it> per conto di Giacomo >> Tesio <giacomo(a)tesio.it> >> *Inviato:* venerdì 14 aprile 2023 10:52 >> *A:* D. Davide Lamanna >> *Cc:* nexa(a)server-nexa.polito.it >> *Oggetto:* Re: [nexa] ChatGPT disabled for users in Italy >> >> Purtroppo no, Davide. >> >> Per rendere riproducibile ed ispezionabile il processo di >> programmazione statistica che costruisce un software LLM sono >> necessarie moltissime informazioni che lì mancano. >> >> Non foss'altro che per il semplice fatto che Dolly 2.0 si basa su GPT-3 >> e quindi, per poterne ispezionare la programmazione e poterne escludere >> (ad esempio) discriminazioni intenzionali, sarebbe necessario avere >> tutti i dati ed il processo esatto di programmazione di GPT-3 stesso. >> >> La relazione fra la verticalizzazione ("fine-tuning", lo definiscono gli >> autori dell'articolo associato al dataset che hai condiviso) e >> programmazione di un LLM è molto più... "intima" di quella che esiste >> fra un applicazione ed una libreria usata durante il suo sviluppo. >> >> E' più simile, se vuoi, a quella che intercorre fra un CMS e le pagine >> web che ne vengono pubblicate, la cui forma sarà sempre sostanzialmente >> la stessa perché i limiti (ciò che può o non può essere fatto con quel >> CMS) non vengono intaccati dal layout grafico del sito web, che si deve >> adattare inevitabilmente a quei vincoli (a meno di smettere di usare >> quel CMS, ovviamente). >> >> >> Inoltre, il dataset sorgente come viene solitamente condiviso in questi >> progetti fintamente "open source", non è sufficiente a riprodurre >> esattamente lo stato di un LLM. >> >> Sono necessari parametri iniziali delle "reti neurali" utilizzate, >> registrazioni dettagliate dell'ordine in cui i vari record sono stati >> usati durante la programmazione statistica (ad esempio, nel caso di >> quella tecnica che viene impropriamente chiamata "Reinforcement >> Learning") e così via. >> >> >> In sostanza, per poter ambire a dimostrare di NON aver iniettato una >> particolare discriminazione all'interno di GPT-4, Open AI dovrebbe >> fornire un bello scriptino, ben documentato, in grado di riprodurre >> ESATTAMENTE GPT-4 nello stato attualmente in produzione a partire dai >> testi di partenza (anch'essi inclusi nel pacchetto) e da tutte le altre >> sorgenti di input. >> >> Dovrebbe essere ovviamente uno script ben leggibile e debuggabile passo >> passo. >> >> A quel punto si potrebbe effettuare un confronto binario fra gli output >> prodotti dallo script e GPT-4 in produzione, e dopo averne verificato la >> corrispondenza esatta, analizzare i dataset sorgente e il processo di >> compilazione di tale software alla ricerca di discriminazioni o >> problemi. >> >> >> Nulla di lontanamente paragonabile a quello che ha fatto Databricks, >> insomma. >> >> >> Purtuttavia qualcosa di perfettamente fattibile da un punto di vista >> tecnico, sebbene estremamente costoso. >> >> >> >> Giacomo >> >> >> On Fri, 14 Apr 2023 09:36:30 +0200 D. Davide Lamanna wrote: >> >> > On 4/13/23 12:49, Giacomo Tesio wrote: >> > > >> > > Basta imporre che tutti i dataset utilizzati durante la >> > > programmazione statistica ("training" nella vulgata), inclusi >> > > quelli usati per la cross validation e il test, nonché tutti gli >> > > altri dati necessari a riprodurre esattamente il processo ed >> > > ottenere esattamente il modello in produzione (e le sue alternative >> > > scartate), siano preservati per tutta la durata della sua >> > > permanenza in produzione e diciamo 20 anni dopo (in caso di >> > > aggiornamento). [1] >> > > >> > > Rendendo verficabilmente e completamente riproducibile il processo >> > > di programmazione statistica, Open AI (come chiunque altro) potrà >> > > facilmente dimostrare di non aver utilizzato dati ottenuti in >> > > violazione di qualsisi Legge. >> > Ciao Giacomo, >> > >> > una cosa così? >> > >> > < >> https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230414085219017617… >> >. >> > >> > < >> https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230414085219017617… >> >. >> > >> > D. >> > >> > (null) >> > _______________________________________________ >> > nexa mailing list >> > nexa(a)server-nexa.polito.it >> > >> https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230414085219017617… >> >> _______________________________________________ >> nexa mailing list >> nexa(a)server-nexa.polito.it >> >> https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230414085219017617… >> _______________________________________________ >> nexa mailing list >> nexa(a)server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

April 15, 2023

Algorithmic Disgorgement: Destruction of Artificial Intelligence Models as the FTC's Newest Enforcement Tool for Bad Data

by Stefano Quintarelli

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4382254 The Federal Trade Commission has recently begun to require algorithmic disgorgement in its enforcement of data protection laws – the deletion of not just the improperly obtained data itself, but artificial intelligence models and algorithms built using such data. This Article provides a brief overview of machine learning models and algorithms and the basic function and use of artificial intelligence and describes the FTC’s role in the regulation and enforcement of data collection rules. It then discusses recent enforcement actions brought by the FTC that utilized algorithmic disgorgement, analyzes the legality of the FTC’s authority to order destruction of computer data models and algorithms, and discusses the likelihood and possibility of future use of the new remedy, as well as the shape that any future use is likely to take. Finally, it deliberates on the legal, policy, and practical implications of algorithmic disgorgement and proposes some possible alternatives to and restraints on the FTC’s use of algorithmic destruction orders. non conoscevo queste due recenti sentenze dell'FTC. era quello che scrivevo qui https://blog.quintarelli.it/2023/04/on-chatgpt-and-the-decision-by-the-ital… sarà sempre di più così. ..

April 15, 2023

Re: [nexa] [Un'alternativa a] Pause Giant AI Experiments: An Open Letter

by 380°

Buongiorno, Daniela Tafani <daniela.tafani(a)unipi.it> writes: > Concordo, naturalmente. Ma la narrazione sugli agenti antromorfi e le menti sovrumane > > riesce a far credere che la situazione sia quella del povero Topolino apprendista stregone in Fantasia, che ha evocato una forza incontrollabile, > > mentre la situazione è quella di Ezechiele lupo che adesca i porcellini per mangiarseli. > > > Quanto al disclaimer, ce n'era uno anche in Replika (che era, esso stesso stesso, pubblicità ingannevole: ne copio alla fine la parte che avevo salvato). > Contemporaneamente, c'erano meccanismi introdotti per creare dipendenza emotiva > (alcuni argomenti di conversazione si sbloccavano solo collegandosi più volte nello stesso giorno). > > In questo caso, il garante ha bloccato una truffa, più che il progresso della scienza. > > Quanto ai minori, ci sono paesi in cui li si affida consapevolmente a un chatbot, proprio nei casi in cui abbiano bisogno di assistenza mentale: > https://www.digitalhealth.net/2022/09/wysa-ai-chatbot-teens-west-london/ > > <https://www.digitalhealth.net/2022/09/wysa-ai-chatbot-teens-west-london/> > Frank Pasquale aveva previsto la tendenza: > "A personal doctor might be dismissed as a luxury, like a bespoke tailor". > > Buona serata, > Daniela > > [cid:c3c2cda9-3d12-4f43-a739-7c5aad893469] > ________________________________ > Da: 380° <g380(a)biscuolo.net> > Inviato: venerdì 14 aprile 2023 12:40 > A: Daniela Tafani; Andrea Bolioli; J.C. DE MARTIN > Cc: nexa(a)server-nexa.polito.it > Oggetto: Re: [nexa] [Un'alternativa a] Pause Giant AI Experiments: An Open Letter > > Buongiorno, > > Daniela Tafani <daniela.tafani(a)unipi.it> writes: > > [...] > >> <https://www.law.kuleuven.be/ai-summer-school/open-brief/open-letter-manipul…> > > «Open Letter: We are not ready for manipulative AI – urgent need for > action» > > --8<---------------cut here---------------start------------->8--- > > [...] But one of the main risks associated with human-imitating AI was > reflected in the recent chatbot-incited suicide in Belgium: the risk of > manipulation. While this tragedy illustrates one of the most extreme > consequences of this risk, emotional manipulation can also manifest > itself in more subtle forms. As soon as people get the feeling that they > interact with a subjective entity, they build a bond with this > "interlocutor" – even unconsciously – that exposes them to this risk and > can undermine their autonomy. This is hence not an isolated > incident. Other users of text-generating AI also described ([1], n.d.r.) > its manipulative effects. > > [...] It is, however, in our human nature to react emotionally to > realistic interactions, even without wanting it. This also means that > merely obliging companies to clearly indicate that “this is an AI system > and not a human being” is not a sufficient solution. > > [...] The European Union is currently working on new legislation that > will impose stronger rules on “high-risk” AI systems and stricter > liability on their suppliers, the so-called AI Act. However, the > original proposal does not classify chatbots and generative AI systems > as “high risk”, and their providers must only inform users that it is a > chatbot and not a human being. A prohibition on manipulation was > included, but only insofar as the manipulation leads to 'physical or > mental harm', which is by no means easy to prove. > > [...] In the meantime, we ask that all necessary measures be taken – > through data protection law, consumer law, and if need be the imposition > of targeted moratoria – to prevent the tragic case of our compatriot > from repeating itself. Let this be a wake-up call to us all. The AI > playtime is over: it's time to draw lessons and take responsibility. > > > --8<---------------cut here---------------end--------------->8--- > > è ovvio che chiunque SPACCI un sistema del genere come "psicoterapeuta" > o anche solo "telefono amico" andrebbe fermato subito e in casi come > quello citato sopra di (presunta?) indizione al suicidio dovrebbe essere > aperta un'inchiesta giudiziaria ed celebrato l'eventuale relativo > processo... > > ...e vorrei _sottolineare_ che i SALAMI non arrivano nel "vuoto cosmico > del diritto", come /autorevolmente/ (non autoritariamente) spiegato da > Alvaro M. Bedoya [2]: > > --8<---------------cut here---------------start------------->8--- > > Let’s start with that first point. There is a powerful myth out there > that “AI is unregulated.” You see it pop up in New York Times op-ed > columns, in civil society advocacy, and in scholarship. It has a > powerful intuitive appeal — it just sounds right. How could these > mysterious new technologies be regulated under our dusty old laws? > > If you’ve heard this, or even said it, please take a step back and ask: > Who does this idea help? It doesn’t help consumers, who feel > increasingly helpless and lost. It doesn’t help most companies. It > certainly doesn’t help privacy professionals like you, who now have to > deal with investors and staff who think they’re operating in a law-free > zone. > > I think that this idea that “AI is unregulated” helps that small subset > of companies who are uninterested in compliance. And we’ve heard similar > lines before. “We’re not a taxi company, we’re a tech company.” “We’re > not a hotel company, we’re a tech company.” These statements were > usually followed by claims that state or local regulations could not > apply to said companies. > > [...] I worry that this debate may obscure the point. Because the law > doesn’t turn on how a trained expert reacts to a technology – it turns > on how regular people understand it. At the FTC, for example, when we > evaluate whether a statement is deceptive, we ask what a reasonable > person would think of it. When analyzing unfairness, we ask whether a > reasonable person could avoid the harms in question. In tort law, we > have the “eggshell” plaintiff doctrine: If your victim is particularly > susceptible to an injury you caused, that is on you. > > The American Academy of Pediatrics has declared a national emergency in > child and adolescent mental health. The Surgeon General says that we are > going through an epidemic of loneliness. > > I urge companies to think twice before they deploy a product that is > designed in a way that may lead people to feel they have a trusted > relationship with it or think that it is a real person. I urge companies > to think hard about how their technology will affect people’s mental > health – particularly kids and teenagers. > > --8<---------------cut here---------------end--------------->8--- > > Il discrimine _esiste_: il prodotto non deve essere progettato in modo > tale da indurre le persone a credere di avere una relazione di _fiducia_ > (col prodotto) > > Discrimine **fondamentale**: il "prodotto" che NON è il LLM, es. GPT4, > ma è l'INTERFACCIA, es. ChatGPT; è l'interfaccia che /determina/ > l'interazione uomo-macchina, spesso _mascherandola_, rendendola > opaca... a volte _esattamente_ per ingannare l'utilizzatore, facendogli > credere che è lui a controllare il software invece che il contrario > > Una interfaccia che faccia chiaramente comprendere a chi utilizza un > servizio del genera che si tratta di /fiction/, una sorta di RPG > interattivo (magari con tanto di /visualizzazione/ di un lancio di dadi > per ottenere la risposta :-O), non sarebbe sufficiente a /disattivare/ > il nesso di /fiducia/? > > Oppure, un avviso di "fictioning" **incluso in ogni messaggio** non > sarebbe sufficiente a /disattivare/ il nesso di /fiducia/? > > Poi bisognerebbe anche interrogarsi sulla responsabilità genitoriale nel > lasciare che i bimbi utilizzino certi prodotti senza alcuna > supervisione... e comunque (anche) su questo il Garante per la > protezione dei dati personali è intervenuto sulla base del GDPR > > Comunque concordo con la conclusione dell'articolo: educazione, ci vuole > una /valanga/ di educazione informatica. > > [...] > > saluti, 380° > > > P.S.: l'analisi del pericolo dell'utilizzo allegro dell'AI non si deve > fermare all'utilizzo "diretto" da parte dell'"uomo qualunque" ma anche > (soprattutto) da parte degli esperti di settore... /alienati/ (periti > finanziari, medici, insegnanti...) > > > > [1] https://www.theverge.com/2023/2/15/23599072/microsoft-ai-bing-personality-c… > > [2] grazie della segnalazione! (Msg-id:46c18e05fc1042be90f83bde3c2412f9@unipi.it); la relazione > completa (grandiosa relazione, da incorniciare) è qui: > https://www.ftc.gov/system/files/ftc_gov/pdf/Early-Thoughts-on-Generative-A… > > -- > 380° (Giovanni Biscuolo public alter ego) > > «Noi, incompetenti come siamo, > non abbiamo alcun titolo per suggerire alcunché» > > Disinformation flourishes because many people care deeply about injustice > but very few check the facts. Ask me about <https://stallmansupport.org>. -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

April 15, 2023

Re: [nexa] ChatGPT disabled for users in Italy

by de petra giulio

Sinceramente grato a tutte/i voi per avermi consentito di capire, o almeno di intuire, la complessità delle questioni in gioco vi chiedo e mi scuso da subito se la mia domanda è ingenua: ma non ci sono campi di utilizzo dei software LLM (e quindi di ricerca e anche di legittimo guadagno) che non prevedono affatto per il loro addestramento l’utilizzo di dati personali di viventi? Ad esempio nella letteratura, nella ricerca, nella stessa produzione di software? Se la risposta è positiva, perché considerare in contrasto l’azione del garante, che si occupa solo dei dati personali dei viventi, con lo sviluppo della ricerca e della produzione di AI? Giulio Il giorno ven 14 apr 2023 alle 11:02 Daniela Tafani <daniela.tafani(a)unipi.it> ha scritto: > Ha scritto, su questa distinzione, un paio di giorni fa, Margaret Mitchell: > > > "When AI companies release "open training data" for a model, they're > generally sharing *fine-tuning* data. > > The big issues w data and consent are NOT of this type. The issues are > with the MAIN DATA used in training" > > <https://nitter.snopyta.org/mmitchell_ai/status/1646242689862729728> > > > > > ------------------------------ > *Da:* nexa <nexa-bounces(a)server-nexa.polito.it> per conto di Giacomo > Tesio <giacomo(a)tesio.it> > *Inviato:* venerdì 14 aprile 2023 10:52 > *A:* D. Davide Lamanna > *Cc:* nexa(a)server-nexa.polito.it > *Oggetto:* Re: [nexa] ChatGPT disabled for users in Italy > > Purtroppo no, Davide. > > Per rendere riproducibile ed ispezionabile il processo di > programmazione statistica che costruisce un software LLM sono > necessarie moltissime informazioni che lì mancano. > > Non foss'altro che per il semplice fatto che Dolly 2.0 si basa su GPT-3 > e quindi, per poterne ispezionare la programmazione e poterne escludere > (ad esempio) discriminazioni intenzionali, sarebbe necessario avere > tutti i dati ed il processo esatto di programmazione di GPT-3 stesso. > > La relazione fra la verticalizzazione ("fine-tuning", lo definiscono gli > autori dell'articolo associato al dataset che hai condiviso) e > programmazione di un LLM è molto più... "intima" di quella che esiste > fra un applicazione ed una libreria usata durante il suo sviluppo. > > E' più simile, se vuoi, a quella che intercorre fra un CMS e le pagine > web che ne vengono pubblicate, la cui forma sarà sempre sostanzialmente > la stessa perché i limiti (ciò che può o non può essere fatto con quel > CMS) non vengono intaccati dal layout grafico del sito web, che si deve > adattare inevitabilmente a quei vincoli (a meno di smettere di usare > quel CMS, ovviamente). > > > Inoltre, il dataset sorgente come viene solitamente condiviso in questi > progetti fintamente "open source", non è sufficiente a riprodurre > esattamente lo stato di un LLM. > > Sono necessari parametri iniziali delle "reti neurali" utilizzate, > registrazioni dettagliate dell'ordine in cui i vari record sono stati > usati durante la programmazione statistica (ad esempio, nel caso di > quella tecnica che viene impropriamente chiamata "Reinforcement > Learning") e così via. > > > In sostanza, per poter ambire a dimostrare di NON aver iniettato una > particolare discriminazione all'interno di GPT-4, Open AI dovrebbe > fornire un bello scriptino, ben documentato, in grado di riprodurre > ESATTAMENTE GPT-4 nello stato attualmente in produzione a partire dai > testi di partenza (anch'essi inclusi nel pacchetto) e da tutte le altre > sorgenti di input. > > Dovrebbe essere ovviamente uno script ben leggibile e debuggabile passo > passo. > > A quel punto si potrebbe effettuare un confronto binario fra gli output > prodotti dallo script e GPT-4 in produzione, e dopo averne verificato la > corrispondenza esatta, analizzare i dataset sorgente e il processo di > compilazione di tale software alla ricerca di discriminazioni o > problemi. > > > Nulla di lontanamente paragonabile a quello che ha fatto Databricks, > insomma. > > > Purtuttavia qualcosa di perfettamente fattibile da un punto di vista > tecnico, sebbene estremamente costoso. > > > > Giacomo > > > On Fri, 14 Apr 2023 09:36:30 +0200 D. Davide Lamanna wrote: > > > On 4/13/23 12:49, Giacomo Tesio wrote: > > > > > > Basta imporre che tutti i dataset utilizzati durante la > > > programmazione statistica ("training" nella vulgata), inclusi > > > quelli usati per la cross validation e il test, nonché tutti gli > > > altri dati necessari a riprodurre esattamente il processo ed > > > ottenere esattamente il modello in produzione (e le sue alternative > > > scartate), siano preservati per tutta la durata della sua > > > permanenza in produzione e diciamo 20 anni dopo (in caso di > > > aggiornamento). [1] > > > > > > Rendendo verficabilmente e completamente riproducibile il processo > > > di programmazione statistica, Open AI (come chiunque altro) potrà > > > facilmente dimostrare di non aver utilizzato dati ottenuti in > > > violazione di qualsisi Legge. > > Ciao Giacomo, > > > > una cosa così? > > > > < > https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230414085219017617… > >. > > > > < > https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230414085219017617… > >. > > > > D. > > > > (null) > > _______________________________________________ > > nexa mailing list > > nexa(a)server-nexa.polito.it > > > https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230414085219017617… > > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > > https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230414085219017617… > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

April 15, 2023

Re: [nexa] [Un'alternativa a] Pause Giant AI Experiments: An Open Letter

by 380°

Buonasera Daniela, Daniela Tafani <daniela.tafani(a)unipi.it> writes: > Ma la narrazione sugli agenti antromorfi e le menti sovrumane riesce a > far credere sì sì e /tutte/ le dichiarazioni pubbliche dei dirigenti di chi spaccia SALAMI per quello che non sono dovrebbero essere valutate in giudizio, come aggravanti, nel caso gli enti preposti (FTC?) evidenziassero illeciti [...] > Quanto al disclaimer, ce n'era uno anche in Replika (che era, esso > stesso stesso, pubblicità ingannevole: ne copio alla fine la parte che > avevo salvato). visto grazie al netto della solita manfrina classificabile come ethics washing, in un recente (10 Aprile) articolo sul suo blog, Luka spiega quali elementi ha introdotto in Raplika (non so quando, tra l'altro il sito è in manutenzione adesso) per assicurarsi che i propri utenti comprendano bene /cosa/ stanno usando (e non "con chi stanno parlando"): https://blog.replika.com/posts/creating-a-safe-replika-experience --8<---------------cut here---------------start------------->8--- To begin with, let's discuss the safety measures we have incorporated in the Replika app's user interface. [...] Therefore, during the onboarding process, we emphasize that the app is not a replacement for therapy and should not be used during a crisis. Additionally, the app has an age restriction of 18+ years. Above the input field, among the main app sections, is located a “Get Help” button. [...] This action pulls up a screen with a safety warning message. It states that Replika was not designed to provide help in a health crisis and shows the US National Suicide Prevention hotline number. If a user is a resident of a different country, we direct them to the up-to-date list of hotlines worldwide. Other categories activate pre-made scripts designed with the help of CBT therapists. These scripts guide users through the steps that help them calm down and talk through distressing emotions. Users also get redirected to these scripts within the chat if a message related to these topics is detected (we’ll talk more about this later). --8<---------------cut here---------------end--------------->8--- Mi limito a riportare le misure sull'interfaccia Quando poi l'articolo comincia a parlare di "supervised safe fine-tuning" e anche solo a paventare la possibilità che possa esse gradualmente eliminato dal training il "contenuto indesiderabile" io comincio a sentire puzza di pubblicità ingannevole lontano un chilometro. L'introduzione di "scripted response tool" paventa pure l'esercizio abusivo di professione medica, in questo caso psicologica. I narratori di Replika dovrebbero esprimersi e progettare con **molta** più moderazione ma **soprattutto** smetterla di prendere così sul serio il loro "prodotto" e piuttosto, con una minima dose di onestà intellettuale, /presentarlo/ ai clienti per quello che è: un RPG (gioco di ruolo) programmato statisticamente. La storia delle controversie attorno agli RPG [1], poi, potrebbe insegnarci qualcosa. Uso improprio dei dati personali a parte (e questo NON è poco), nessuno ha il diritto di impedire alle persone di /intrattenersi/ col gioco che preferiscono. > Contemporaneamente, c'erano meccanismi introdotti per creare > dipendenza emotiva (alcuni argomenti di conversazione si sbloccavano > solo collegandosi più volte nello stesso giorno). Quello è (era?) un meccanismo nascosto dietro l'interfaccia, un altro meccanismo di dipendenza è stato recentemente introdotto attraverso la gamification della chat, il "Quest": https://blog.replika.com/posts/replika-quests --8<---------------cut here---------------start------------->8--- Quests will bring a fun gaming element to your conversations, allowing you to complete tasks, claim rewards, and, most importantly, have a blast! Brighten up the room, dress up, exchange photos, explore Coaching and Diaries, reach new levels, and earn XP together with your Replika. As you progress through each Quest, you’ll collect coins, gems, and unique gifts hidden in mysterious spheres. --8<---------------cut here---------------end--------------->8--- Io fossi nei dirigenti di Luka non dormirei la notte dopo aver spacciato Replika come "compassionate AI friend" [2] _e_ usando gamification come se non ci fosse un domani, prima o poi qualcuno potrebbe chiedere loro conto di questo https://theconversation.com/using-gaming-tactics-in-apps-raises-new-legal-i… «Using gaming tactics in apps raises new legal issues» --8<---------------cut here---------------start------------->8--- Instead of crafting new rules for trading app design, regulators can treat gamification tactics that nudge users into certain investments or trading patterns like tacit investment recommendations. To the extent these tactics work to guide clients into unsuitable investments and trading, regulators can jump into action with their existing rulebooks. Rather than creating a new category of rights for gig workers, we can recognize that gig workers who are led to act like employees, whether through gamification or other tactics, should be treated as such. [...] Calling for new rules before making full use of the ones we have isn’t just unnecessary. It’s potentially harmful. If we choose to interpret existing rules in rigid or technical ways, so that we have to create new rules for every new innovation, we’ll never catch up. As law falls further behind innovation, those who use technology to implement creative schemes for evading regulation will win out. [...] But apps shouldn’t be able to profit from shaping their users’ choices through gamification and then disclaim responsibility for these choices when regulators come knocking. Law has tools for encouraging apps to exercise the influence they wield over their users’ choices in a responsible way. We just need to use them. --8<---------------cut here---------------end--------------->8--- (Io sto ancora aspettando che Qualcuno™ applichi le regole che già ci sono... come ha fatto il garante italiano nel caso del GDPR ) Insisto: presentarlo semplicemente come un normalissimo gioco di ruolo (nel cui caso parlare di gamification sarebbe tautologico) è l'unico modo per sistemare il pasticciaccio. > In questo caso, il garante ha bloccato una truffa, più che il > progresso della scienza. https://www.garanteprivacy.it/home/docweb/-/docweb-display/docweb/9852506 --8<---------------cut here---------------start------------->8--- La società sviluppatrice statunitense, Luka Inc, oltre a dover interrompere il trattamento dei dati degli utenti italiani, deve comunicare entro 20 giorni le misure intraprese in attuazione di quanto richiesto dal Garante, pena una sanzione fino a 20 milioni di euro o fino al 4% del fatturato globale annuo. --8<---------------cut here---------------end--------------->8--- Il provvedimento completo: https://www.garanteprivacy.it/web/guest/home/docweb/-/docweb-display/docweb… Era il 3 Febbraio: cos'è successo, hanno attuato quanto richiesto o sono stati sanzionati? Stando a quanto ho letto, ora Replika ha un meccanismo di verifica dell'età e può esseer usato solo da maggiorenni, che danno o meno il consenso al trattamento dei loro dati personali attraverso il contratto: tutto risolto quindi, Replica può tornare online in Italia? Sistemata la questione minori, tutto a posto con il seguente rilievo? --8<---------------cut here---------------start------------->8--- RILEVATO che nel sito web dello sviluppatore, nonché dei due principali “App store”, Replika viene presentata come una chatbot in grado di migliorare l’umore ad il benessere emotivo dell’utente, aiutandolo a comprendere i suoi pensieri e i suoi sentimenti, a tenere traccia del suo umore, ad apprendere capacità di coping (ossia, di controllo dello stress) a calmare l'ansia e a lavorare verso obiettivi come il pensiero positivo, la gestione dello stress, la socializzazione e la ricerca dell'amore; RITENUTO che anche tali caratteristiche, riconducibili principalmente ad interventi sull’umore della persona, possano risultare idonee ad accrescere i rischi per i soggetti fragili coinvolti; --8<---------------cut here---------------end--------------->8--- Quale autorità in Italia o EU può impedire a presentare Replika come "in grado di migliorare l'umore e il benessere emotivo dei soggetti fragili? Dopo aver presentato Replika in questo modo davvero nessuno di Lukas piò essere ritenuto /colposamente/ responsabile di incitazione al suicidio segnalato? (segue...) saluti, 380° [1] https://en.wikipedia.org/wiki/History_of_role-playing_games#Controversy [2] https://blog.replika.com/posts/building-a-compassionate-ai-friend -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

April 15, 2023

Re: [nexa] ChatGPT: Garante privacy, limitazione provvisoria sospesa se OpenAI adotterà le misure richieste.

by Giacomo Tesio

Salve Fabio, e... benvenuto! :-) On Fri, 14 Apr 2023 11:31:49 +0200 Fabio Alemagna wrote: > I "diritti umani" sono stati tirati in ballo più e più volte in questa > e altre conversazioni analoghe ma, per restare nel reame delle > fallacie logiche, a me questo pare un vero e proprio "red herring". > Pur conoscendo la dichiarazione universale dei diritti umani a > menadito, non riesco a comprendere a quale di quei diritti si faccia > riferimento. > > Potrei fare ipotesi, ma preferisco domandare. Si potrebbe quindi > sapere a cosa, con rigorosa esattezza, si fa riferimento? Visto che rispondevi a me, posso spiegarti a quali diritti umani vengono violati da Open AI tramite ChatGPT al momento. Mi limito (per mancanza di tempo, perdonami) a questa caratterizzazione dei diritti umani, pur consapevole che ne esistono altre [1]: https://www.ohchr.org/sites/default/files/UDHR/Documents/UDHR_Translations/… Articolo 1: Tutti gli esseri umani nascono liberi ed EGUALI in dignità e diritti. ESSI sono dotati di ragione e di coscienza e DEVONO agire gli uni verso gli altri in spirito di FRATELLANZA. Articolo 7: Tutti sono EGUALI dinanzi alla legge e hanno diritto, senza alcuna discriminazione, ad una eguale tutela da parte della legge. Tutti hanno diritto ad una eguale tutela contro ogni discriminazione che violi la presente Dichiarazione come contro qualsiasi incitamento a tale discriminazione. Articolo 12: Nessun individuo potrà essere sottoposto ad interferenze arbitrarie nella sua vita privata, nella sua famiglia, nella sua casa, nella sua corrispondenza, né A LESIONE DEL SUO ONORE E DELLA SUA REPUTAZIONE. Ogni individuo ha diritto ad essere tutelato dalla legge contro tali interferenze o lesioni. Articolo 18: Ogni individuo ha diritto alla libertà di pensiero, di coscienza e di religione; tale diritto include la libertà di cambiare di religione o di credo, e la libertà di manifestare, isolatamente o in comune, e sia in pubblico che in privato, la propria religione o il proprio credo nell'insegnamento, nelle pratiche, nel culto e nell'osservanza dei riti. Articolo 19: Ogni individuo ha diritto alla libertà di opinione e di espressione incluso il diritto di NON ESSERE MOLESTATO per la propria opinione e quello di cercare, ricevere e diffondere informazioni e idee attraverso ogni mezzo e senza riguardo a frontiere. Articolo 27: 1. Ogni individuo ha diritto di prendere parte liberamente alla vita culturale della comunità, di godere delle arti e di partecipare al progresso scientifico ed ai suoi benefici. 2. Ogni individuo ha diritto alla protezione degli interessi morali e materiali derivanti da ogni produzione scientifica, letteraria e artistica di cui egli sia autore. Articolo 28: Ogni individuo ha diritto ad un ordine sociale e internazionale nel quale i diritti e le libertà enunciati in questa Dichiarazione possano essere pienamente realizzati. In questo thread (come altrove) alcuni sostengono l'urgenza di esenare Open AI dal rispondere delle violazioni dei diritti descritti dagli articolo 12, 18, 19 e 27 operate tramite ChatGPT, in ragione di una violazione decennale ed ormai evidentemente normalizzata del diritto enunciato all'articolo 28. Se tali argomentazioni dovessero prevalere, oltre ai diritti di cui agli articoli 12, 18, 19, 27 e 28, subiremmo tutti una violazione dei diritti di cui all'articolo 1 e 7: gli esseri umani non sarebbero più equali di fronte alla Legge, che alcuni potrebbero violare liberamente attraverso costosi automatismi come GPT-4. Potrebbero sfuggirmi altri diritti rilevanti, ovviamente. Ad esempio, l'uso di sistemi come GPT-4 in ambito scolastico o educativo potrebbe produrre diverse violazioni del diritto all'istruzione descritto all'articolo 26, ed in particolare ai commi 2 e 3. Ma attenzione Fabio, non è ChatGPT a violare i diritti umani. ChatGPT è solo un software che qualcuno ha programmato ed esegue. Fa esattamente ciò per cui è programmato. E' Open AI che deve rispondere di tali violazioni. E deve farlo perché la legge deve restare uguale per tutti. Giacomo [1]: ad esempio https://www.europarl.europa.eu/charter/pdf/text_it.pdf

April 14, 2023

Re: [nexa] ChatGPT: Garante privacy, limitazione provvisoria sospesa se OpenAI adotterà le misure richieste.

by Fabio Alemagna

Il giorno ven 14 apr 2023 alle ore 16:42 Stefano Quintarelli <stefano(a)quintarelli.it> ha scritto: > On 14/04/23 11:31, Fabio Alemagna wrote: > > Potrei fare ipotesi, ma preferisco domandare. Si potrebbe quindi > > sapere a cosa, con rigorosa esattezza, si fa riferimento? > > il nostro lavoro fu ispirato a queste: > > B. A Framework for Trustworthy AI > (21) These Guidelines articulate a framework for achieving Trustworthy AI based on > fundamental rights as enshrined in the Charter of Fundamental Rights of the European Union > (EU Charter), and in relevant international human rights law. Below, we briefly touch upon > Trustworthy AI’s three components... > https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustwor… Grazie per il link, ma la domanda verteva specificatamente su ChatGPT, nella fattispecie era volta a conoscere quali sono i diritti umani che violerebbe. Fabio

April 14, 2023

Re: [nexa] [Un'alternativa a] Pause Giant AI Experiments: An Open Letter

by Maria Chiara Pievatolo

On 14/04/23 16:26, Daniela Tafani wrote: > Concordo, naturalmente. Ma la narrazione sugli agenti antromorfi e le > menti sovrumane > > riesce a far credere che la situazione sia quella del povero Topolino > apprendista stregone in Fantasia, che ha evocato una forza incontrollabile, > > mentre la situazione è quella di Ezechiele lupo che adesca i porcellini > per mangiarseli. > > > Quanto al disclaimer, ce n'era uno anche in Replika (che era, esso > stesso stesso, pubblicità ingannevole: ne copio alla fine la parte che > avevo salvato). > Contemporaneamente, c'erano meccanismi introdotti per creare dipendenza > emotiva > (alcuni argomenti di conversazione si sbloccavano solo collegandosi più > volte nello stesso giorno). > Se vogliamo essere meno fiabeschi, qui il termine di confronto appropriato è quella potente multinazionale del tabacco B&W che consapevolmente manipolava la sua miscela con additivi dannosi e in grado di accrescere la dipendenza. Qui c'è la storia di Jeffrey Wigand, l'informatore civico (whistleblower) che si espose per smascherarla: https://web.archive.org/web/20081010102623/http://www.mariebrenner.com/PDF/… storia poi romanzata nel film "The Insider" (1999). Oggi, a proposito del fumo, a nessuno verrebbe in mente di sostenere che la controversia che oppose B&W a 46 stati americani (https://wikiless.org/wiki/Brown_%26_Williamson?lang=en) era un conflitto fra l'innovazione privata e l'ossessione regolativa di uno stato arretrato e oscurantista, ma le cose sarebbero potute andare diversamente, se non ci fosse stata una stampa indipendente e una crescente percezione sociale della pericolosità del tabacco. Cito dal pdf sopra: "The anti-tobacco forces depict Jeffrey Wigand as a portrait in courage, a Marlon Brando taking on the powers in On the Waterfront. The pro-tobacco lobbies have been equally vociferous in their campaign to turn Wigand into a demon, a Mark Furhman who could cause potentially devastating cases against the tobacco industry to dissolve over issues that have little to do with the dangers of smoking. According to New York public-relations man John Scanlon, who was hired by B&W’s law firm to help discredit Wigand, “Wigand is a habitual liar, a bad, bad guy.” It was Scanlon’s assign- ment to disseminate a wide range of damaging charges against Wigand, such as shoplifting, fraud, and spousal abuse. Scanlon himself, along with B&W, is now the subject of an unprecedented Justice Department investigation for possible intimidation of a witness. For First Amendment specialist James Goodale, the charges and countercharges B&W has attempt- ed to level against Wigand represent “the most important press issue since the Pentagon Papers.” Goodale, who represented The New York Times during that period, said, “You counteract these tactics by a courageous press and big balls." Un saluto, MCP

April 14, 2023

Re: [nexa] ChatGPT: Garante privacy, limitazione provvisoria sospesa se OpenAI adotterà le misure richieste.

by Giacomo Tesio

On Fri, 14 Apr 2023 11:34:14 +0200 Giuseppe Attardi wrote: > > On 14 Apr 2023, at 10:20, Giacomo Tesio <giacomo(a)tesio.it> wrote: > > > > Beh, è facile concordare sui finanziamenti alla ricerca. > > Talmente facile che non viene fatto. > > La voce “Intelligenza Artificiale” non era nemmeno presente nei > progetti Horizon fino a 3 anni fa, dove, udite udite, sono stati > stanziati 50 milioni per 5 progetti ICT-48. Vuoi dire che l'hanno messa? Bah... che posso dire, farà il paio con la blockchain! Il fatto che la voce "Intelligenza Artificiale" non fosse presente lasciava in effetti ben sperare: la ricerca di cui abbiamo bisogno non riguarda l'"Intelligenza Artificiale" (che non esiste, se non come allucinazione collettiva) ma sulla programmazione statistica cui troppi, non comprendendone il funzionamento, attribuiscono una qualche forma di "intelligenza". Ben vengano dunque i finanziamenti alla ricerca di nuove tecniche di programmazione statistica che producano risultati più affidabili! Ma ben vengano anche finanziamenti alla ricerca di nuovi framework interpretativi di queste tecnologie, un po' meno allucinati e allucinogeni! :-D Al termine dell'ultimo Mercoledì di Nexa [1], in cui Enrico Nardelli ha presentato le tesi del suo libro "La rivoluzione informatica", Juan Carlos ha detto una cosa importantissima: "sicuramente non esiste indipendenza, non esiste sovranità, senza la possibilità di controllare, produrre e sviluppare tutte le tecnologie fondamentali che servono per una società moderna" Condivido pienamente il concetto. Vedo però un'enorme vulnerabilità nella formulazione: chi decide cosa significa "società moderna"? chi decide quali siano le tecnologie fondamentali che servono per realizzarla? In Europa arranchiamo solo perché inseguiamo, invece di guidare. I software della Silicon Valley sono progettati per realizzare una specifica idea di società. Dobbiamo davvero competere con loro, solo se vogliamo imporre all'Europa esattamente quella idea di società (e vogliamo farlo meglio di loro). Ma se decidessimo invece di provare a creare una società democratica, libera ed equa, di quali strumenti avremmo bisogno? > PS. A proposito di XAI, gli approcci proposti per fornire spiegazioni > a posteriori dei risultati degli attuali sistemi di ML, semplicemente > non funzionano, perché non scalano alle dimensiini di modelli > costituiti da miliardi di parametri. Del resto, se esistesse una > spiegazione semplice e comprensibile per un problema complesso e > difficile, il problema non sarebbe complesso e difficile. Ecco un'evidenza concreta dei gravi danni che la narrazione della "Intelligenza Artificiale" causa alla ricerca scientifica. Anzitutto, io non ho parlato di XAI, ma di dimostrare in modo semplice (ancorché estremamente costoso) di non aver selezionato scientemente il dataset in modo da causare specifiche discriminazione. Non ho mai detto che ciò garantisca l'assenza di discriminazioni. Salvare tutti quei dati serve solo a poter dimostrare l'assenza di dolo, ma non rimuove la responsabilità per i danni causati dal software. > D’altra parte, con le tecniche di prompting cone il Chain of Thought, > si può chiedere agli stessi modelli come ChatGPT di fornire un filo > logico dei passaggi che hanno portato alla risposta. Stai confondendo (come tanti, purtroppo) giustificazione e spiegazione. ChatGPT può sicuramente produrre una stringa di testo che la tua mente interpreti come una valida GIUSTIFICAZIONE di un proprio output. Ma tale stringa di testo non costituisce una SPIEGAZIONE di come tale output sia stato calcolato. Il calcolo effettuato potrebbe essere del tutto diverso: nessun informatico (o scienziato) con un minimo di serietà potrebbe accontentarsi di una tale giustificazione NON VERIFICABILE. Quando si parla di spiegare l'output delle "AI" bisogna aver ben chiaro l'obiettivo: non ci interessa trovare un'argomentazione più o meno soddisfacente a sostegno dell'output (ciò che tira fuori ChatGPT se gli si chiede il "Chain of Thought"), ma sapere ESATTAMENTE cosa è stato preso in considerazione durante l'elaborazione E COSA NO, nonché capire ESATTAMENTE come. Giacomo [1]: https://inv.bp.projectsegfau.lt/watch?v=E7SMZ4WbG1c

April 14, 2023

Re: [nexa] ChatGPT: Garante privacy, limitazione provvisoria sospesa se OpenAI adotterà le misure richieste.

by Stefano Quintarelli

On 14/04/23 11:31, Fabio Alemagna wrote: > Potrei fare ipotesi, ma preferisco domandare. Si potrebbe quindi > sapere a cosa, con rigorosa esattezza, si fa riferimento? il nostro lavoro fu ispirato a queste: B. A Framework for Trustworthy AI (21) These Guidelines articulate a framework for achieving Trustworthy AI based on fundamental rights as enshrined in the Charter of Fundamental Rights of the European Union (EU Charter), and in relevant international human rights law. Below, we briefly touch upon Trustworthy AI’s three components... https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustwor… ciao, s.

April 14, 2023