Sono l'unico ad essere pessimista sull'effettiva possibilità di fermare/sospendere la corsa all'AI? Buona giornata D. ________________________________ From: nexa <nexa-bounces@server-nexa.polito.it> on behalf of J.C. DE MARTIN <juancarlos.demartin@polito.it> Sent: Wednesday, March 29, 2023 7:09 AM To: nexa@server-nexa.polito.it <nexa@server-nexa.polito.it> Subject: Re: [nexa] Pause Giant AI Experiments: An Open Letter Alcuni commenti di Emily M. Bender (Univ. of Washington): https://twitter.com/emilymbender/status/1640920936600997889?s=61&t=47Wex2-4P... jc On 29/03/23 08:47, J.C. DE MARTIN wrote: Primi firmatari: Yoshua Bengio, Stuart Russell, Elon Musk, Steve Wozniak. jc Pause Giant AI Experiments: An Open Letter We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. https://futureoflife.org/open-letter/pause-giant-ai-experiments/ AI systems with human-competitive intelligence can pose profound risks to society and humanity, as shown by extensive research[1] and acknowledged by top AI labs.[2] As stated in the widely-endorsed Asilomar AI Principles<https://futureoflife.org/open-letter/ai-principles/>, Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources. Unfortunately, this level of planning and management is not happening, even though recent months have seen AI labs locked in an out-of-control race to develop and deploy ever more powerful digital minds that no one – not even their creators – can understand, predict, or reliably control. Contemporary AI systems are now becoming human-competitive at general tasks,[3] and we must ask ourselves: Should we let machines flood our information channels with propaganda and untruth? Should we automate away all the jobs, including the fulfilling ones? Should we develop nonhuman minds that might eventually outnumber, outsmart, obsolete and replace us? Should we risk loss of control of our civilization? Such decisions must not be delegated to unelected tech leaders. Powerful AI systems should be developed only once we are confident that their effects will be positive and their risks will be manageable. This confidence must be well justified and increase with the magnitude of a system's potential effects. OpenAI's recent statement regarding artificial general intelligence<https://openai.com/blog/planning-for-agi-and-beyond>, states that "At some point, it may be important to get independent review before starting to train future systems, and for the most advanced efforts to agree to limit the rate of growth of compute used for creating new models." We agree. That point is now. Therefore, we call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium. AI labs and independent experts should use this pause to jointly develop and implement a set of shared safety protocols for advanced AI design and development that are rigorously audited and overseen by independent outside experts. These protocols should ensure that systems adhering to them are safe beyond a reasonable doubt.[4] This does not mean a pause on AI development in general, merely a stepping back from the dangerous race to ever-larger unpredictable black-box models with emergent capabilities. AI research and development should be refocused on making today's powerful, state-of-the-art systems more accurate, safe, interpretable, transparent, robust, aligned, trustworthy, and loyal. In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause. Humanity can enjoy a flourishing future with AI. Having succeeded in creating powerful AI systems, we can now enjoy an "AI summer" in which we reap the rewards, engineer these systems for the clear benefit of all, and give society a chance to adapt. Society has hit pause on other technologies with potentially catastrophic effects on society.[5] We can do so here. Let's enjoy a long AI summer, not rush unprepared into a fall. _______________________________________________ nexa mailing list nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

Buongiorno. Non mi pare difficile trovare un'iniziativa pubblica meno indecente della mossa insultante di quella lettera aperta: il modo in cui parlano di fantomatici rischi futuri, come se non si fossero accorti di quanto siano reali e dolorosi i danni generati dal loro sfruttamento di persone, dati e risorse naturali e dal rilascio di strumenti deliberatamente ingannevoli, che inquinano pesantemente l'ecosistema dell'informazione e illudono e manipolano per loro conto gli utenti inesperti, mi ricorda - non a caso, visti i firmatari - il dialogo tra Huckleberry Finn e la zia Sally: Huckleberry Finn, quando gli chiesero se lo scoppio della caldaia di un battello a vapore avesse colpito qualcuno, rispose: «Nessuno: è rimasto ucciso un negro». Il commento della zia Sally: «Bene, è una fortuna, perché a volte capita che qualcuno si faccia male», riassume l’intera moralità che spesso ha prevalso fra gli uomini. Tra le iniziative non proposte da ideologhi TESCREAL<https://nitter.snopyta.org/xriskology/status/1635313838508883968> (transhumanism, extropianism, singularitarianism, cosmism, Rationalism, Effective Altruism e longtermism), segnalo una lettera aperta odierna: <https://www.law.kuleuven.be/ai-summer-school/open-brief/open-letter-manipula...> Un saluto, Daniela ________________________________ Da: nexa <nexa-bounces@server-nexa.polito.it> per conto di Andrea Bolioli <andrea.bolioli@gmail.com> Inviato: giovedì 30 marzo 2023 21:14 A: J.C. DE MARTIN Cc: nexa@server-nexa.polito.it Oggetto: Re: [nexa] Pause Giant AI Experiments: An Open Letter Grazie per la segnalazione. Sto pensando di firmare la lettera, su molte cose sono d'accordo. Gli usi impropri di LLM e altri sistemi generativi sono già in corso, altri rischi si intravedono. Non si possono prevedere tutti i rischi perché alcune proprietà di questi sistemi "emergono", non le sappiamo tutte prima. Della lettera non mi piace che sia stato citato "GPT-4" come metro di paragone ( "the training of AI systems more powerful than GPT-4."), si potevano forse citare più sistemi o provare a fornire una descrizione tecnica, che però non è banale. Firmare una lettera non sarà sicuramente sufficiente. Qualche iniziativa mi sembra necessaria. La situazione in cui ci troviamo mi sembra di questo tipo: sono state inventate le automobili, tutti le possiamo guidare senza patente, non sappiamo perché funzionano, alcune aziende costruiscono e vendono automobili sempre più potenti. Non mi sembra una situazione sicurissima. Capisco il problema dell'hype. Questi sistemi però esistono veramente, non sono solo raccontati nella comunicazione delle aziende che li vendono. Ci sono altre iniziative pubbliche utili? Buona serata, Andrea Il giorno gio 30 mar 2023 alle ore 07:16 J.C. DE MARTIN <juancarlos.demartin@polito.it<mailto:juancarlos.demartin@polito.it>> ha scritto: A misleading open letter about sci-fi AI dangers ignores the real risks Misinformation, labor impact, and safety are all risks. But not in the way the letter implies. Arvind Narayanan and Sayash Kapoor https://aisnakeoil.substack.com/p/a-misleading-open-letter-about-sci<https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202303301915090808348&URLID=4&ESV=10.0.19.7431&IV=5414F8AC8D9CD1A1360D54A45E33AA2C&TT=1680203944494&ESN=nFd70%2Fi%2BQsrrUQL9jYPTfdyT8iMgPDEwKvd1UkBW1pI%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly9haXNuYWtlb2lsLnN1YnN0YWNrLmNvbS9wL2EtbWlzbGVhZGluZy1vcGVuLWxldHRlci1hYm91dC1zY2k&HK=3DC9658876EE2A81FC65715173065874E64FADC3894270691E802851311CE4DE> On 29/03/23 08:47, J.C. DE MARTIN wrote: Primi firmatari: Yoshua Bengio, Stuart Russell, Elon Musk, Steve Wozniak. jc Pause Giant AI Experiments: An Open Letter We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. https://futureoflife.org/open-letter/pause-giant-ai-experiments/<https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202303301915090808348&URLID=2&ESV=10.0.19.7431&IV=634F59A1CB0F0E56F6C0584642D91942&TT=1680203944493&ESN=WG8U%2BjOuuuM6f%2Fx76IKONUSiZ8RZucj3PdZnM4UFq%2FY%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly9mdXR1cmVvZmxpZmUub3JnL29wZW4tbGV0dGVyL3BhdXNlLWdpYW50LWFpLWV4cGVyaW1lbnRzLw&HK=4E1A0E081C96E8E246279BA7CDE4137D65F205798A63243242B65F763E2D19B1>

Buongiorno. Ha ragione, anche altre persone serie e in buona fede hanno firmato, condividendo le sue considerazioni. Inclusi alcuni che contro le fantasie di chi vede l'AGI nei SALAMI si battono quotidianamente. Non crede però, anche sorvolando sui firmatari, sul messianesimo eugenetico dei miliardari e sull'hype, che chiedere una pausa non per chatGPT e GPT-4, ma solo per i sistemi più potenti di quelli, equivalga a chiudere la stalla dopo che siano scappati i buoi? Condivido la sua osservazione sulla necessità di non dividersi, ma temo che l'iniziativa in questione sia sostitutiva, e con grande successo, di un'iniziativa vera e concreta: mi pare la consueta mossa di presentare la propria buona volontà come una promessa di autoregolazione, sostitutiva della regolazione giuridica. E credo che si applichi al monopolista quello che Adam Smith scriveva del macellaio e del fornaio: affidarsi alla loro benevolenza non è una buona idea; serve la legge: <https://oll.libertyfund.org/quote/adam-smith-butcher-brewer-baker> Un saluto, Daniela ________________________________ Da: nexa <nexa-bounces@server-nexa.polito.it> per conto di Marco A. Calamari <marcoc_maillist@marcoc.it> Inviato: venerdì 31 marzo 2023 11:25 A: nexa@server-nexa.polito.it Oggetto: Re: [nexa] [Un'alternativa a] Pause Giant AI Experiments: An Open Letter On ven, 2023-03-31 at 08:37 +0000, Daniela Tafani wrote: Buongiorno. Non mi pare difficile trovare un'iniziativa pubblica meno indecente della mossa insultante di quella lettera aperta: il modo in cui parlano di fantomatici rischi futuri, come se non si fossero accorti di quanto siano reali e dolorosi Buongiorno, non mi pare questa una sede adatta per avviare polemiche, ed è lungi da me l'idea di iniziarne una io. Vorrei solo dire che iniziative pubbliche contro un fenomeno maligno e ben individuato andrebbero condivise malgrado i se ed i ma. Ce ne sono così poche. I nemici dei mie nemici ... Un campo diviso è un campo destinato alla sconfitta. Certo, io sono uno schematista politicamente ingenuo. Però la mia opinione è che oggi non ci si può tirare indietro, e viste le poche iniziative in giro l'ho sottoscritta. JM2EC Marco i danni generati dal loro sfruttamento di persone, dati e risorse naturali e dal rilascio di strumenti deliberatamente ingannevoli, che inquinano pesantemente l'ecosistema dell'informazione e illudono e manipolano per loro conto gli utenti inesperti, mi ricorda - non a caso, visti i firmatari - il dialogo tra Huckleberry Finne la zia Sally: Huckleberry Finn, quando gli chiesero se lo scoppio della caldaia di un battello a vapore avesse colpito qualcuno, rispose: «Nessuno: è rimasto ucciso un negro». Il commento della zia Sally: «Bene, è una fortuna, perché a volte capita che qualcuno si faccia male», riassume l’intera moralità che spesso ha prevalso fra gli uomini. Tra le iniziative non proposte da ideologhi TESCREAL<https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202303310925200138349...> (transhumanism, extropianism, singularitarianism, cosmism, Rationalism, Effective Altruism e longtermism), segnalo una lettera aperta odierna: <https://www.law.kuleuven.be/ai-summer-school/open-brief/open-letter-manipulative-ai<https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202303310925200138349&URLID=10&ESV=10.0.19.7431&IV=E54B132A2AE1055BECA4137800914B1D&TT=1680254720699&ESN=%2BrScVIa6ekrsqCQCvUzgsCw8mRYjXWSWpqvPRGugkzc%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly93d3cubGF3Lmt1bGV1dmVuLmJlL2FpLXN1bW1lci1zY2hvb2wvb3Blbi1icmllZi9vcGVuLWxldHRlci1tYW5pcHVsYXRpdmUtYWk&HK=00B17B1E550993454584F4A53844EC749F35EFA453CE436ECD147C626DDB7F20>> Un saluto, Daniela ________________________________ Da: nexa <nexa-bounces@server-nexa.polito.it> per conto di Andrea Bolioli <andrea.bolioli@gmail.com> Inviato: giovedì 30 marzo 2023 21:14 A: J.C. DE MARTIN Cc: nexa@server-nexa.polito.it Oggetto: Re: [nexa] Pause Giant AI Experiments: An Open Letter Grazie per la segnalazione. Sto pensando di firmare la lettera, su molte cose sono d'accordo. Gli usi impropri di LLM e altri sistemi generativi sono già in corso, altri rischi si intravedono. Non si possono prevedere tutti i rischi perché alcune proprietà di questi sistemi "emergono", non le sappiamo tutte prima. Della lettera non mi piace che sia stato citato "GPT-4" come metro di paragone ( "the training of AI systems more powerful than GPT-4."), si potevano forse citare più sistemi o provare a fornire una descrizione tecnica, che però non è banale. Firmare una lettera non sarà sicuramente sufficiente. Qualche iniziativa mi sembra necessaria. La situazione in cui ci troviamo mi sembra di questo tipo: sono state inventate le automobili, tutti le possiamo guidare senza patente, non sappiamo perché funzionano, alcune aziende costruiscono e vendono automobili sempre più potenti. Non mi sembra una situazione sicurissima. Capisco il problema dell'hype. Questi sistemi però esistono veramente, non sono solo raccontati nella comunicazione delle aziende che li vendono. Ci sono altre iniziative pubbliche utili? Buona serata, Andrea Il giorno gio 30 mar 2023 alle ore 07:16 J.C. DE MARTIN <juancarlos.demartin@polito.it<mailto:juancarlos.demartin@polito.it>> ha scritto: A misleading open letter about sci-fi AI dangers ignores the real risks Misinformation, labor impact, and safety are all risks. But not in the way the letter implies. Arvind Narayanan and Sayash Kapoor https://aisnakeoil.substack.com/p/a-misleading-open-letter-about-sci<https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202303301915090808348&URLID=4&ESV=10.0.19.7431&IV=5414F8AC8D9CD1A1360D54A45E33AA2C&TT=1680203944494&ESN=nFd70%2Fi%2BQsrrUQL9jYPTfdyT8iMgPDEwKvd1UkBW1pI%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly9haXNuYWtlb2lsLnN1YnN0YWNrLmNvbS9wL2EtbWlzbGVhZGluZy1vcGVuLWxldHRlci1hYm91dC1zY2k&HK=3DC9658876EE2A81FC65715173065874E64FADC3894270691E802851311CE4DE> On 29/03/23 08:47, J.C. DE MARTIN wrote: Primi firmatari: Yoshua Bengio, Stuart Russell, Elon Musk, Steve Wozniak. jc Pause Giant AI Experiments: An Open Letter We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. https://futureoflife.org/open-letter/pause-giant-ai-experiments/<https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202303301915090808348&URLID=2&ESV=10.0.19.7431&IV=634F59A1CB0F0E56F6C0584642D91942&TT=1680203944493&ESN=WG8U%2BjOuuuM6f%2Fx76IKONUSiZ8RZucj3PdZnM4UFq%2FY%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly9mdXR1cmVvZmxpZmUub3JnL29wZW4tbGV0dGVyL3BhdXNlLWdpYW50LWFpLWV4cGVyaW1lbnRzLw&HK=4E1A0E081C96E8E246279BA7CDE4137D65F205798A63243242B65F763E2D19B1> _______________________________________________ nexa mailing list nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa<https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202303310925200138349&URLID=2&ESV=10.0.19.7431&IV=B971ED7B50FDD28C3648FB71DCC31739&TT=1680254720699&ESN=Qn4YaTX3KW7dULTd8uY3a1m4kRiKv4x3DDrvgtgAA9Q%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly9zZXJ2ZXItbmV4YS5wb2xpdG8uaXQvY2dpLWJpbi9tYWlsbWFuL2xpc3RpbmZvL25leGE&HK=C6B43E5B398162D366CCADBE020E5AC21C298A3FE2A23B59994BBC7077BE199E>

Concordo, naturalmente. Ma la narrazione sugli agenti antromorfi e le menti sovrumane riesce a far credere che la situazione sia quella del povero Topolino apprendista stregone in Fantasia, che ha evocato una forza incontrollabile, mentre la situazione è quella di Ezechiele lupo che adesca i porcellini per mangiarseli. Quanto al disclaimer, ce n'era uno anche in Replika (che era, esso stesso stesso, pubblicità ingannevole: ne copio alla fine la parte che avevo salvato). Contemporaneamente, c'erano meccanismi introdotti per creare dipendenza emotiva (alcuni argomenti di conversazione si sbloccavano solo collegandosi più volte nello stesso giorno). In questo caso, il garante ha bloccato una truffa, più che il progresso della scienza. Quanto ai minori, ci sono paesi in cui li si affida consapevolmente a un chatbot, proprio nei casi in cui abbiano bisogno di assistenza mentale: https://www.digitalhealth.net/2022/09/wysa-ai-chatbot-teens-west-london/ <https://www.digitalhealth.net/2022/09/wysa-ai-chatbot-teens-west-london/> Frank Pasquale aveva previsto la tendenza: "A personal doctor might be dismissed as a luxury, like a bespoke tailor". Buona serata, Daniela [cid:c3c2cda9-3d12-4f43-a739-7c5aad893469] ________________________________ Da: 380° <g380@biscuolo.net> Inviato: venerdì 14 aprile 2023 12:40 A: Daniela Tafani; Andrea Bolioli; J.C. DE MARTIN Cc: nexa@server-nexa.polito.it Oggetto: Re: [nexa] [Un'alternativa a] Pause Giant AI Experiments: An Open Letter Buongiorno, Daniela Tafani <daniela.tafani@unipi.it> writes: [...]

<https://www.law.kuleuven.be/ai-summer-school/open-brief/open-letter-manipula...>

«Open Letter: We are not ready for manipulative AI – urgent need for action» --8<---------------cut here---------------start------------->8--- [...] But one of the main risks associated with human-imitating AI was reflected in the recent chatbot-incited suicide in Belgium: the risk of manipulation. While this tragedy illustrates one of the most extreme consequences of this risk, emotional manipulation can also manifest itself in more subtle forms. As soon as people get the feeling that they interact with a subjective entity, they build a bond with this "interlocutor" – even unconsciously – that exposes them to this risk and can undermine their autonomy. This is hence not an isolated incident. Other users of text-generating AI also described ([1], n.d.r.) its manipulative effects. [...] It is, however, in our human nature to react emotionally to realistic interactions, even without wanting it. This also means that merely obliging companies to clearly indicate that “this is an AI system and not a human being” is not a sufficient solution. [...] The European Union is currently working on new legislation that will impose stronger rules on “high-risk” AI systems and stricter liability on their suppliers, the so-called AI Act. However, the original proposal does not classify chatbots and generative AI systems as “high risk”, and their providers must only inform users that it is a chatbot and not a human being. A prohibition on manipulation was included, but only insofar as the manipulation leads to 'physical or mental harm', which is by no means easy to prove. [...] In the meantime, we ask that all necessary measures be taken – through data protection law, consumer law, and if need be the imposition of targeted moratoria – to prevent the tragic case of our compatriot from repeating itself. Let this be a wake-up call to us all. The AI playtime is over: it's time to draw lessons and take responsibility. --8<---------------cut here---------------end--------------->8--- è ovvio che chiunque SPACCI un sistema del genere come "psicoterapeuta" o anche solo "telefono amico" andrebbe fermato subito e in casi come quello citato sopra di (presunta?) indizione al suicidio dovrebbe essere aperta un'inchiesta giudiziaria ed celebrato l'eventuale relativo processo... ...e vorrei _sottolineare_ che i SALAMI non arrivano nel "vuoto cosmico del diritto", come /autorevolmente/ (non autoritariamente) spiegato da Alvaro M. Bedoya [2]: --8<---------------cut here---------------start------------->8--- Let’s start with that first point. There is a powerful myth out there that “AI is unregulated.” You see it pop up in New York Times op-ed columns, in civil society advocacy, and in scholarship. It has a powerful intuitive appeal — it just sounds right. How could these mysterious new technologies be regulated under our dusty old laws? If you’ve heard this, or even said it, please take a step back and ask: Who does this idea help? It doesn’t help consumers, who feel increasingly helpless and lost. It doesn’t help most companies. It certainly doesn’t help privacy professionals like you, who now have to deal with investors and staff who think they’re operating in a law-free zone. I think that this idea that “AI is unregulated” helps that small subset of companies who are uninterested in compliance. And we’ve heard similar lines before. “We’re not a taxi company, we’re a tech company.” “We’re not a hotel company, we’re a tech company.” These statements were usually followed by claims that state or local regulations could not apply to said companies. [...] I worry that this debate may obscure the point. Because the law doesn’t turn on how a trained expert reacts to a technology – it turns on how regular people understand it. At the FTC, for example, when we evaluate whether a statement is deceptive, we ask what a reasonable person would think of it. When analyzing unfairness, we ask whether a reasonable person could avoid the harms in question. In tort law, we have the “eggshell” plaintiff doctrine: If your victim is particularly susceptible to an injury you caused, that is on you. The American Academy of Pediatrics has declared a national emergency in child and adolescent mental health. The Surgeon General says that we are going through an epidemic of loneliness. I urge companies to think twice before they deploy a product that is designed in a way that may lead people to feel they have a trusted relationship with it or think that it is a real person. I urge companies to think hard about how their technology will affect people’s mental health – particularly kids and teenagers. --8<---------------cut here---------------end--------------->8--- Il discrimine _esiste_: il prodotto non deve essere progettato in modo tale da indurre le persone a credere di avere una relazione di _fiducia_ (col prodotto) Discrimine **fondamentale**: il "prodotto" che NON è il LLM, es. GPT4, ma è l'INTERFACCIA, es. ChatGPT; è l'interfaccia che /determina/ l'interazione uomo-macchina, spesso _mascherandola_, rendendola opaca... a volte _esattamente_ per ingannare l'utilizzatore, facendogli credere che è lui a controllare il software invece che il contrario Una interfaccia che faccia chiaramente comprendere a chi utilizza un servizio del genera che si tratta di /fiction/, una sorta di RPG interattivo (magari con tanto di /visualizzazione/ di un lancio di dadi per ottenere la risposta :-O), non sarebbe sufficiente a /disattivare/ il nesso di /fiducia/? Oppure, un avviso di "fictioning" **incluso in ogni messaggio** non sarebbe sufficiente a /disattivare/ il nesso di /fiducia/? Poi bisognerebbe anche interrogarsi sulla responsabilità genitoriale nel lasciare che i bimbi utilizzino certi prodotti senza alcuna supervisione... e comunque (anche) su questo il Garante per la protezione dei dati personali è intervenuto sulla base del GDPR Comunque concordo con la conclusione dell'articolo: educazione, ci vuole una /valanga/ di educazione informatica. [...] saluti, 380° P.S.: l'analisi del pericolo dell'utilizzo allegro dell'AI non si deve fermare all'utilizzo "diretto" da parte dell'"uomo qualunque" ma anche (soprattutto) da parte degli esperti di settore... /alienati/ (periti finanziari, medici, insegnanti...) [1] https://www.theverge.com/2023/2/15/23599072/microsoft-ai-bing-personality-co... [2] grazie della segnalazione! (Msg-id:46c18e05fc1042be90f83bde3c2412f9@unipi.it); la relazione completa (grandiosa relazione, da incorniciare) è qui: https://www.ftc.gov/system/files/ftc_gov/pdf/Early-Thoughts-on-Generative-AI... -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Buonasera Daniela, Daniela Tafani <daniela.tafani@unipi.it> writes:

Ma la narrazione sugli agenti antromorfi e le menti sovrumane riesce a far credere

sì sì e /tutte/ le dichiarazioni pubbliche dei dirigenti di chi spaccia SALAMI per quello che non sono dovrebbero essere valutate in giudizio, come aggravanti, nel caso gli enti preposti (FTC?) evidenziassero illeciti [...]

Quanto al disclaimer, ce n'era uno anche in Replika (che era, esso stesso stesso, pubblicità ingannevole: ne copio alla fine la parte che avevo salvato).

visto grazie al netto della solita manfrina classificabile come ethics washing, in un recente (10 Aprile) articolo sul suo blog, Luka spiega quali elementi ha introdotto in Raplika (non so quando, tra l'altro il sito è in manutenzione adesso) per assicurarsi che i propri utenti comprendano bene /cosa/ stanno usando (e non "con chi stanno parlando"): https://blog.replika.com/posts/creating-a-safe-replika-experience --8<---------------cut here---------------start------------->8--- To begin with, let's discuss the safety measures we have incorporated in the Replika app's user interface. [...] Therefore, during the onboarding process, we emphasize that the app is not a replacement for therapy and should not be used during a crisis. Additionally, the app has an age restriction of 18+ years. Above the input field, among the main app sections, is located a “Get Help” button. [...] This action pulls up a screen with a safety warning message. It states that Replika was not designed to provide help in a health crisis and shows the US National Suicide Prevention hotline number. If a user is a resident of a different country, we direct them to the up-to-date list of hotlines worldwide. Other categories activate pre-made scripts designed with the help of CBT therapists. These scripts guide users through the steps that help them calm down and talk through distressing emotions. Users also get redirected to these scripts within the chat if a message related to these topics is detected (we’ll talk more about this later). --8<---------------cut here---------------end--------------->8--- Mi limito a riportare le misure sull'interfaccia Quando poi l'articolo comincia a parlare di "supervised safe fine-tuning" e anche solo a paventare la possibilità che possa esse gradualmente eliminato dal training il "contenuto indesiderabile" io comincio a sentire puzza di pubblicità ingannevole lontano un chilometro. L'introduzione di "scripted response tool" paventa pure l'esercizio abusivo di professione medica, in questo caso psicologica. I narratori di Replika dovrebbero esprimersi e progettare con **molta** più moderazione ma **soprattutto** smetterla di prendere così sul serio il loro "prodotto" e piuttosto, con una minima dose di onestà intellettuale, /presentarlo/ ai clienti per quello che è: un RPG (gioco di ruolo) programmato statisticamente. La storia delle controversie attorno agli RPG [1], poi, potrebbe insegnarci qualcosa. Uso improprio dei dati personali a parte (e questo NON è poco), nessuno ha il diritto di impedire alle persone di /intrattenersi/ col gioco che preferiscono.

Contemporaneamente, c'erano meccanismi introdotti per creare dipendenza emotiva (alcuni argomenti di conversazione si sbloccavano solo collegandosi più volte nello stesso giorno).

Quello è (era?) un meccanismo nascosto dietro l'interfaccia, un altro meccanismo di dipendenza è stato recentemente introdotto attraverso la gamification della chat, il "Quest": https://blog.replika.com/posts/replika-quests --8<---------------cut here---------------start------------->8--- Quests will bring a fun gaming element to your conversations, allowing you to complete tasks, claim rewards, and, most importantly, have a blast! Brighten up the room, dress up, exchange photos, explore Coaching and Diaries, reach new levels, and earn XP together with your Replika. As you progress through each Quest, you’ll collect coins, gems, and unique gifts hidden in mysterious spheres. --8<---------------cut here---------------end--------------->8--- Io fossi nei dirigenti di Luka non dormirei la notte dopo aver spacciato Replika come "compassionate AI friend" [2] _e_ usando gamification come se non ci fosse un domani, prima o poi qualcuno potrebbe chiedere loro conto di questo https://theconversation.com/using-gaming-tactics-in-apps-raises-new-legal-is... «Using gaming tactics in apps raises new legal issues» --8<---------------cut here---------------start------------->8--- Instead of crafting new rules for trading app design, regulators can treat gamification tactics that nudge users into certain investments or trading patterns like tacit investment recommendations. To the extent these tactics work to guide clients into unsuitable investments and trading, regulators can jump into action with their existing rulebooks. Rather than creating a new category of rights for gig workers, we can recognize that gig workers who are led to act like employees, whether through gamification or other tactics, should be treated as such. [...] Calling for new rules before making full use of the ones we have isn’t just unnecessary. It’s potentially harmful. If we choose to interpret existing rules in rigid or technical ways, so that we have to create new rules for every new innovation, we’ll never catch up. As law falls further behind innovation, those who use technology to implement creative schemes for evading regulation will win out. [...] But apps shouldn’t be able to profit from shaping their users’ choices through gamification and then disclaim responsibility for these choices when regulators come knocking. Law has tools for encouraging apps to exercise the influence they wield over their users’ choices in a responsible way. We just need to use them. --8<---------------cut here---------------end--------------->8--- (Io sto ancora aspettando che Qualcuno™ applichi le regole che già ci sono... come ha fatto il garante italiano nel caso del GDPR ) Insisto: presentarlo semplicemente come un normalissimo gioco di ruolo (nel cui caso parlare di gamification sarebbe tautologico) è l'unico modo per sistemare il pasticciaccio.

In questo caso, il garante ha bloccato una truffa, più che il progresso della scienza.

https://www.garanteprivacy.it/home/docweb/-/docweb-display/docweb/9852506 --8<---------------cut here---------------start------------->8--- La società sviluppatrice statunitense, Luka Inc, oltre a dover interrompere il trattamento dei dati degli utenti italiani, deve comunicare entro 20 giorni le misure intraprese in attuazione di quanto richiesto dal Garante, pena una sanzione fino a 20 milioni di euro o fino al 4% del fatturato globale annuo. --8<---------------cut here---------------end--------------->8--- Il provvedimento completo: https://www.garanteprivacy.it/web/guest/home/docweb/-/docweb-display/docweb/... Era il 3 Febbraio: cos'è successo, hanno attuato quanto richiesto o sono stati sanzionati? Stando a quanto ho letto, ora Replika ha un meccanismo di verifica dell'età e può esseer usato solo da maggiorenni, che danno o meno il consenso al trattamento dei loro dati personali attraverso il contratto: tutto risolto quindi, Replica può tornare online in Italia? Sistemata la questione minori, tutto a posto con il seguente rilievo? --8<---------------cut here---------------start------------->8--- RILEVATO che nel sito web dello sviluppatore, nonché dei due principali “App store”, Replika viene presentata come una chatbot in grado di migliorare l’umore ad il benessere emotivo dell’utente, aiutandolo a comprendere i suoi pensieri e i suoi sentimenti, a tenere traccia del suo umore, ad apprendere capacità di coping (ossia, di controllo dello stress) a calmare l'ansia e a lavorare verso obiettivi come il pensiero positivo, la gestione dello stress, la socializzazione e la ricerca dell'amore; RITENUTO che anche tali caratteristiche, riconducibili principalmente ad interventi sull’umore della persona, possano risultare idonee ad accrescere i rischi per i soggetti fragili coinvolti; --8<---------------cut here---------------end--------------->8--- Quale autorità in Italia o EU può impedire a presentare Replika come "in grado di migliorare l'umore e il benessere emotivo dei soggetti fragili? Dopo aver presentato Replika in questo modo davvero nessuno di Lukas piò essere ritenuto /colposamente/ responsabile di incitazione al suicidio segnalato? (segue...) saluti, 380° [1] https://en.wikipedia.org/wiki/History_of_role-playing_games#Controversy [2] https://blog.replika.com/posts/building-a-compassionate-ai-friend -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Buongiorno, chiedo scusa ma mi è scappato un messaggio sostanzialmente vuoto... e chiedo scusa perché mi scappa un messaggio sostanzialmente lungo Daniela Tafani <daniela.tafani@unipi.it> writes: [...]

Quanto ai minori, ci sono paesi in cui li si affida consapevolmente a un chatbot, proprio nei casi in cui abbiano bisogno di assistenza mentale: https://www.digitalhealth.net/2022/09/wysa-ai-chatbot-teens-west-london/

oh caspita, ignoravo Wysa... e stavo meglio quando ero ignorante :-D ...comunque: parliamone. https://www.wysa.com/ è un chatbot programmato per applicare la tecnica psicoterapeutica "Cognitive Behavioral Therapy" (CBT) [1] (a altre non dichiarate?) in modo automatizzato; Wisa nelle sue FAQ [2] la presenta come "the science behind the suggested techniques" Per carità di patria stendo un velo _pietosissimo_ sulle dichiarazioni di scientificità di alcune (molte?) ricerche in campo psicologico [3]: per discutere dei problemi dell'agente automatico /facciamo finta/ che il resto del lavoro sia basato su una teoria scientifica solida. Wysa sostiene nelle FAQ [2] di essere «an artificial intelligence-based 'emotionally intelligent' service»: "emotionally intelligent" non lascia dubbi a interpretazioni, significa essere in grado di /comprendere/ e /percepire/ le emozioni. Secondo questa visione, Wysa può quindi sostituire il terapeuta umano proprio perché, come l'umano, è in grado di comprendere e percepire le emozioni del paziente. In effetti pare che Wysa sia una specie di Borg specializzato in CBT, umano e robot insieme [2]: --8<---------------cut here---------------start------------->8--- Wysa has an artificial intelligence (AI) coach, it’s a pocket penguin that learns and grows wiser with you. Wysa's human Emotional Well-being professionals are mental health professionals trained to listen, support and encourage you. Together with the Wysa AI coach, Emotional Well-being Professional will support you in achieving your defined goals. --8<---------------cut here---------------end--------------->8--- La supercazzola antanica dello "human in ze loop" raggiunge livelli sublimi. Ovviamente, siccome sanno che stanno giocando col fuoco, mettono le mani avanti: --8<---------------cut here---------------start------------->8--- However, AI Coach is restricted in the means of response and the intended usage is for providing evidence-based tools and techniques to manage emotions and encourage mental well-being in a self-help context. It is not intended for providing diagnosis, treatment, or cure of a condition or disease or disorders. AI Coach cannot and will not offer advice on unrecognizable issues. [...] Wysa is not designed to assist with crises such as abuse, severe mental health conditions that may cause feelings of suicide, harm to self and any other medical emergencies. In any of these cases and otherwise, Wysa cannot and will not offer medical or clinical advice. It can only suggest that users seek advanced and professional medical help. --8<---------------cut here---------------end--------------->8--- Fin qui non ci vuole un genio per riuscire a discriminare il segnale (poco) dal rumore (tantissimo, studiato apposta per confondersi col segnale): si tratta /molto semplicemente/ di una istanza di ELIZA [4] on steroids, roba vecchia di almeno 60 anni nel suo "core business". Lo script DOCTOR (il più famoso) che funzionava su ELIZA applicava la tecnica "Rogerian psychotherapy" [5] mentre Wysa applica la CBT, in entrambi i sistemi il terapeuta viene sostituito dalla sua /reificazione/ e a tali sistemi sono state o vengono attribuite capacità di /intelligere/ le emozioni umane. La sola differenza tra DOCTOR e Wysa è che il secondo è stato programmato statisticamente mentre il primo in MAD-SLIP (e poi in tanti altri linguaggi): dal punto di vista informatico una notevole differenza ma ancora non sufficiente a giustificare le presunte capacità di essere "emotional intelligent" attribuite a Wysa. ...anche come vengono recepiti questi sismemi non è cambiato dagli anni '60 del secolo scorso E qui veniamo alle note più /pesanti/.

<https://www.digitalhealth.net/2022/09/wysa-ai-chatbot-teens-west-london/>

Fosse solo questo (e questo è già troppo)! Il sistema sanitario britannoco lo sta adottando fare il triage automatizzato dei pazienti con possibili problemi psichiatrici https://www.wysa.com/nhs --8<---------------cut here---------------start------------->8--- This webinar shares the experience of Steps2Wellbeing (Dorset Healthcare) of using AI to reduce administration times, maximize clinical time, and improve access without increasing risk. Mayden’s Fiona Dawson will discuss the essential role that data flow and information sharing have in ensuring that - as we move toward a more digital future - we have an integrated and regulated ecosystem. [...] Wysa’s etriage for NHS talking therapy services provides faster access to support, creates a safer environment for patients and delivers more personalized care. Wysa’s AI chatbot guides patients through self-referral, releasing clinician referral admin time for care. Wysa shares real-time patient data with clinicians during the waiting period, to help identify high risk responses and flag for crisis attention via Mayden’s iaptus digital care record system. [...] Our users love Wysa. This engaging experience is what we are now bringing to the NHS. See it in action to find out how we are making talking therapies everything they should be, for both patients and clinicians. --8<---------------cut here---------------end--------------->8--- Nel Maggio 2022 Wysa ha ottenuto dalla FDA la /medaglia/ di [6] "FDA Breakthrough Device program" [7], che AFAIU fornisce una priorità nella revisione per ottenere l'approvazione. Ovviamente tutto questo è supportato da evidenza clinica basata su ricerca peer-reviewed https://www.wysa.com/clinical-evidence#5 --8<---------------cut here---------------start------------->8--- Wysa has more than 15 peer-reviewed publications in partnership with academic institutions such as Cambridge University, Harvard University and Washington University of St. Louis amongst others, demonstrating the efficacy of Wysa across multiple clinical concerns. Contact us for the entire list of our publications. --8<---------------cut here---------------end--------------->8--- Anche questo è già successo per ELIZA [8] https://link.springer.com/article/10.1007/s00146-018-0825-9 «The computational therapeutic: exploring Weizenbaum’s ELIZA as a history of the present» --8<---------------cut here---------------start------------->8--- Reporting that some psychiatrists believed the DOCTOR computer program could grow into a ‘nearly completely automatic form of psychotherapy’, Weizenbaum lamented that specialists in human to human interaction could ‘…view the simplest mechanical parody of a single interviewing technique as having captured anything of the essence of a human encounter’ (1976: 3). He concluded moreover, that such a response was only possible because the therapists concerned already had a view of the world as machine, and already thought of themselves as ‘information processor(s)’; the outlines of his engagement with behaviorism here begin to appear. [...] What is envisaged is a system where human-held principles or beliefs (for instance in justice, equality, or individual freedom) are increasingly regarded as irrelevant to the administration and/or governance of the society, or of the self. Governance is instead to be accomplished through the embedding of new mechanisms of cybernetic control that may produce resolution, and perhaps what might be termed ‘good order’, without recourse to human judgment. An over-reliance on computational logics could, in short, produce the kind of society in which failing to understand ‘what is distinctive about a human judge, or psychiatrist, what distinguishes them from a machine’ is not recognized as an obvious ‘obscenity’ (1976: 226). --8<---------------cut here---------------end--------------->8--- Toh: vuoi vedere che siamo dentro un loop ricorsivo di visione meccanicistica del mondo in cui le relazioni possono essere solo di tipo "behaviourist" (logico/comportamentalista) tra esseri umani (meat machines) alienati? (aka "The ovious obscenity") Dopotutto Time sintetizzò il pensiero di Skinner così: --8<---------------cut here---------------start------------->8--- …familiar to followers of Skinner, but startling to the uninitiated: we can no longer afford freedom, and so it must be replaced with control over man, his conduct, and his culture’. (Time, 1971). --8<---------------cut here---------------end--------------->8--- che effettivamente è (non sorprendentemente) parecchio simile all'ultimato Borg che recita --8<---------------cut here---------------start------------->8--- We are the Borg. Lower your shields and surrender your ships. We will add your biological and technological distinctiveness to our own. Your culture will adapt to service us. Resistance is futile. --8<---------------cut here---------------end--------------->8--- :-D [...] saluti, 380° [...] [1] https://en.wikipedia.org/wiki/Cognitive_behavioral_therapy [2] https://www.wysa.com/faq [3] https://en.wikipedia.org/wiki/Replication_crisis#In_psychology https://en.wikipedia.org/wiki/Cognitive_behavioral_therapy#Criticisms [4] https://en.wikipedia.org/wiki/ELIZA [5] https://en.wikipedia.org/wiki/Person-centered_therapy [6] https://blogs.wysa.io/blog/research/wysa-receives-fda-breakthrough-device-de... [7] https://www.fda.gov/medical-devices/how-study-and-market-your-device/breakth... [8] https://doi.org/10.1097%2F00005053-196602000-00005 -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.