- nexa - server-nexa.polito.it

Re: [nexa] la responsabilità per i vizi nel software (was Re: Sugli utilizzi degli LLM per scopi criminali)

by Guido Vetere

> Mi fermo qui, ma questo è quello che intendo quando parlo di > inquinamento dell'ecosistema linguistico. Ti fermi sull'orlo di un abisso davanti al quale proviamo un senso di vertigine Il cambiamento linguistico che conosciamo, oltre ad essere una conseguenza degli scambi (anche violenti, tipo le invasioni), è una retroazione dell'uso individuale (la 'parole') sul sistema socializzato (la 'langue'). Qui siamo in effetti davanti alla prospettiva di un cambiamento linguistico di tipo nuovo. Il mio 'educated guess' (del momento) è che si tratterà del collasso della 'langue' su sé stessa, di una frana nella media. A questo cambiamento non avremo da opporre che arte, poesia e creatività industriale. Intendo dire: non lo fermeremo con l'AI-act *et similia*. G. On Mon, 17 Apr 2023 at 23:48, Alberto Cammozzo via nexa < nexa(a)server-nexa.polito.it> wrote: > Buona sera Giovanni, > > credo che la responsabilità maggiore sia indiscutibilmente del > management che progetta la macchina per specifici fini, specie > illegittimi, più di chi la realizza nel codice. > > Va ricordato però che una condotta illegale anche se in esecuzione di > ordine dato da un superiore gerarchico non esime dalla responsabilità, > se chi lo esegue è in possesso delle necessarie cognizioni tecniche per > avvedersi della illiceità. > > Chi ha realizzato i dispositivi di Google Street view che raccoglievano > dati delle reti wifi e relativi payload sapeva di realizzare un > corporate wardriving. > Chi ha modificato le centraline dei diesel VW per superare i test non > poteva non sapere cosa stesse facendo. > Che 'obbedisse agli ordini' senza condividerli o condividesse le > intenzioni del management può al massimo costituire una attenuante o > aggravante. > > Chi programma non è esente da responsabilità, e molti whistleblowers si > sono esposti per non condividere nemmeno la responsabilità morale. > > Come non penso che queste tecniche siano intrinsecamente malvagie, così > non penso nemmeno che ne vada censurato l'insegnamento o la ricerca, > anzi, va approfondita per limitarne al massimo la perniciosità. Nel > frattempo ne va limitata l'applicazione indiscriminata fino a che non si > sarà capito cosa va fatto con i dati in input e con gli output, per > rispettare chi li ha prodotti ed evitare l'inquinamento dello spazio > comunicativo umano. > > > Data la capacità produttiva degli LLM e la fulminea adozione globale, > molto presto vedremo che gli output automatici o ibridi supereranno in > volume quelli puramente umani e entreranno nei dati di training degli > LLM delle generazioni successive. Già ora non abbiamo certezza che una > pagina web abbia origine umana, tra non molto avremo interi siti si spam > molto ben scritto generati automaticamente, per favorire le economie dei > backlink (fenomeno già in atto [1]). > > Questo di sicuro perturberà i criteri SEO e i motori di ricerca, ma > quello che mi preoccupa di più è immaginare cosa accadrà allora alla > lingua. Verosimilmente con LLM autofertilizzanti (che producono più > testi di quanto ne consumano) si amplificheranno gli effetti di > allucinazione e le derive, quelle sì evolutive: assisteremo a una > proliferazione di testi con caratteristiche progressivamente proprie e > singolari, distanti dalla lingua usata comunemente dagli umani? Oppure i > padroni del web correranno ai ripari e le contromisure privilegeranno i > testi dei siti 'affidabili'? > > Mi fermo qui, ma questo è quello che intendo quando parlo di > inquinamento dell'ecosistema linguistico. > > Ciao, > > Alberto > > [1] <https://herman.bearblog.dev/the-chatgpt-vs-bear-blog-spam-war/> > > > On 17/04/23 17:01, 380° wrote: > > Buongiorno Alberto > > > > Alberto Cammozzo via nexa <nexa(a)server-nexa.polito.it> writes: > > > > [...] > > > >> L'oggetto di per se non è responsabile di nulla, ma i vari attori che > >> costruiscono l'ecosistema del suo impiego lo sono: chi > >> progetta/programma/vende/impiega, ciascuno per la parte di azione > >> compiuta attraverso la macchina che gli compete. > > Sì ma analizziamo bene quale /azione/ ciascun attore compie e la > > relativa responsabilità che gli compete: che responsabilità ha chi > > definisce le specifiche? E chi programma il software? E chi lo propone > > al /mercato/ sotto forma di servizio adatto a uno scopo? > > > > Nel caso del LLM programmato statisticamente secondo le specifiche > > derivate dalle teorie della "Cognitive Behavioral Therapy" usato in > > Wysa, la responsabilità di esercizio abusivo di professione (giudizio > > mio) è dei programmatori? É di chi ha sviluppato lo specifico LLM? > > > > [...] > > > >> L'industria del software ha sempre sfuggito tale responsabilità (vedasi > >> i vari /standard disclaimers/ e l'argomento del "tech exceptionalism"). > >> > >> All'aumentare degli effetti sul mondo, chi progetta e vende queste > >> tecnologie non può esimersi dal considerarsi in una ragionevole misura > >> responsabile dei possibili impieghi di ciò che costruisce. > > Non nego che il software includa anche (soprattutto!) l'"intenzione > > politica" di chi lo /progetta/, ma vogliamo davvero fare un "processo > > alle intenzioni"? > > > > Se seguissimo fino in fondo questo ragionamento dovremmo seriamente > > pensare di chiamare /in giudizio/ "la scienza" (pseudoscienza?) che è > > alla base della progettazione dello specifico software (e non solo del > > software, ovviamente). > > > > «L’arte e la scienza sono libere e libero ne è l’insegnamento», per cui > > non credo sia il caso di perseguire questa strada assai pericolosa, così > > come non credo sia il caso di perseguire la strada opposta e altrettanto > > pericolosa di negare i diritti costituzionali in nome della libertà di > > ricerca o della asserita scientificità di alcune determinazioni. > > > > Se non c'è dolo o colpa grave [1] a nessuno sviluppatore software può > > essere chiesto conto dell'adeguatezza a tutti i possibili /impieghi/, a > > volte criminali, di ciò che ha sviluppato. (Lo stesso dovrebbe valere > > anche per gli scienziati, ma limitiamoci al software) > > > > É per quello che praticamente tutte le licenze d'uso (contratti > > _atipici_) del software contengono una clausola di "assenza di garanzia" > > o di "esclusione di responsabilità" [2] > > > > Anche nei contratti di sviluppo software c'è una piuttosto consolidata > > giurisprudenza (o solo prassi?) in merito alle garanzie con le quali > > tutelare l'acquirente in caso di presenza di vizi nel software [3]: > > > > --8<---------------cut here---------------start------------->8--- > > > > Nel caso dei contratti di appalto [...] il committente deve denunciare > > tali vizi all'appaltatore entro sessanta giorni dalla scoperta per > > godere della garanzia. Nel caso in cui il committente abbia accettato > > l'opera e le difformità o i vizi erano da lui conosciuti o erano > > facilmente riconoscibili, previa buona fede dell'appaltatore, non si può > > avvalere della garanzia. > > > > Nel caso in cui il contratto di sviluppo di software sia riconducibile > > ad un contratto di opera intellettuale, allora l'appaltatore non > > risponde della garanzia se non si verifica un caso di dolo o colpa > > grave. > > > > --8<---------------cut here---------------end--------------->8--- > > > > Sottolineo: «Nel caso in cui [...] i vizi [...] erano facilmente > > riconoscibili [...] non si può avvalere della garanzia.» > > > > Non è allo sviluppatore software che bisogna chiedere conto degli > > (ab)usi che vengono fatti del software che ha programmato, non è lui che > > decide che quel software, ANCHE SE (probabilmente) CONTIENE VIZI, viene > > utilizzato impropriamente e _soprattutto_ senza adeguate misure per > > minimizzare il rischio. > > > > Casomai, è l'utilizzatore del software che dovrà dimostrare al giudice > > (c'è un giudice?!?...) di aver condotto adeguate analisi di adeguatezza > > all'utilizzo, una adeguata analisi dei rischi e di aver adottato misure > > adeguate per minimizzare (al massimo possibile secondo lo stato > > dell'arte) i rischi residui non eliminabili. > > > > Ecco le parole magiche "minimizzare i rischi non eliminabili con misure > > adeguate", potendolo dimostrare /documentalmente/. > > > > Così si comincia a ragionare. O no? > > > > Poi, io voglio proprio vedere come può fare l'utilizzatore del software > > a condurre una l'analisi dei rischi senza poter analizzare il software > > (o almeno avvalersi di analisi pubbliche di terze parti) perché lo ha a > > disposizione solo in formato binario... o perché è una scatola nera > > "inesplicabile". > > > > Poi, non c'è solo la responsabilità da prodotto o servizio, c'è anche la > > pubblicità ingannevole... ma andrei OT e mi fermo qui > > > > [...] > > > > saluti, 380° > > > > > > > > [1] che sono da provare /in giudizio/, non possono essere > > pre-determinati anticipatamente, ovviamente > > > > [2] > https://it.wikiversity.org/wiki/Tutela_dei_beni_informatici_(software,_data…'uso > > > > [3] > https://it.wikiversity.org/wiki/Tutela_dei_beni_informatici_(software,_data… > > > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

April 18, 2023

Re: [nexa] la responsabilità per i vizi nel software (was Re: Sugli utilizzi degli LLM per scopi criminali)

by Alberto Cammozzo

Buona sera Giovanni, credo che la responsabilità maggiore sia indiscutibilmente del management che progetta la macchina per specifici fini, specie illegittimi, più di chi la realizza nel codice. Va ricordato però che una condotta illegale anche se in esecuzione di ordine dato da un superiore gerarchico non esime dalla responsabilità, se chi lo esegue è in possesso delle necessarie cognizioni tecniche per avvedersi della illiceità. Chi ha realizzato i dispositivi di Google Street view che raccoglievano dati delle reti wifi e relativi payload sapeva di realizzare un corporate wardriving. Chi ha modificato le centraline dei diesel VW per superare i test non poteva non sapere cosa stesse facendo. Che 'obbedisse agli ordini' senza condividerli o condividesse le intenzioni del management può al massimo costituire una attenuante o aggravante. Chi programma non è esente da responsabilità, e molti whistleblowers si sono esposti per non condividere nemmeno la responsabilità morale. Come non penso che queste tecniche siano intrinsecamente malvagie, così non penso nemmeno che ne vada censurato l'insegnamento o la ricerca, anzi, va approfondita per limitarne al massimo la perniciosità. Nel frattempo ne va limitata l'applicazione indiscriminata fino a che non si sarà capito cosa va fatto con i dati in input e con gli output, per rispettare chi li ha prodotti ed evitare l'inquinamento dello spazio comunicativo umano. Data la capacità produttiva degli LLM e la fulminea adozione globale, molto presto vedremo che gli output automatici o ibridi supereranno in volume quelli puramente umani e entreranno nei dati di training degli LLM delle generazioni successive. Già ora non abbiamo certezza che una pagina web abbia origine umana, tra non molto avremo interi siti si spam molto ben scritto generati automaticamente, per favorire le economie dei backlink (fenomeno già in atto [1]). Questo di sicuro perturberà i criteri SEO e i motori di ricerca, ma quello che mi preoccupa di più è immaginare cosa accadrà allora alla lingua. Verosimilmente con LLM autofertilizzanti (che producono più testi di quanto ne consumano) si amplificheranno gli effetti di allucinazione e le derive, quelle sì evolutive: assisteremo a una proliferazione di testi con caratteristiche progressivamente proprie e singolari, distanti dalla lingua usata comunemente dagli umani? Oppure i padroni del web correranno ai ripari e le contromisure privilegeranno i testi dei siti 'affidabili'? Mi fermo qui, ma questo è quello che intendo quando parlo di inquinamento dell'ecosistema linguistico. Ciao, Alberto [1] <https://herman.bearblog.dev/the-chatgpt-vs-bear-blog-spam-war/> On 17/04/23 17:01, 380° wrote: > Buongiorno Alberto > > Alberto Cammozzo via nexa <nexa(a)server-nexa.polito.it> writes: > > [...] > >> L'oggetto di per se non è responsabile di nulla, ma i vari attori che >> costruiscono l'ecosistema del suo impiego lo sono: chi >> progetta/programma/vende/impiega, ciascuno per la parte di azione >> compiuta attraverso la macchina che gli compete. > Sì ma analizziamo bene quale /azione/ ciascun attore compie e la > relativa responsabilità che gli compete: che responsabilità ha chi > definisce le specifiche? E chi programma il software? E chi lo propone > al /mercato/ sotto forma di servizio adatto a uno scopo? > > Nel caso del LLM programmato statisticamente secondo le specifiche > derivate dalle teorie della "Cognitive Behavioral Therapy" usato in > Wysa, la responsabilità di esercizio abusivo di professione (giudizio > mio) è dei programmatori? É di chi ha sviluppato lo specifico LLM? > > [...] > >> L'industria del software ha sempre sfuggito tale responsabilità (vedasi >> i vari /standard disclaimers/ e l'argomento del "tech exceptionalism"). >> >> All'aumentare degli effetti sul mondo, chi progetta e vende queste >> tecnologie non può esimersi dal considerarsi in una ragionevole misura >> responsabile dei possibili impieghi di ciò che costruisce. > Non nego che il software includa anche (soprattutto!) l'"intenzione > politica" di chi lo /progetta/, ma vogliamo davvero fare un "processo > alle intenzioni"? > > Se seguissimo fino in fondo questo ragionamento dovremmo seriamente > pensare di chiamare /in giudizio/ "la scienza" (pseudoscienza?) che è > alla base della progettazione dello specifico software (e non solo del > software, ovviamente). > > «L’arte e la scienza sono libere e libero ne è l’insegnamento», per cui > non credo sia il caso di perseguire questa strada assai pericolosa, così > come non credo sia il caso di perseguire la strada opposta e altrettanto > pericolosa di negare i diritti costituzionali in nome della libertà di > ricerca o della asserita scientificità di alcune determinazioni. > > Se non c'è dolo o colpa grave [1] a nessuno sviluppatore software può > essere chiesto conto dell'adeguatezza a tutti i possibili /impieghi/, a > volte criminali, di ciò che ha sviluppato. (Lo stesso dovrebbe valere > anche per gli scienziati, ma limitiamoci al software) > > É per quello che praticamente tutte le licenze d'uso (contratti > _atipici_) del software contengono una clausola di "assenza di garanzia" > o di "esclusione di responsabilità" [2] > > Anche nei contratti di sviluppo software c'è una piuttosto consolidata > giurisprudenza (o solo prassi?) in merito alle garanzie con le quali > tutelare l'acquirente in caso di presenza di vizi nel software [3]: > > --8<---------------cut here---------------start------------->8--- > > Nel caso dei contratti di appalto [...] il committente deve denunciare > tali vizi all'appaltatore entro sessanta giorni dalla scoperta per > godere della garanzia. Nel caso in cui il committente abbia accettato > l'opera e le difformità o i vizi erano da lui conosciuti o erano > facilmente riconoscibili, previa buona fede dell'appaltatore, non si può > avvalere della garanzia. > > Nel caso in cui il contratto di sviluppo di software sia riconducibile > ad un contratto di opera intellettuale, allora l'appaltatore non > risponde della garanzia se non si verifica un caso di dolo o colpa > grave. > > --8<---------------cut here---------------end--------------->8--- > > Sottolineo: «Nel caso in cui [...] i vizi [...] erano facilmente > riconoscibili [...] non si può avvalere della garanzia.» > > Non è allo sviluppatore software che bisogna chiedere conto degli > (ab)usi che vengono fatti del software che ha programmato, non è lui che > decide che quel software, ANCHE SE (probabilmente) CONTIENE VIZI, viene > utilizzato impropriamente e _soprattutto_ senza adeguate misure per > minimizzare il rischio. > > Casomai, è l'utilizzatore del software che dovrà dimostrare al giudice > (c'è un giudice?!?...) di aver condotto adeguate analisi di adeguatezza > all'utilizzo, una adeguata analisi dei rischi e di aver adottato misure > adeguate per minimizzare (al massimo possibile secondo lo stato > dell'arte) i rischi residui non eliminabili. > > Ecco le parole magiche "minimizzare i rischi non eliminabili con misure > adeguate", potendolo dimostrare /documentalmente/. > > Così si comincia a ragionare. O no? > > Poi, io voglio proprio vedere come può fare l'utilizzatore del software > a condurre una l'analisi dei rischi senza poter analizzare il software > (o almeno avvalersi di analisi pubbliche di terze parti) perché lo ha a > disposizione solo in formato binario... o perché è una scatola nera > "inesplicabile". > > Poi, non c'è solo la responsabilità da prodotto o servizio, c'è anche la > pubblicità ingannevole... ma andrei OT e mi fermo qui > > [...] > > saluti, 380° > > > > [1] che sono da provare /in giudizio/, non possono essere > pre-determinati anticipatamente, ovviamente > > [2] https://it.wikiversity.org/wiki/Tutela_dei_beni_informatici_(software,_data…'uso > > [3] https://it.wikiversity.org/wiki/Tutela_dei_beni_informatici_(software,_data… >

April 17, 2023

Proprietà emergenti e dove trovarle

by Daniela Tafani

One AI program spoke in a foreign language it was never trained to know. This mysterious behavior, called emergent properties, has been happening – where AI unexpectedly teaches itself a new skill https://nitter.snopyta.org/60Minutes/status/1647742247444553732 Sundar Pichai: [...] Of the AI issues we talked about, the most mysterious is called emergent properties. Some AI systems are teaching themselves skills that they weren't expected to have. How this happens is not well understood. For example, one Google AI program adapted, on its own, after it was prompted in the language of Bangladesh, which it was not trained to know. <https://nitter.snopyta.org/60Minutes/status/1647742247444553732>https://www.cbsnews.com/news/google-artificial-intelligence-future-60-minut… <https://nitter.snopyta.org/60Minutes/status/1647742247444553732> Qui Margaret Mitchell smaschera l'imbroglio: https://nitter.snopyta.org/mmitchell_ai/status/1648029417497853953

April 17, 2023

Re: [nexa] China to require ‘security assessment’ for new AI products

by Norberto Patrignani

Caro Enrico, concordo pienamente con la tua connessione tra "computer professionals" e "social responsibility": >In effetti, forse la comunità "in-the-large" degli informatici dovrebbe smettere di "indossare i calzoni corti" ed assumersi le responsabilità per i propri prodotti come accade >negli altri settori tecnologici una volta c'era anche una fantastica organizzazione "Computer Professionals for Social Responsibility" purtroppo "dissolved" nel 2013 https://en.wikipedia.org/wiki/Computer_Professionals_for_Social_Responsibil… da quella straordinaria avventura sono pero' nate molte storie che continuano, per esempio nel ACM Code of Ethics, aggiornato nel 2018, che indica al punto 2.9: "In cases where misuse or harm are predictable or unavoidable, the best option may be to not implement the system." https://www.acm.org/code-of-ethics Come membro dell'ACM Committee on Professional Ethics ricordo le lunghe e interessanti discussioni sulla necessita' anche per gli informatici di "assumersi le responsabilita' dei propri prodotti" (come suggerisci tu) nella tua mail. Sullo stesso tema anche questa e' una lettura interessante: Deborah G.Johnson (2008). Computer Experts: Guns-For-Hire or Professionals? Communications of the ACM, October 2008, Vol. 51 No. 10, Pages 24-26. scusate per la lunghezza ... un caro saluto, Norberto ________________________________ From: nexa <nexa-bounces(a)server-nexa.polito.it> on behalf of Enrico Nardelli <nardelli(a)mat.uniroma2.it> Sent: Sunday, April 16, 2023 10:52 PM To: nexa(a)server-nexa.polito.it <nexa(a)server-nexa.polito.it> Subject: Re: [nexa] China to require ‘security assessment’ for new AI products Sono d'accordo con te Stefano. Ero consapevole dell'eccezione costituita dal software ma non volevo complicare il ragionamento. In effetti, forse la comunità "in-the-large" degli informatici dovrebbe smettere di "indossare i calzoni corti" ed assumersi le responsabilità per i propri prodotti come accade negli altri settori tecnologici, per lo meno in quei casi in cui il prodotto software viene venduto o dato in licenza. (Se ti regalo una macchina rotta non ha senso che ti lamenti che sia rotta se ti ho avvisato che potrebbe essere rotta). Mi è chiaro l'enorme impatto (non solo economico) di un'affermazione di questo genere ma, per stemperare l'osservazione con una battuta, se vogliamo essere chiamati "ingegneri del software" dobbiamo fare gli ingegneri veri, che (normalmente) vanno in galera se il palazzo che hanno costruito crolla perché non hanno verificato adeguatamente i calcoli. Diciamo che in questo ambito l'arrivo di ChatGPT è stato il bambino è che ha gridato "il re è nudo" ... Ciao, Enrico Il 16/04/2023 18:09, Stefano Zacchiroli ha scritto: On Sun, Apr 16, 2023 at 12:13:20PM +0200, Enrico Nardelli wrote: QUALUNQUE altro prodotto immesso nell'uso pubblico DEVE soddisfare requisiti di sicurezza. ... tranne il software. Certamente ci sarà qualche requisito che si applica in automatico anche al software --- e mi appello anche io ai giuristi in lista per precisarlo --- ma la barra di accesso al mercato del software è bassissima. Di default, chiunque può pubblicare prodotti software su svariati app store senza alcun controllo a monte (salvo quelli automatici implementati dagli app store dei vari GAFAM). Il CRA (Cyber Resilience Act) europeo va nella direzione di aggiungere tali controlli, sotto forma di (auto-)certificazioni e questo ha provocato una sollevata di scudi da parte del mondo free/open source software. (Ne abbiamo già parlato separatamente in lista.) Dico questo non per controbattere al tuo argomento, Enrico, che trovo in se ragionevole. Ma per osservare che qui siamo anche perché per decenni l'industria del software (compresa quella FOSS!, fatta anche di volontari/ non-profit/ etc. che non potrebbero permettersi l'overhead dei controlli) è fiorita grazie all'assenza dei controlli che ora si invocano. Trovare un giusto mezzo tra lo status quo ed il desiderio di regolamentare prodotti "che contengono AI" non sarà affatto banale. Saluti a tutti -- -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html [cid:part1.txthVD5p.SGc078mC@mat.uniroma2.it] ====================================================== Prof. Enrico Nardelli Presidente di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli(a)mat.uniroma2.it<mailto:nardelli@mat.uniroma2.it> online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================== --

April 17, 2023

Tomorrow, launch of the European Centre for Algorithmic Transparency

by Alessandro Brolpito

Buonasera, Per chi fosse interessato, domani, in streaming Alessandro https://algorithmic-transparency.ec.europa.eu/presenting-ecat_en

April 17, 2023

Re: [nexa] la responsabilità per i vizi nel software (was Re: Sugli utilizzi degli LLM per scopi criminali)

by Marco A. Calamari

On lun, 2023-04-17 at 17:01 +0200, 380° wrote: > Buongiorno Alberto > > Alberto Cammozzo via nexa <nexa(a)server-nexa.polito.it> writes: > > [...] > > > L'oggetto di per se non è responsabile di nulla, ma i vari attori che > > costruiscono l'ecosistema del suo impiego lo sono: chi > > progetta/programma/vende/impiega, ciascuno per la parte di azione > > compiuta attraverso la macchina che gli compete. > > Sì ma analizziamo bene quale /azione/ ciascun attore compie e la > relativa responsabilità che gli compete: che responsabilità ha chi > definisce le specifiche? E chi programma il software? E chi lo propone > al /mercato/ sotto forma di servizio adatto a uno scopo? ... > Poi, io voglio proprio vedere come può fare l'utilizzatore del software > a condurre una l'analisi dei rischi senza poter analizzare il software > (o almeno avvalersi di analisi pubbliche di terze parti) perché lo ha a > disposizione solo in formato binario... o perché è una scatola nera > "inesplicabile". > > Poi, non c'è solo la responsabilità da prodotto o servizio, c'è anche la > pubblicità ingannevole... ma andrei OT e mi fermo qui ... Non è assolutamente OT IMHO. "Pubblicità ingannevole" su questa scala è "Campagna di disinformazione di massa" E siamo tornati alle preoccupazioni contingenti che io ed alcuni altri esprimiamo per l'uso e la propaganda che si fa dei LLM qui ed ora. Giusto per far notare che alla fine, almeno qui in lista, c'è molto più accordo che disaccordo Marco

April 17, 2023

la responsabilità per i vizi nel software (was Re: Sugli utilizzi degli LLM per scopi criminali)

by 380°

Buongiorno Alberto Alberto Cammozzo via nexa <nexa(a)server-nexa.polito.it> writes: [...] > L'oggetto di per se non è responsabile di nulla, ma i vari attori che > costruiscono l'ecosistema del suo impiego lo sono: chi > progetta/programma/vende/impiega, ciascuno per la parte di azione > compiuta attraverso la macchina che gli compete. Sì ma analizziamo bene quale /azione/ ciascun attore compie e la relativa responsabilità che gli compete: che responsabilità ha chi definisce le specifiche? E chi programma il software? E chi lo propone al /mercato/ sotto forma di servizio adatto a uno scopo? Nel caso del LLM programmato statisticamente secondo le specifiche derivate dalle teorie della "Cognitive Behavioral Therapy" usato in Wysa, la responsabilità di esercizio abusivo di professione (giudizio mio) è dei programmatori? É di chi ha sviluppato lo specifico LLM? [...] > L'industria del software ha sempre sfuggito tale responsabilità (vedasi > i vari /standard disclaimers/ e l'argomento del "tech exceptionalism"). > > All'aumentare degli effetti sul mondo, chi progetta e vende queste > tecnologie non può esimersi dal considerarsi in una ragionevole misura > responsabile dei possibili impieghi di ciò che costruisce. Non nego che il software includa anche (soprattutto!) l'"intenzione politica" di chi lo /progetta/, ma vogliamo davvero fare un "processo alle intenzioni"? Se seguissimo fino in fondo questo ragionamento dovremmo seriamente pensare di chiamare /in giudizio/ "la scienza" (pseudoscienza?) che è alla base della progettazione dello specifico software (e non solo del software, ovviamente). «L’arte e la scienza sono libere e libero ne è l’insegnamento», per cui non credo sia il caso di perseguire questa strada assai pericolosa, così come non credo sia il caso di perseguire la strada opposta e altrettanto pericolosa di negare i diritti costituzionali in nome della libertà di ricerca o della asserita scientificità di alcune determinazioni. Se non c'è dolo o colpa grave [1] a nessuno sviluppatore software può essere chiesto conto dell'adeguatezza a tutti i possibili /impieghi/, a volte criminali, di ciò che ha sviluppato. (Lo stesso dovrebbe valere anche per gli scienziati, ma limitiamoci al software) É per quello che praticamente tutte le licenze d'uso (contratti _atipici_) del software contengono una clausola di "assenza di garanzia" o di "esclusione di responsabilità" [2] Anche nei contratti di sviluppo software c'è una piuttosto consolidata giurisprudenza (o solo prassi?) in merito alle garanzie con le quali tutelare l'acquirente in caso di presenza di vizi nel software [3]: --8<---------------cut here---------------start------------->8--- Nel caso dei contratti di appalto [...] il committente deve denunciare tali vizi all'appaltatore entro sessanta giorni dalla scoperta per godere della garanzia. Nel caso in cui il committente abbia accettato l'opera e le difformità o i vizi erano da lui conosciuti o erano facilmente riconoscibili, previa buona fede dell'appaltatore, non si può avvalere della garanzia. Nel caso in cui il contratto di sviluppo di software sia riconducibile ad un contratto di opera intellettuale, allora l'appaltatore non risponde della garanzia se non si verifica un caso di dolo o colpa grave. --8<---------------cut here---------------end--------------->8--- Sottolineo: «Nel caso in cui [...] i vizi [...] erano facilmente riconoscibili [...] non si può avvalere della garanzia.» Non è allo sviluppatore software che bisogna chiedere conto degli (ab)usi che vengono fatti del software che ha programmato, non è lui che decide che quel software, ANCHE SE (probabilmente) CONTIENE VIZI, viene utilizzato impropriamente e _soprattutto_ senza adeguate misure per minimizzare il rischio. Casomai, è l'utilizzatore del software che dovrà dimostrare al giudice (c'è un giudice?!?...) di aver condotto adeguate analisi di adeguatezza all'utilizzo, una adeguata analisi dei rischi e di aver adottato misure adeguate per minimizzare (al massimo possibile secondo lo stato dell'arte) i rischi residui non eliminabili. Ecco le parole magiche "minimizzare i rischi non eliminabili con misure adeguate", potendolo dimostrare /documentalmente/. Così si comincia a ragionare. O no? Poi, io voglio proprio vedere come può fare l'utilizzatore del software a condurre una l'analisi dei rischi senza poter analizzare il software (o almeno avvalersi di analisi pubbliche di terze parti) perché lo ha a disposizione solo in formato binario... o perché è una scatola nera "inesplicabile". Poi, non c'è solo la responsabilità da prodotto o servizio, c'è anche la pubblicità ingannevole... ma andrei OT e mi fermo qui [...] saluti, 380° [1] che sono da provare /in giudizio/, non possono essere pre-determinati anticipatamente, ovviamente [2] https://it.wikiversity.org/wiki/Tutela_dei_beni_informatici_(software,_data…'uso [3] https://it.wikiversity.org/wiki/Tutela_dei_beni_informatici_(software,_data… -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

April 17, 2023

Re: [nexa] ChatGPT disabled for users in Italy

by Enrico Nardelli

Caro Guido a me pare che la maggior parte di chi è intervenuto in questo dibattito ha un'idea abbastanza precisa di cosa sono in grado di esibire sistemi tipo ChatGPT & Co. : competenze che appaiono sovrapponibili in alcuni casi (p.es.: superamento di test) a quelle degli esseri umani, e al tempo stesso tendenza a inventare, "allucinare". E ritengo che sia anche abbastanza chiaro a tutti che questo viene raggiunto attraverso meccanismi probabilistici messi a punto mediante analisi statistiche estremamente sofisticate condotte su quantità enormi di dati (e su quantità ignote di lavoro umano sotto pagato) Quello che varia, ma è "il dettaglio che fa la differenza", sono, almeno, i seguenti tre elementi: 1. se le competenze siano o no segno di comprensione (nel senso che noi umani diamo a questa parola) del dominio in cui tale competenza viene esibita (punto che avevo sollevato tempo addietro richiamando l'esperimento mentale della "stanza cinese" di Searle) 2. se le allucinazioni (che sono un costo, un aspetto negativo) siano tutto sommato trascurabili, in termini di impatto sociale, rispetto ai benefici 3. se sia corretto consentire l'accesso al pubblico di tali sistemi, che al momento attuale appaiono contravvenire (non solo in Italia) a norme di legge, mentre vengono messi a punto alcuni correttivi Per me le risposte sono tre NO. Mentre i punti 2. e 3. sono sostanzialmente di natura sociale, quindi politica (che visione della società abbiamo? quanta tutela e quanta competizione?) il punto 1. è di natura più tecnica e penso sia quello più "appassionante" per informatici e filosofi in lista... d'altro canto ne stiamo discutendo da una cinquantina d'anni - decennio più o decenniomeno... :-) Sul fatto che sia opportuno continuare a fare ricerca in quest'ambito mi pare ci sia un sostanziale convergenza. Così come sul fatto che sia necessario avere maggiore trasparenza sui meccanismi dello sviluppo e addestramento di questi sistemi. Ciao, Enrico Il 17/04/2023 09:20, Guido Vetere ha scritto: > Caro Enrico, > non si tratta di 'ipse-dixit', figuriamoci. Ma mi sembra che su questi LLM ci sia qualche problema di 'literacy', visto che alcuni insistono nel pensarli come database un po' strani. > Si potrebbe allora chiedere a una persona competente di spiegarli per bene, e secondo me Beppe è il più titolato tra noi. > Nel merito dello scambio che riporti, forse si tratta solo di 'nuances', ma fa bene Beppe a sgombrare il campo dall'immagine del 'pappagallo' che ricombina frammenti di frasi udite. No: GPT inventa di sana pianta. Dove può aver sentito ad esempio che io avrei scritto il romanzo "Il collezionista di venti" (2017), che non si trova neanche su Amazon? > > G. > > > On Mon, 17 Apr 2023 at 01:11, 380° <g380(a)biscuolo.net> wrote: > > Buongiorno, > > Enrico Nardelli <nardelli(a)mat.uniroma2.it> writes: > > > premesso che ammiro e rispetto Beppe Attardi che è certamente > > estremamente competente in termini di IA, se con "dare ascolto" > > intendi "credere", beh > > [...] > > > Insomma, se il dibattito deve essere di livello scientifico elevato, > > mi permetto di far notare che il dibattito in (nel/di) merito a quanto > /in oggetto/ (i rilievi del Garante...) più che scientifico (diciamo > _tecnico_, eh?!?) è di carattere giuridico [1], anche se in questo > thread si è entrati /anche/ nel merito tecnico > > > più che appellarci alla "auctoritas" dobbiamo essere rigorosi, attenti > > e consistenti nella lettura degli altri e nell'esposizione delle > > nostre riflessioni. > > e come diceva Marco Calamari in altro thread: «Il tempo è la risorsa più > limitata al mondo.», quindi ci costa fatica, ma è indispensabile almeno > /tentare/ di farlo se si vuole davvero confrontarsi > > ...anche perché, altrimenti, io dovrei davvero limitarmi solo a leggere > e starmene zitto, ma siccome credo che confrontarsi su queste cose sia > il modo migliore di esercitare la propria "cittadinanza digitale", mi > ostino :-) > > [...] > > saluti, 380° > > > > [1] voi non avete idea di quanto mi senta **stupido** a illudermi che > possa essere davvero così, visto che siamo nell'era in cui la scienza > stabilisce cos'è giusto o cos'è sbagliato in /tutto/ > > -- > 380° (Giovanni Biscuolo public alter ego) > > «Noi, incompetenti come siamo, > non abbiamo alcun titolo per suggerire alcunché» > > Disinformation flourishes because many people care deeply about injustice > but very few check the facts. Ask me about <https://stallmansupport.org>. > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > -- -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Presidente di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli(a)mat.uniroma2.it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================== --

April 17, 2023

105° Nexa Lunch Seminar | 26 aprile 2023, ore 13.00

by Nexa Media

Gentilissime, gentilissimi, Vi invitiamo a partecipare al *105° Nexa Lunch Seminar *che si terrà *mercoledì 26 aprile*, dalle ore 13.00 alle ore 14.00, con un incontro dal titolo /*"Ideal technologies, ideal women. Looking at Redditors' AI and gender imaginaries of the Replika chatbot"*/. Ospite dell'incontro: *Iliana Depounti* (University of Loughborough). _L'incontro si terrà IN PRESENZA e ONLINE._ _SEDE FISICA_ dell'incontro: Centro Nexa su Internet e Società, Politecnico di Torino, Via Boggio 65/a, Torino (1° piano). Per accedere alla sala si raccomanda di suonare al citofono *Portineria* e di seguire le indicazioni segnalate dai cartelli lungo il percorso. QUI <https://nexa.polito.it/contatti> maggiori informazioni su come raggiungerci. _STANZA VIRTUALE _dell'incontro: https://didattica.polito.it/VClass/NexaEvent Di seguito maggiori dettagli: Nexa Center for Internet and Society Newsletter Se non visualizzi correttamente questo messaggio clicca qui <https://nexa.polito.it/lunch-105> NEXA 105° Nexa Lunch Seminar Mercoledì 26 aprile 2022, ore 13.00 - 14.00 https://nexa.polito.it/lunch-105 Ideal technologies, ideal women. Looking at Redditors’ AI and gender imaginaries of the Replika chatbot Speaker: *ILIANA DEPOUNTI* (University of Loughborough) *L'INCONTRO SI TERRÀ IN PRESENZA E ONLINE* *SEDE FISICA*: Centro Nexa su Internet e Società, Politecnico di Torino, Via Boggio 65/a, Torino (1° piano) Suonare al citofono "Portineria" - Seguire le indicazioni segnalate dai cartelli apposti lungo il percorso (Per maggiori informazioni su come raggiungerci clicca QUI <https://nexa.polito.it/contatti>) *STANZA VIRTUALE*: https://didattica.polito.it/VClass/NexaEvent There is extensive literature on *how expectations and imaginaries about artificial intelligence (AI) guide media and policy discussions*. However, it has not been considered how such imaginaries are activated when users interact with AI technologies. In this presentation, I present findings of a study on *how users on a subreddit discussed ‘training’ their Replika bot girlfriend*. The discussions featured two discursive themes that focused on the *AI imaginary of ideal technology and the gendered imaginary of the ideal bot girlfriend*. Users expected their *AI Replikas* to both be customizable to serve their needs and to have a human-like or sassy mind of their own and not spit out machine-like answers. Users thus projected dominant notions of *male control over technology and women*, mixed with AI and postfeminist fantasies of ostensible independence onto the interactional agents and activated similar scripts embedded in the devices. The vicious feedback loop consolidated dominant scripts on gender and technology whilst appearing novel and created by users. While most research on the use of AI is conducted in applied computer science to improve user experience, this article outlines a *media and cultural studies lens for a critical understanding of these emerging technologies* as they become embedded in communication and meaning-making. BIOGRAFIA - e informazioni supplementari: [Lunch105] *Iliana DEPOUNTI* is an ESRC PhD researcher in Media and Sociology at the University of Loughborough, UK. Iliana holds a BA in Communication from the American College of Greece, an MA in Digital Media Management from Birkbeck University, London and an MSc in Social Science Research from Loughborough University. Her PhD is about care and companionship with robots and she focuses her research on the AI companion chatbot app Replika. In her PhD she uses science and technology studies, cultural studies and sociology to analyze the interpretative flexibility of technological products. Iliana’s research interests lie in AI, robots, human-machine communication, gender, care and consumer culture. *Letture consigliate e link utili:* * https://replika.com/ * Natale S. (2021), /Deceitful Media : Artificial Intelligence and Social Life After the Turing Test/, New York, NY: Oxford University Press. * Saukko P (2018) Digital health: A new medical cosmology? The case of 23andMe online genetic testing platform. /Sociology of Health & Illness/, 40(8): 312–1326. * Leyda J (2016) Cute twenty-first-century post-fembots. In: Dale JP, Goggin J, Leyda J, et al. (eds) /The Aesthetics and Affects of Cuteness/, New York, NY: Routledge, pp.161–184. * Petersen AH (2014) /Jennifer Lawrence and the History of Cool Girls/, BuzzFeed, 24 February. Available at: LINK <https://www.buzzfeed.com/annehelenpetersen/jennifer-lawrence-and-the-histor… > * Brahnam S, Karanikas M, Weaver M (2011) (Un)dressing the interface: Exposing the foundational HCI metaphor “computer is woman”. /Interacting With Computers/, 23(5): 401–412. * Prahalad CK, Ramaswamy V (2004) Co-creating unique value with customers. /Strategy & Leadership/, 32(3): 4–9. Che cosa sono il Centro Nexa e i cicli di incontri “Mercoledì di Nexa” e “Nexa Lunch Seminar” <https://www.facebook.com/nexa.center/> <https://twitter.com/nexacenter> <https://www.youtube.com/user/NexaCenter> <https://www.instagram.com/nexa_center/> <https://www.linkedin.com/company/3054864/admin/> #nexalunchseminar <https://twitter.com/search?q=%23nexalunchseminar&src=typd> #UniversityofLoughborough <https://twitter.com/lborouniversity> #IlianaDepounti <https://twitter.com/IDepounti> Il Centro Nexa su Internet & Società del Politecnico di Torino (Dipartimento di Automatica e Informatica), fondato nel 2006, è un centro di ricerca interdisciplinare che, in collaborazione con l’Università di Torino (in particolare il Dipartimento di Giurisprudenza), studia le tecnologie digitali e il loro rapporto con la società. Maggiori informazioni all'indirizzo: http://nexa.polito.it/about. Durante i “Mercoledì di Nexa”, che si tengono *ogni 2° mercoledì del mese alle ore 17 in punto*, il Centro Nexa su Internet e Società apre le sue porte non solo agli esperti e a tutti coloro i quali lavorano con Internet, ma anche a semplici appassionati e cittadini. Il ciclo di incontri intende approfondire, con un linguaggio preciso ma accessibile, i temi legati alla Rete: “intelligenza artificiale”, reti sociali, software libero, capitalismo della sorveglianza, neutralità della rete, libertà di espressione, privacy, condivisione di file, "big data" e "open data", “smart cities”, e molto altro. Al centro della maggior parte degli incontri un ospite pronto a dialogare con i direttori del Centro Nexa, il Prof. Juan Carlos De Martin del Politecnico di Torino, i Proff. Marco Ricolfi e Maurizio Borghi dell'Università di Torino, lo staff, i Fellows del Centro Nexa e tutti i presenti. Maggiori informazioni sui Mercoledì di Nexa, incluso un elenco di tutti i “Mercoledì” passati, sono disponibili all'indirizzo: http://nexa.polito.it/mercoledi. Le registrazioni degli incontri sono disponibili qui: https://nexa.polito.it/audio-video. Si segnala inoltre che dal maggio 2012 *ogni 4° mercoledì* del mese *dalle ore 13 alle ore 14* il Centro Nexa organizza anche i "*Nexa Lunch Seminar*". Una lista di tutti i “Lunch Seminar” passati è disponibile all'indirizzo: http://nexa.polito.it/lunch-seminars. See our events calendar <http://nexa.polito.it/events> if you're curious about future luncheons, discussions, lectures, and conferences not listed in this email. Our events are free and open to the public, unless otherwise noted. Responsabile Comunicazione Centro Nexa su Internet & Società: *Anita Botta*, tel: +39 011 090 7219, Mob: +39 347 131 3903, anita.botta(a)polito.it. Maggiori informazioni sui Mercoledì di Nexa e i Nexa Lunch Seminar, sono disponibili all'indirizzo: http://nexa.polito.it/events. Weekly Events Newsletter. Sign up <http://nexa.polito.it/mailing-lists> to receive this newsletter if this email was forwarded to you. To manage your subscription preferences, please click here <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa>. Connect & get involved: Jobs, internships, and more <http://nexa.polito.it/get-involved>. Cordiali saluti, -- Anita Botta Communication Manager Nexa Center for Internet & Society Politecnico di Torino – DAUIN Corso Duca degli Abruzzi, 24 - 10129 Torino web: https://nexa.polito.it/ mail: anita.botta(a)polito.it tel: 011 090 7219

April 17, 2023

Re: [nexa] ChatGPT disabled for users in Italy

by Daniela Tafani

Caro Guido, temo che non sarà possibile discutere di che cosa emerga, in senso tecnico, data la assoluta mancanza di trasparenza. Come ha osservato Sasha Luccioni, per quanto ne sappiamo, dietro a GPT-4 potrebbero esserci anche tre procioni con l'impermeabile: https://arstechnica.com/gadgets/2023/04/generative-ai-is-cool-but-lets-not-… Un saluto, Daniela ________________________________ Da: Guido Vetere <vetere.guido(a)gmail.com> Inviato: lunedì 17 aprile 2023 12:06 A: Daniela Tafani Cc: Antonio; nexa(a)server-nexa.polito.it Oggetto: Re: [nexa] ChatGPT disabled for users in Italy Cara Daniela, possiamo essere in disaccordo sull'interpretazione dei fenomeni che emergono da questi sistemi, ma dovremmo concordare sulla natura di tali fenomeni Io ad esempio sono in disaccordo con Beppe sul fatto che ciò che emerge sia paragonabile alla significazione dei linguaggi naturali (se è ho compreso la sua posizione), ma riconosco come accurata la sua descrizione dei meccanismi interni al sistema Comunque, sarebbe interessante discutere del fatto che la teoria del significato sia sempre stato un bel rebus, e che l'anti-referenzialismo delle nuove macchine abbia tanti illustri predecessori umani in linguistica e filosofia G. On Mon, 17 Apr 2023 at 11:04, Daniela Tafani <daniela.tafani(a)unipi.it<mailto:daniela.tafani@unipi.it>> wrote: Un buon punto di partenza, per una spiegazione semplice e sintetica (già segnalata su questa lista, se non ricordo male) mi sembra What Kind of Mind Does ChatGPT Have? https://www.newyorker.com/science/annals-of-artificial-intelligence/what-ki…<https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230417100722063954…> ________________________________ Da: nexa <nexa-bounces(a)server-nexa.polito.it<mailto:nexa-bounces@server-nexa.polito.it>> per conto di Antonio <antonio(a)piumarossa.it<mailto:antonio@piumarossa.it>> Inviato: lunedì 17 aprile 2023 10:48 A: nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> Oggetto: Re: [nexa] ChatGPT disabled for users in Italy > Facile essere d'accordo ma ... come "fare i conti" con qualcosa che non > capisco come funziona? E allora proviamoci a capirlo assieme. Partiamo dalla definizione data da Beppe Attardi: "il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza" Accediamo ad uno dei tanti servizi online che mostrano in pratica il meccanismo, ad esempio questo: https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230417084813073881… Nella casella sotto "Mask token" scriviamo: "Parigi è la [MASK] della Francia". Il risultato sarà: Capitale 0.658 citta 0.132 patria 0.020 culla 0.020 migliore 0.012 Più quel numeretto si avvicina ad uno (e più distanza ci sarà con il secondo), più sarà /probabile/. Proviamo con: "Torino è il capoluogo del [MASK]" Il risultato sarà: tutto 0.229 mondo 0.206 italia 0.163 piemonte 0.125 nord 0.043 Che significa? Che tra i dati di addestramento non ci sono sufficienti informazioni che collegano univocamente, o quasi, Torino -> capoluogo -> Piemonte. Un'eventuale /chat/ basata su "alb3rt0" anziché su "gpt" avrebbe quindi risposto: "Torino è il capoluogo di tutto" Antonio _______________________________________________ nexa mailing list nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230417084813073881… _______________________________________________ nexa mailing list nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa<https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=20230417100722063954…>

April 17, 2023