Sugli utilizzi degli LLM per scopi criminali
Un interessante saggio di Bruce Schneier sugli usi criminali e manipolatori degli LLM, che dovrebbe farci scendere ogni tanto dai ragionamenti troppo filosofici a quelli più pratici. Consigliato. https://www.schneier.com/blog/archives/2023/04/llms-and-phishing.html Marco
Grazie Marco, molto bello! La riflessione finale «This is all an old story, though: It reminds us that many of the bad uses of AI are a reflection of humanity more than they are a reflection of AI technology itself. » sottolinea ancora una volta che non ci sono strumenti e loro usi la responsabilità dei quali non sia riconducibile ad esseri umani (punto che Giacomo Tesio giustissimamente enfatizza sempre). Ciao, Enrico Il 11/04/2023 10:02, Marco A. Calamari ha scritto:
Un interessante saggio di Bruce Schneier sugli usi criminali e manipolatori degli LLM, che dovrebbe farci scendere ogni tanto dai ragionamenti troppo filosofici a quelli più pratici.
Consigliato.
https://www.schneier.com/blog/archives/2023/04/llms-and-phishing.html
Marco
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa --
-- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Presidente di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli@mat.uniroma2.it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================== --
Carissimi, condivido quanto più volte sottolineato da diverse persone in lista riassunto da Enrico: "non ci sono strumenti e loro usi la responsabilità dei quali non sia riconducibile ad esseri umani". Mi pare possa essere il punto di partenza per evidenziare due aspetti critici attorno alle parole "responsabilità"e "umano", comparsi in vari interventi, che mi permetto di sintetizzare e discutere, sperando di contribuire alla ricerca di un discorso condiviso tra le posizioni opposte che vanno evidenziandosi. 1) L'umanizzazione della macchina. Spesso leggiamo che "la tecnologia X fa Y a Z" e non che "/tizio/ usa X per fare Y a Z.": questo linguaggio ostacola la attribuzione di responsabilità. Se vengo investito da un'auto, non dirò che la tecnologia automobilistica è responsabile del mio investimento, ma che sono stato investito perché tizio non ha rispettato il codice della strada, o che il costruttore ha progettato male la tal parte, o che la segnaletica era carente, ecc... L'oggetto di per se non è responsabile di nulla, ma i vari attori che costruiscono l'ecosistema del suo impiego lo sono: chi progetta/programma/vende/impiega, ciascuno per la parte di azione compiuta attraverso la macchina che gli compete. Se al contrario attribuiamo /alla tecnologia/ una data azione, deresponsabilizziamo questi attori, schivando la vera difficoltà che risiede nell'identificare e ripartire i profili di responsabilità tra loro. Il rendere intenzionalmente antropomorfa ('autonoma', 'intelligente'), o sfruttare l'inclinazione umana di considerare come tale qualsiasi tecnologia equivale a un esplicito tentativo di fuga dalla propria responsabilità, inducendo a credere che esista un /soggetto/ che di fatto non esiste come tale. L'industria del software ha sempre sfuggito tale responsabilità (vedasi i vari /standard disclaimers/ e l'argomento del "tech exceptionalism"). All'aumentare degli effetti sul mondo, chi progetta e vende queste tecnologie non può esimersi dal considerarsi in una ragionevole misura responsabile dei possibili impieghi di ciò che costruisce. Il che naturalmente porta anche a riflettere su cosa i vari attori di una determinata industria fanno collettivamente al resto della società. Mentre nel caso della mobilità ciò mi pare avvenga, nel caso delle ICT fatichiamo ancora a rendercene conto, nonostante le molteplici evidenze. 2) La reificazione (macchinizzazione) dell'umano Parliamo di dati, di dati personali, di trattamento, ma perdiamo di vista che stiamo parlando, in primo luogo ed in ultima istanza, sempre di /persone/. Dimentichiamo anche che gli attori che automatizzano la produzione linguistica sono gli stessi che compongono l'ecosistema dell'industria della sorveglianza, che usano l'esperienza umana come materia prima (S.Zuboff) per mettere sul mercato prodotti e servizi atti a condizionare altro comportamento umano, dalla pubblicità ai voti, secondo dun modello brutalmente skinneriano. E' logico aspettarsi che questi attori impieghino l'automazione della lingua per monetizzare analogamente gli stessi dati e la lingua stessa, vendendo ai propri clienti i comportamenti basati su determinati usi della lingua, basandoli sulla conoscenza estratta da testi messi a disposizione da altri utenti inconsapevoli di questi nuovi impieghi, che non hanno mai espressamente consentito all'uso della propria competenza linguistica a tali scopi. Questo business model basato sulla appropriazione dei contenuti messi online dagli utenti è contrastato solo dalle leggi sulla privacy (e il copyright?) che in buona parte si applicano a contesti in cui dati personali vengono condivisi per scopi specifici che non includono il training dei modelli statistici. Ancora una volta il far west? Le colonie? Ciò che va contestato è il diritto di appropriazione auto-attribuitosi da tali imprese all'uso dell'esperienza umana come se si trattasse di dati meteorologici o contabili, e l'uso del comportamento umano come mezzo. Le imprese di cui parliamo (come molte altre, del resto) vendono comportamenti umani, sfruttano i lavoratori, inibiscono la sindacalizzazione, non pagano le tasse, fuggono dalle loro responsabilità, mirano al monopolio, si inchinano a regimi autoritari e manipolano o mentono a quelli democratici, e tutto questo non incidentalmente, ma seguendo una presa di posizione ideologica in molti casi coordinata. Queste accuse sono passate in questa stessa lista in questi anni e comunque sono coerenti con i comportamenti di analoghe imprese in altri ambiti industriali (fossile, tabacco). Se si trattasse di persone, non esiteremmo a considerarle sociopatiche. Dare loro il potere di influenzare la lingua, che è ciò che regge letteralmente la società, non può che dar loro un altra enorme fetta di potere. E' ciò che vogliamo? Esempio grossolano: se un nostro governo richiedesse (anche pagando) la produzione algoritmica di testi che favorisca il "voi" al posto del "lei" non violerebbe né la legge né la grammatica, né il GDPR, ma i testi generati automaticamente cambierebbero progressivamente anche la lingua parlata. A queste imprese, e a chi lavora per loro direttamente o indirettamente, va detto: "Fermiamoci! Riflettiamo!". Dato che l'ambiente in cui operano è la lingua, e che la lingua è quanto di più umano ci sia, qual è la valutazione di impatto di un GPT*? Qual è il principio di precauzionalità usato? Queste due criticità diventano due fallacie del ragionamento, per cui da una parte demonizziamo le tecnologie invece di concentrarci sulla responsabilità delle imprese, dall'altra ammettiamo che quelli umani siano dati come gli altri e che l'esperienza umana e la società possa continuare ad essere una miniera da sfruttare industrialmente. Così accettiamo l'eccezionalismo IT e ammettiamo l'uso dell'umano come mezzo. L'industrializzazione del linguaggio, come ogni altro processo industriale non regolato, non può che degradare l'ambiente che tocca. Il modello culturale su cui si basa l'attuale 'progresso' è quello sul quale si sono basati molti dei progressi industriali precedenti: senza negarne i benefici, dobbiamo riconoscere che hanno comportato la svalutazione e lo sfruttamento della persona umana e la fuga dalle responsabilità. Per una volta, cerchiamo di evitare il percorso passato e non aspettiamo i danni ambientali e umani per regolare. Fermiamoci e facciamolo subito. Non invochiamo la scienza e il progresso per giustificare avidità di denaro e potere, come è avvenuto con imperialismo, colonialismo, schiavismo. Il progresso vero è assumersi la responsabilità, non 'move fast and break things'. La vasta polemica attorno agli LLM, che segue quella di Cambridge Analytica, quella sul riconoscimento facciale e molte altre riuscirà finalmente a rendere chi produce software responsabile in qualche misura di ciò che fa e rispettare le persone? Forse no, dovremo attendere un altro passo, mi azzardo a prevedere che forse sarà l'applicazione degli LLM alla produzione di oggetti, di cui anticipo un episodio: GPT9000: Cosa posso fare per te? Io: Vorrei costruire una automobile a tre posti e sei ruote di cui due anteriori e quattro motrici, con motore elettrico e pannelli solari. GPT9000: Certo ci sono molti progetti di automobili sui quali ho elaborato quello che cerchi. Avrai bisogno di una stampante 3d e di alcuni componenti che puoi trovare online. Troverai l'elenco dei negozi in cui comprare il tutto in area download, assieme al progetto e ai brevetti consultati: non dimenticarti di pagare le fees e di far omologare il veicolo nel tuo paese. IO: Wow, grazie. Avrei anche bisogno di una macchina per far scodinzolare i cani. GPT9000: Ho trovato solo un progetto in un vecchio libro francese ma dovrebbe andare bene. In compenso non ci sono fees per i brevetti da pagare. IO: Grazie. Avrei anche bisogno di una macchina del tempo. GPT9000: Sono spiacente, non ho progetti affidabili per una macchina del tempo, ma se ti interessa posso fornirti i progetti per una macchina per la criogenia, che alcuni considerano un efficace mezzo per viaggiare nel futuro. Devo metterti però in guardia: non è stata testata estesamente per questo scopo e non si può tornare al presente. IO: Fantastico! La voglio. Servono permessi? GPT9000: Dalle informazioni in mio possesso nel tuo paese la criogenesi non è regolata espressamente. IO: Benone! Cosa può andare storto? GPT9000: Mi spiace, solo solo un agente software, non posso fare previsioni su cosa può accadere se usi una macchina per la criogenia non testata per viaggiare nel futuro. Buona fortuna! ... Ciao, Alberto On 16/04/23 13:07, Enrico Nardelli wrote:
Grazie Marco, molto bello!
La riflessione finale
«This is all an old story, though: It reminds us that many of the bad uses of AI are a reflection of humanity more than they are a reflection of AI technology itself. »
sottolinea ancora una volta che non ci sono strumenti e loro usi la responsabilità dei quali non sia riconducibile ad esseri umani (punto che Giacomo Tesio giustissimamente enfatizza sempre).
Ciao, Enrico
Il 11/04/2023 10:02, Marco A. Calamari ha scritto:
Un interessante saggio di Bruce Schneier sugli usi criminali e manipolatori degli LLM, che dovrebbe farci scendere ogni tanto dai ragionamenti troppo filosofici a quelli più pratici.
Consigliato.
https://www.schneier.com/blog/archives/2023/04/llms-and-phishing.html
Marco
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa --
-- EN
https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Presidente di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli@mat.uniroma2.it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ======================================================
--
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Buongiorno Alberto Alberto Cammozzo via nexa <nexa@server-nexa.polito.it> writes: [...]
L'oggetto di per se non è responsabile di nulla, ma i vari attori che costruiscono l'ecosistema del suo impiego lo sono: chi progetta/programma/vende/impiega, ciascuno per la parte di azione compiuta attraverso la macchina che gli compete.
Sì ma analizziamo bene quale /azione/ ciascun attore compie e la relativa responsabilità che gli compete: che responsabilità ha chi definisce le specifiche? E chi programma il software? E chi lo propone al /mercato/ sotto forma di servizio adatto a uno scopo? Nel caso del LLM programmato statisticamente secondo le specifiche derivate dalle teorie della "Cognitive Behavioral Therapy" usato in Wysa, la responsabilità di esercizio abusivo di professione (giudizio mio) è dei programmatori? É di chi ha sviluppato lo specifico LLM? [...]
L'industria del software ha sempre sfuggito tale responsabilità (vedasi i vari /standard disclaimers/ e l'argomento del "tech exceptionalism").
All'aumentare degli effetti sul mondo, chi progetta e vende queste tecnologie non può esimersi dal considerarsi in una ragionevole misura responsabile dei possibili impieghi di ciò che costruisce.
Non nego che il software includa anche (soprattutto!) l'"intenzione politica" di chi lo /progetta/, ma vogliamo davvero fare un "processo alle intenzioni"? Se seguissimo fino in fondo questo ragionamento dovremmo seriamente pensare di chiamare /in giudizio/ "la scienza" (pseudoscienza?) che è alla base della progettazione dello specifico software (e non solo del software, ovviamente). «L’arte e la scienza sono libere e libero ne è l’insegnamento», per cui non credo sia il caso di perseguire questa strada assai pericolosa, così come non credo sia il caso di perseguire la strada opposta e altrettanto pericolosa di negare i diritti costituzionali in nome della libertà di ricerca o della asserita scientificità di alcune determinazioni. Se non c'è dolo o colpa grave [1] a nessuno sviluppatore software può essere chiesto conto dell'adeguatezza a tutti i possibili /impieghi/, a volte criminali, di ciò che ha sviluppato. (Lo stesso dovrebbe valere anche per gli scienziati, ma limitiamoci al software) É per quello che praticamente tutte le licenze d'uso (contratti _atipici_) del software contengono una clausola di "assenza di garanzia" o di "esclusione di responsabilità" [2] Anche nei contratti di sviluppo software c'è una piuttosto consolidata giurisprudenza (o solo prassi?) in merito alle garanzie con le quali tutelare l'acquirente in caso di presenza di vizi nel software [3]: --8<---------------cut here---------------start------------->8--- Nel caso dei contratti di appalto [...] il committente deve denunciare tali vizi all'appaltatore entro sessanta giorni dalla scoperta per godere della garanzia. Nel caso in cui il committente abbia accettato l'opera e le difformità o i vizi erano da lui conosciuti o erano facilmente riconoscibili, previa buona fede dell'appaltatore, non si può avvalere della garanzia. Nel caso in cui il contratto di sviluppo di software sia riconducibile ad un contratto di opera intellettuale, allora l'appaltatore non risponde della garanzia se non si verifica un caso di dolo o colpa grave. --8<---------------cut here---------------end--------------->8--- Sottolineo: «Nel caso in cui [...] i vizi [...] erano facilmente riconoscibili [...] non si può avvalere della garanzia.» Non è allo sviluppatore software che bisogna chiedere conto degli (ab)usi che vengono fatti del software che ha programmato, non è lui che decide che quel software, ANCHE SE (probabilmente) CONTIENE VIZI, viene utilizzato impropriamente e _soprattutto_ senza adeguate misure per minimizzare il rischio. Casomai, è l'utilizzatore del software che dovrà dimostrare al giudice (c'è un giudice?!?...) di aver condotto adeguate analisi di adeguatezza all'utilizzo, una adeguata analisi dei rischi e di aver adottato misure adeguate per minimizzare (al massimo possibile secondo lo stato dell'arte) i rischi residui non eliminabili. Ecco le parole magiche "minimizzare i rischi non eliminabili con misure adeguate", potendolo dimostrare /documentalmente/. Così si comincia a ragionare. O no? Poi, io voglio proprio vedere come può fare l'utilizzatore del software a condurre una l'analisi dei rischi senza poter analizzare il software (o almeno avvalersi di analisi pubbliche di terze parti) perché lo ha a disposizione solo in formato binario... o perché è una scatola nera "inesplicabile". Poi, non c'è solo la responsabilità da prodotto o servizio, c'è anche la pubblicità ingannevole... ma andrei OT e mi fermo qui [...] saluti, 380° [1] che sono da provare /in giudizio/, non possono essere pre-determinati anticipatamente, ovviamente [2] https://it.wikiversity.org/wiki/Tutela_dei_beni_informatici_(software,_database,_opere_multimediali,_ecc.)_fra_diritto_d%E2%80%99autore,_brevetto_e_diritto_sui_generis#Licenze_d'uso [3] https://it.wikiversity.org/wiki/Tutela_dei_beni_informatici_(software,_datab... -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.
On lun, 2023-04-17 at 17:01 +0200, 380° wrote:
Buongiorno Alberto
Alberto Cammozzo via nexa <nexa@server-nexa.polito.it> writes:
[...]
L'oggetto di per se non è responsabile di nulla, ma i vari attori che costruiscono l'ecosistema del suo impiego lo sono: chi progetta/programma/vende/impiega, ciascuno per la parte di azione compiuta attraverso la macchina che gli compete.
Sì ma analizziamo bene quale /azione/ ciascun attore compie e la relativa responsabilità che gli compete: che responsabilità ha chi definisce le specifiche? E chi programma il software? E chi lo propone al /mercato/ sotto forma di servizio adatto a uno scopo?
...
Poi, io voglio proprio vedere come può fare l'utilizzatore del software a condurre una l'analisi dei rischi senza poter analizzare il software (o almeno avvalersi di analisi pubbliche di terze parti) perché lo ha a disposizione solo in formato binario... o perché è una scatola nera "inesplicabile".
Poi, non c'è solo la responsabilità da prodotto o servizio, c'è anche la pubblicità ingannevole... ma andrei OT e mi fermo qui
... Non è assolutamente OT IMHO. "Pubblicità ingannevole" su questa scala è "Campagna di disinformazione di massa" E siamo tornati alle preoccupazioni contingenti che io ed alcuni altri esprimiamo per l'uso e la propaganda che si fa dei LLM qui ed ora. Giusto per far notare che alla fine, almeno qui in lista, c'è molto più accordo che disaccordo Marco
Buona sera Giovanni, credo che la responsabilità maggiore sia indiscutibilmente del management che progetta la macchina per specifici fini, specie illegittimi, più di chi la realizza nel codice. Va ricordato però che una condotta illegale anche se in esecuzione di ordine dato da un superiore gerarchico non esime dalla responsabilità, se chi lo esegue è in possesso delle necessarie cognizioni tecniche per avvedersi della illiceità. Chi ha realizzato i dispositivi di Google Street view che raccoglievano dati delle reti wifi e relativi payload sapeva di realizzare un corporate wardriving. Chi ha modificato le centraline dei diesel VW per superare i test non poteva non sapere cosa stesse facendo. Che 'obbedisse agli ordini' senza condividerli o condividesse le intenzioni del management può al massimo costituire una attenuante o aggravante. Chi programma non è esente da responsabilità, e molti whistleblowers si sono esposti per non condividere nemmeno la responsabilità morale. Come non penso che queste tecniche siano intrinsecamente malvagie, così non penso nemmeno che ne vada censurato l'insegnamento o la ricerca, anzi, va approfondita per limitarne al massimo la perniciosità. Nel frattempo ne va limitata l'applicazione indiscriminata fino a che non si sarà capito cosa va fatto con i dati in input e con gli output, per rispettare chi li ha prodotti ed evitare l'inquinamento dello spazio comunicativo umano. Data la capacità produttiva degli LLM e la fulminea adozione globale, molto presto vedremo che gli output automatici o ibridi supereranno in volume quelli puramente umani e entreranno nei dati di training degli LLM delle generazioni successive. Già ora non abbiamo certezza che una pagina web abbia origine umana, tra non molto avremo interi siti si spam molto ben scritto generati automaticamente, per favorire le economie dei backlink (fenomeno già in atto [1]). Questo di sicuro perturberà i criteri SEO e i motori di ricerca, ma quello che mi preoccupa di più è immaginare cosa accadrà allora alla lingua. Verosimilmente con LLM autofertilizzanti (che producono più testi di quanto ne consumano) si amplificheranno gli effetti di allucinazione e le derive, quelle sì evolutive: assisteremo a una proliferazione di testi con caratteristiche progressivamente proprie e singolari, distanti dalla lingua usata comunemente dagli umani? Oppure i padroni del web correranno ai ripari e le contromisure privilegeranno i testi dei siti 'affidabili'? Mi fermo qui, ma questo è quello che intendo quando parlo di inquinamento dell'ecosistema linguistico. Ciao, Alberto [1] <https://herman.bearblog.dev/the-chatgpt-vs-bear-blog-spam-war/> On 17/04/23 17:01, 380° wrote:
Buongiorno Alberto
Alberto Cammozzo via nexa <nexa@server-nexa.polito.it> writes:
[...]
L'oggetto di per se non è responsabile di nulla, ma i vari attori che costruiscono l'ecosistema del suo impiego lo sono: chi progetta/programma/vende/impiega, ciascuno per la parte di azione compiuta attraverso la macchina che gli compete. Sì ma analizziamo bene quale /azione/ ciascun attore compie e la relativa responsabilità che gli compete: che responsabilità ha chi definisce le specifiche? E chi programma il software? E chi lo propone al /mercato/ sotto forma di servizio adatto a uno scopo?
Nel caso del LLM programmato statisticamente secondo le specifiche derivate dalle teorie della "Cognitive Behavioral Therapy" usato in Wysa, la responsabilità di esercizio abusivo di professione (giudizio mio) è dei programmatori? É di chi ha sviluppato lo specifico LLM?
[...]
L'industria del software ha sempre sfuggito tale responsabilità (vedasi i vari /standard disclaimers/ e l'argomento del "tech exceptionalism").
All'aumentare degli effetti sul mondo, chi progetta e vende queste tecnologie non può esimersi dal considerarsi in una ragionevole misura responsabile dei possibili impieghi di ciò che costruisce. Non nego che il software includa anche (soprattutto!) l'"intenzione politica" di chi lo /progetta/, ma vogliamo davvero fare un "processo alle intenzioni"?
Se seguissimo fino in fondo questo ragionamento dovremmo seriamente pensare di chiamare /in giudizio/ "la scienza" (pseudoscienza?) che è alla base della progettazione dello specifico software (e non solo del software, ovviamente).
«L’arte e la scienza sono libere e libero ne è l’insegnamento», per cui non credo sia il caso di perseguire questa strada assai pericolosa, così come non credo sia il caso di perseguire la strada opposta e altrettanto pericolosa di negare i diritti costituzionali in nome della libertà di ricerca o della asserita scientificità di alcune determinazioni.
Se non c'è dolo o colpa grave [1] a nessuno sviluppatore software può essere chiesto conto dell'adeguatezza a tutti i possibili /impieghi/, a volte criminali, di ciò che ha sviluppato. (Lo stesso dovrebbe valere anche per gli scienziati, ma limitiamoci al software)
É per quello che praticamente tutte le licenze d'uso (contratti _atipici_) del software contengono una clausola di "assenza di garanzia" o di "esclusione di responsabilità" [2]
Anche nei contratti di sviluppo software c'è una piuttosto consolidata giurisprudenza (o solo prassi?) in merito alle garanzie con le quali tutelare l'acquirente in caso di presenza di vizi nel software [3]:
--8<---------------cut here---------------start------------->8---
Nel caso dei contratti di appalto [...] il committente deve denunciare tali vizi all'appaltatore entro sessanta giorni dalla scoperta per godere della garanzia. Nel caso in cui il committente abbia accettato l'opera e le difformità o i vizi erano da lui conosciuti o erano facilmente riconoscibili, previa buona fede dell'appaltatore, non si può avvalere della garanzia.
Nel caso in cui il contratto di sviluppo di software sia riconducibile ad un contratto di opera intellettuale, allora l'appaltatore non risponde della garanzia se non si verifica un caso di dolo o colpa grave.
--8<---------------cut here---------------end--------------->8---
Sottolineo: «Nel caso in cui [...] i vizi [...] erano facilmente riconoscibili [...] non si può avvalere della garanzia.»
Non è allo sviluppatore software che bisogna chiedere conto degli (ab)usi che vengono fatti del software che ha programmato, non è lui che decide che quel software, ANCHE SE (probabilmente) CONTIENE VIZI, viene utilizzato impropriamente e _soprattutto_ senza adeguate misure per minimizzare il rischio.
Casomai, è l'utilizzatore del software che dovrà dimostrare al giudice (c'è un giudice?!?...) di aver condotto adeguate analisi di adeguatezza all'utilizzo, una adeguata analisi dei rischi e di aver adottato misure adeguate per minimizzare (al massimo possibile secondo lo stato dell'arte) i rischi residui non eliminabili.
Ecco le parole magiche "minimizzare i rischi non eliminabili con misure adeguate", potendolo dimostrare /documentalmente/.
Così si comincia a ragionare. O no?
Poi, io voglio proprio vedere come può fare l'utilizzatore del software a condurre una l'analisi dei rischi senza poter analizzare il software (o almeno avvalersi di analisi pubbliche di terze parti) perché lo ha a disposizione solo in formato binario... o perché è una scatola nera "inesplicabile".
Poi, non c'è solo la responsabilità da prodotto o servizio, c'è anche la pubblicità ingannevole... ma andrei OT e mi fermo qui
[...]
saluti, 380°
[1] che sono da provare /in giudizio/, non possono essere pre-determinati anticipatamente, ovviamente
[3] https://it.wikiversity.org/wiki/Tutela_dei_beni_informatici_(software,_datab...
Mi fermo qui, ma questo è quello che intendo quando parlo di inquinamento dell'ecosistema linguistico.
Ti fermi sull'orlo di un abisso davanti al quale proviamo un senso di vertigine Il cambiamento linguistico che conosciamo, oltre ad essere una conseguenza degli scambi (anche violenti, tipo le invasioni), è una retroazione dell'uso individuale (la 'parole') sul sistema socializzato (la 'langue'). Qui siamo in effetti davanti alla prospettiva di un cambiamento linguistico di tipo nuovo. Il mio 'educated guess' (del momento) è che si tratterà del collasso della 'langue' su sé stessa, di una frana nella media. A questo cambiamento non avremo da opporre che arte, poesia e creatività industriale. Intendo dire: non lo fermeremo con l'AI-act *et similia*. G. On Mon, 17 Apr 2023 at 23:48, Alberto Cammozzo via nexa < nexa@server-nexa.polito.it> wrote:
Buona sera Giovanni,
credo che la responsabilità maggiore sia indiscutibilmente del management che progetta la macchina per specifici fini, specie illegittimi, più di chi la realizza nel codice.
Va ricordato però che una condotta illegale anche se in esecuzione di ordine dato da un superiore gerarchico non esime dalla responsabilità, se chi lo esegue è in possesso delle necessarie cognizioni tecniche per avvedersi della illiceità.
Chi ha realizzato i dispositivi di Google Street view che raccoglievano dati delle reti wifi e relativi payload sapeva di realizzare un corporate wardriving. Chi ha modificato le centraline dei diesel VW per superare i test non poteva non sapere cosa stesse facendo. Che 'obbedisse agli ordini' senza condividerli o condividesse le intenzioni del management può al massimo costituire una attenuante o aggravante.
Chi programma non è esente da responsabilità, e molti whistleblowers si sono esposti per non condividere nemmeno la responsabilità morale.
Come non penso che queste tecniche siano intrinsecamente malvagie, così non penso nemmeno che ne vada censurato l'insegnamento o la ricerca, anzi, va approfondita per limitarne al massimo la perniciosità. Nel frattempo ne va limitata l'applicazione indiscriminata fino a che non si sarà capito cosa va fatto con i dati in input e con gli output, per rispettare chi li ha prodotti ed evitare l'inquinamento dello spazio comunicativo umano.
Data la capacità produttiva degli LLM e la fulminea adozione globale, molto presto vedremo che gli output automatici o ibridi supereranno in volume quelli puramente umani e entreranno nei dati di training degli LLM delle generazioni successive. Già ora non abbiamo certezza che una pagina web abbia origine umana, tra non molto avremo interi siti si spam molto ben scritto generati automaticamente, per favorire le economie dei backlink (fenomeno già in atto [1]).
Questo di sicuro perturberà i criteri SEO e i motori di ricerca, ma quello che mi preoccupa di più è immaginare cosa accadrà allora alla lingua. Verosimilmente con LLM autofertilizzanti (che producono più testi di quanto ne consumano) si amplificheranno gli effetti di allucinazione e le derive, quelle sì evolutive: assisteremo a una proliferazione di testi con caratteristiche progressivamente proprie e singolari, distanti dalla lingua usata comunemente dagli umani? Oppure i padroni del web correranno ai ripari e le contromisure privilegeranno i testi dei siti 'affidabili'?
Mi fermo qui, ma questo è quello che intendo quando parlo di inquinamento dell'ecosistema linguistico.
Ciao,
Alberto
[1] <https://herman.bearblog.dev/the-chatgpt-vs-bear-blog-spam-war/>
On 17/04/23 17:01, 380° wrote:
Buongiorno Alberto
Alberto Cammozzo via nexa <nexa@server-nexa.polito.it> writes:
[...]
L'oggetto di per se non è responsabile di nulla, ma i vari attori che costruiscono l'ecosistema del suo impiego lo sono: chi progetta/programma/vende/impiega, ciascuno per la parte di azione compiuta attraverso la macchina che gli compete. Sì ma analizziamo bene quale /azione/ ciascun attore compie e la relativa responsabilità che gli compete: che responsabilità ha chi definisce le specifiche? E chi programma il software? E chi lo propone al /mercato/ sotto forma di servizio adatto a uno scopo?
Nel caso del LLM programmato statisticamente secondo le specifiche derivate dalle teorie della "Cognitive Behavioral Therapy" usato in Wysa, la responsabilità di esercizio abusivo di professione (giudizio mio) è dei programmatori? É di chi ha sviluppato lo specifico LLM?
[...]
L'industria del software ha sempre sfuggito tale responsabilità (vedasi i vari /standard disclaimers/ e l'argomento del "tech exceptionalism").
All'aumentare degli effetti sul mondo, chi progetta e vende queste tecnologie non può esimersi dal considerarsi in una ragionevole misura responsabile dei possibili impieghi di ciò che costruisce. Non nego che il software includa anche (soprattutto!) l'"intenzione politica" di chi lo /progetta/, ma vogliamo davvero fare un "processo alle intenzioni"?
Se seguissimo fino in fondo questo ragionamento dovremmo seriamente pensare di chiamare /in giudizio/ "la scienza" (pseudoscienza?) che è alla base della progettazione dello specifico software (e non solo del software, ovviamente).
«L’arte e la scienza sono libere e libero ne è l’insegnamento», per cui non credo sia il caso di perseguire questa strada assai pericolosa, così come non credo sia il caso di perseguire la strada opposta e altrettanto pericolosa di negare i diritti costituzionali in nome della libertà di ricerca o della asserita scientificità di alcune determinazioni.
Se non c'è dolo o colpa grave [1] a nessuno sviluppatore software può essere chiesto conto dell'adeguatezza a tutti i possibili /impieghi/, a volte criminali, di ciò che ha sviluppato. (Lo stesso dovrebbe valere anche per gli scienziati, ma limitiamoci al software)
É per quello che praticamente tutte le licenze d'uso (contratti _atipici_) del software contengono una clausola di "assenza di garanzia" o di "esclusione di responsabilità" [2]
Anche nei contratti di sviluppo software c'è una piuttosto consolidata giurisprudenza (o solo prassi?) in merito alle garanzie con le quali tutelare l'acquirente in caso di presenza di vizi nel software [3]:
--8<---------------cut here---------------start------------->8---
Nel caso dei contratti di appalto [...] il committente deve denunciare tali vizi all'appaltatore entro sessanta giorni dalla scoperta per godere della garanzia. Nel caso in cui il committente abbia accettato l'opera e le difformità o i vizi erano da lui conosciuti o erano facilmente riconoscibili, previa buona fede dell'appaltatore, non si può avvalere della garanzia.
Nel caso in cui il contratto di sviluppo di software sia riconducibile ad un contratto di opera intellettuale, allora l'appaltatore non risponde della garanzia se non si verifica un caso di dolo o colpa grave.
--8<---------------cut here---------------end--------------->8---
Sottolineo: «Nel caso in cui [...] i vizi [...] erano facilmente riconoscibili [...] non si può avvalere della garanzia.»
Non è allo sviluppatore software che bisogna chiedere conto degli (ab)usi che vengono fatti del software che ha programmato, non è lui che decide che quel software, ANCHE SE (probabilmente) CONTIENE VIZI, viene utilizzato impropriamente e _soprattutto_ senza adeguate misure per minimizzare il rischio.
Casomai, è l'utilizzatore del software che dovrà dimostrare al giudice (c'è un giudice?!?...) di aver condotto adeguate analisi di adeguatezza all'utilizzo, una adeguata analisi dei rischi e di aver adottato misure adeguate per minimizzare (al massimo possibile secondo lo stato dell'arte) i rischi residui non eliminabili.
Ecco le parole magiche "minimizzare i rischi non eliminabili con misure adeguate", potendolo dimostrare /documentalmente/.
Così si comincia a ragionare. O no?
Poi, io voglio proprio vedere come può fare l'utilizzatore del software a condurre una l'analisi dei rischi senza poter analizzare il software (o almeno avvalersi di analisi pubbliche di terze parti) perché lo ha a disposizione solo in formato binario... o perché è una scatola nera "inesplicabile".
Poi, non c'è solo la responsabilità da prodotto o servizio, c'è anche la pubblicità ingannevole... ma andrei OT e mi fermo qui
[...]
saluti, 380°
[1] che sono da provare /in giudizio/, non possono essere pre-determinati anticipatamente, ovviamente
[3] https://it.wikiversity.org/wiki/Tutela_dei_beni_informatici_(software,_datab...
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Buongiorno Alberto, Alberto Cammozzo <ac+nexa@zeromx.net> writes: [...]
Chi ha realizzato i dispositivi di Google Street view che raccoglievano dati delle reti wifi e relativi payload sapeva di realizzare un corporate wardriving. Chi ha modificato le centraline dei diesel VW per superare i test non poteva non sapere cosa stesse facendo. Che 'obbedisse agli ordini' senza condividerli o condividesse le intenzioni del management può al massimo costituire una attenuante o aggravante.
Ma certo, è /esattamente/ per quello che di parla di colpa grave o dolo in giurisprudenza... /anche/ in concorso: ci mancherebbe altro! Nel caso di Wysa, però, stiamo parlando di sviluppatori che applicano tecniche di machine "learning" per programmare statisticamente macchine all'applicazione della "tecnica CBT": sono loro che hanno deciso di "venderlo" come agente empatico per curare la tristezza del mondo? ...magari sì, ma andrebbe verificato caso per caso Nel frattempo, però, Wysa andrebbe chiuso **ieri**... e invece è _sponsorizzato_ dalla NHS britannica: direi che il comportamento (pseudo?) criminale è _altrove_
Chi programma non è esente da responsabilità,
sì ma questa responsabilità va qualificata
e molti whistleblowers si sono esposti per non condividere nemmeno la responsabilità morale.
chapeau! [...] Ciao, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.
participants (5)
-
380° -
Alberto Cammozzo -
Enrico Nardelli -
Guido Vetere -
Marco A. Calamari