- nexa - server-nexa.polito.it

Le criptovalute ricordano lo schema Ponzi, o lo chiamiamo Pippo?

by 380°

Buonasera, (cose già dette anche qui, ma altre analisi aiutano) Partendo dal fattaccio FTX (e Alameda Research) mi sono imbattuto in un articolo di Francesco Lenzi [1] che spiega come funzionano finanziariamente le crypto, secondo il suo punto di vista ovviamente «Le criptovalute ricordano lo schema Ponzi, o lo chiamiamo Pippo?» --8<---------------cut here---------------start------------->8--- Tutta l’impalcatura delle criptovalute si basa su questo: che ci siano “n” soggetti disponibili a investire euro, dollari, sterline o yen per processare le transazioni e pagarne i costi legati al funzionamento, e che in cambio di questo impegno finanziario siano disponibili a ricevere un certo ammontare del token processato. Cosa possono farci con questa ricompensa? Principalmente rivenderla o aspettare che cresca di valore… e quindi rivenderla. Fino a quando il token non sarà accettato abbastanza diffusamente per il pagamento delle spese di impianto, funzionamento o mantenimento dei calcolatori, ci sarà in modo strutturale una pressione alla vendita delle ricompense e, in assenza di qualcuno che ne domandi l’acquisto, il valore tenderà a zero. Sono così i nuovi entranti che contrastano la fuoriuscita strutturale e ne sostengono o aumentano il valore. Insomma, lo schema delle monete virtuali è essenzialmente: una struttura piramidale con il token concentrato nei portafogli dei primi entranti, un rendimento prefissato e riconosciuto a chi mette a disposizione capacità di calcolo, ed alla fine la necessità di continui nuovi entranti per sostenerne il valore. Se non lo volete chiamare schema Ponzi va benissimo, possiamo anche chiamarlo Pippo, ma così è. In questa struttura abbastanza semplice si è costruito tutto l’universo che ruota intorno: nessuna regola ed una continua innovazione di sovrastrutture di scambio e creazione di criptovalute, ma anche sempre più inefficienza energetica ed influencer a condizionarne il valore al rialzo e al ribasso. [...] Se una normale società di emissione di strumenti di pagamento, che sia una banca o una società di carte di credito, con uno stato patrimoniale di 60 miliardi di dollari avesse diffuso una comunicazione del tipo di quella di Tether Limited, un solo grafico a torta realizzato su excel, ci sarebbe stato da ridere. In questo caso invece è stato accolto da gran parte dell’universo virtuale come un importante segno di trasparenza. Tether non ha mai garantito l’impegno a detenere specifiche attività in dollari per equilibrare la parità del proprio token. Si parla solo di un impegno a detenere riserve per sostenere al 100% il valore del dollaro tether, ma non ci sono parametri da rispettare o vincoli di destinazione/liquidabilità dell’attivo. Da tempo, osservando l’andamento della quantità emessa di dollari tether ed il prezzo delle valute virtuali (fig.1), si specula sul fatto che la società non abbia niente a sostenerne il valore, e che invece utilizzi l’emissione dei dollari tether per pompare il valore di alcune principali criptovalute. [...] I dati diffusi non hanno minimamente fugato questi dubbi. Solo il 2,9% dei 60 miliardi di dollari virtuali è impiegato in vera (o presunta) cassa. Il resto sono strumenti finanziari di cui non si conosce l’emittente e la tipologia. Ancora non il massimo della trasparenza. Ma questo non sembra aver convinto i più. Nonostante i forti cali degli ultimi giorni, nonostante gli alti e bassi di questi anni, l’interesse per le valute virtuali rimane importante, un interesse che attira sempre nuovi entranti e che fa in modo che il loro valore si sostenga nel tempo. Alla fine, quel mio amico ha fatto l’investimento, non ne abbiamo più parlato, ma se ha ancora i token ricevuti in ricompensa in questi anni, è probabile che fino ad ora il rendimento sia stato del tutto vantaggioso. Gli rimarrà soltanto da decidere quando monetizzarlo e sperare che per quel momento l’uscita dallo schema non sia troppo affollata. --8<---------------cut here---------------end--------------->8--- insomma pare che FTX non fosse l'unica ad utilizzare bilanci farlo... creativi! Saluti, 380° [1] Imprenditore nel settore immobiliare e tessile. Laureato con lode in Economia e Commercio all’Università di Firenze con tesi sulla creazione di valore nelle operazioni di finanza straordinaria. Collabora con Econopoly - Il Sole 24 ore e con LaVoce.info (da https://www.econopoly.ilsole24ore.com/author/francescolenzi/) -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Nov. 13, 2022

(cryptocurrency/FTX) "La valangaaaaaaa...." (?!?)

by 380°

Buongiorno ricordo come fosse ieri il calore generato su questa lista da certe discussioni in merito alle cryptovalute :-) Per chi non lo sapesse (io ignoravo, vivo su un altro pianeta) FTX era uno dei più grandi e rispettati exchange di cryptovalute, tutti con base in paradisi fiscali ovviamente, ma questo è un **dettaglio**. La valanga (?) è iniziata pochi giorni fa, il 2 Novembre, quando è uscito questo articolo di CoinDesk: «Divisions in Sam Bankman-Fried’s Crypto Empire Blur on His Trading Titan Alameda’s Balance Sheet» https://www.coindesk.com/business/2022/11/02/divisions-in-sam-bankman-fried… --8<---------------cut here---------------start------------->8--- That balance sheet is full of FTX – specifically, the FTT token issued by the exchange that grants holders a discount on trading fees on its marketplace. While there is nothing per se untoward or wrong about that, it shows Bankman-Fried’s trading giant Alameda rests on a foundation largely made up of a coin that a sister company invented, not an independent asset like a fiat currency or another crypto. The situation adds to evidence that the ties between FTX and Alameda are unusually close. [...] “It’s fascinating to see that the majority of the net equity in the Alameda business is actually FTX’s own centrally controlled and printed-out-of-thin-air token,” said Cory Klippsten, CEO of investment platform Swan Bitcoin, who is known for his critical views of altcoins, which refer to cryptocurrencies other than bitcoin (BTC). --8<---------------cut here---------------end--------------->8--- Io sono **orgoglioso** di non capirci una fava in finanza delle criptovalute, lascio quindi a chi ci capisce qualcosa stabilire se altri exchange (e cosi analoghi), per esempio Binance, hanno bilanci meno farlocchi... ehrm volevo dire /creativi/ di quelli che aveva FTX o no. In un batter di ciglia, l'11 Novembre 2022, non solo l'intera FinTech-Baracca (FXT e Alameda Research) fa bancarotta ma il suo ideatore, fodatore e **guru** è rimasto /ufficialmente/ al verde e ora pure le autorità delle Bahamas lo mettono sotto torchio per capire che fine hanno fatto i fondi dei clienti... perfino la Casa Bianca ha alzato un sopracciglio: «Bancarotta di Ftx: la polizia interroga Bankman-Fried sui deflussi misteriosi» https://www.ilsole24ore.com/art/ftx-svaniti-circa-2-miliardi-depositi-notte… --8<---------------cut here---------------start------------->8--- L’ex magnate delle criptovalute è stato interrogato dalla polizia e dalle autorità di regolamentazione delle Bahamas. La Casa Bianca monitora il tracollo [...] Secondo gli analisti, circa 662 milioni di dollari in token sono misteriosamente usciti dalle borse internazionali e statunitensi di Ftx. Quest’ultima, aveva iniziato a spostare alcune delle sue attività in portafogli offline, e successivamente ha accelerato queste mosse «per mitigare i danni derivanti dall’osservazione di transazioni non autorizzate», secondo il consulente generale della piattaforma statunitense Ryne Miller. [...] La storia della bancarotta di Ftx, fino alla settimana scorsa considerato il secondo exchange globale di criptovalute anche per reputazione e che l'11 novembre ha dichiarato bancarotta, continua a stupire dunque in peggio. Stando alle ultime rilevazioni sarebbe sparita dall'exchange una somma che oscilla tra 1 e 2 miliardi di dollari, di cui 600 milioni solo nella notte tra venerdì e sabato. Tutti fondi di clienti. [...] La stessa Casa Bianca sta monitorando il tracollo di Ftx, e ritiene che la sua bancarotta confermi la necessità di regole più stringenti per il settore. Washington, insieme ad altre agenzie federali, sta seguendo la vicenda nella convinzione che gli americani rischiano di essere danneggiati, senza un’appropriata regolamentazione. [...] In base a quanto risulta alla Reuters da due fonti vicine alla vicenda che fino a pochi giorni fa ricoprivano incarichi di alto livello all'interno dell'azienda, il fondatore dell'exchange Sam Bankman-Fried (Sbf) avrebbe inoltre trasferito segretamente 10 miliardi di fondi dei clienti da Ftx alla società di trading di famiglia Alameda Research. Da allora una parte di questa cifra è svanita nel nulla. Relativamente all’ultimo ammanco, quello da 600 milioni di dollari spariti nella notte tra l’11 e il 12 novembre, si apprende, da fonti della società, che la piattaforma avrebbe subito un attacco hacker. I funzionari di Ftx hanno infatti confermato la notizia di un attacco sul canale Telegram della criptovaluta in fallimento e hanno dato indicazione ai clienti di cancellare le app di Ftx e di non accedere al sito web dell’exchange, secondo quanto riferisce l’agenzia CoinDesk. --8<---------------cut here---------------end--------------->8--- "Ha stato gli hacker", insomma. É solo una delle cicliche crisi finanziarie di settore o stavolta per le cryptovalute si mette davvero male? Saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Nov. 13, 2022

Re: [nexa] “Automaticamente illegali”. Una proposta per i sistemi di intelligenza artificiale

by alessandro marzocchi

Mi scuso in anticipo se ho capito male. Se l’informatica è tecnica destinata alle persone, i vecchi come me, quasi tutti necessariamente illetterati digitali, sono una popolazione utile per sperimentare la comprensione. - - - Domando: Giovanni, qui conosciuto come 380°, chiedendo < che il software … sia «free software by default»> pensa ad una caratteristica di “apertura” affinché il maggior numero di persone (non tutti, ahi noi) capisca come funziona, quali conseguenze ha ogni comando? Se è questa l’intenzione di Giovanni, il software che auspica ha quasi tutte le caratteristiche essenziali dell’alfabeto e dovrebbe evitare molti difetti dell’IA, ammesso che sia applicabile all’IA, cosa che ignoro totalmente. - - - Ma … Giovanni ha anche istillato un dubbio, oppure ha dato una certezza: < ah quante cose si possono fare potendo analizzare gli algoritmi! >. Quanti possono analizzare gli algoritmi? Nel contesto alfabetico, alla sola condizione di essere alfabetizzata ogni persona si rende conto che “a” è a, che “b” è b e così via. Il contesto digitale è post-alfabetico, ed è molto più problematica la verifica che “a” è a, che “b” è b e così via. Torniamo ad una condizione analoga a quella degli scriba dell'antico Egitto? Credo che i problemi nascano da qui: nel contesto alfabetico la persona (diventata “agente umano”) può verificare direttamente senza mediazioni, questo non accade nel contesto digitale nel quale ogni persona “NECESSARIAMENTE” deve accettare una delega di conoscibilità. - - - Se interessa continuare, la transizione digitale potrebbe anche portare alla scomparsa del genere umano quale lo conosciamo - LIBERO -, quasi un ritorno alla materia. Ovviamente spero che prevalga l’impegno di questa lista ma molti segnali indicano difficoltà enormi. ? … automaticamente servi … ? Serena domenica, a dispetto di quanto sopra. Duccio (Alessandro Marzocchi)

Nov. 13, 2022

Mastodon vs. twitter

by Stefano Quintarelli

Buongiorno forse puo' essere di qualche interesse per questa lista un post che ho scritto qui Mastodon come alternativa a Twitter; Mastodon non è Twitter, è antivirale per costruzione; La sfida principale di ogni community. https://blog.quintarelli.it/2022/11/mastodon-come-alternativa-a-twitter-mas… buona domenica!

Nov. 13, 2022

Re: [nexa] “Automaticamente illegali”. Una proposta per i sistemi di intelligenza artificiale

by Daniela Tafani

Buongiorno 380°, grazie di aver condiviso le sue osservazioni e riflessioni. Provo ad aggiungere solo qualche considerazione sommaria, su alcuni punti, raggruppando le domande: 1. Ci sono tantissimi software non-AI che sono utilizzati per classificare e produrre decisioni, non è una caratteristica "discriminante" dei software AI: sbaglio? Nel caso del software AI cosa c'è di differente sotto questo aspetto? Non ho il diritto di conoscere i meccanismi di funzionamento del software che /decide/ che un tale fenomeno è così invece che "cosà"? Una differenza rilevante dal punto di vista giuridico e politico è interna alla cosidetta AI ed è quella che caratterizza i sistemi di machine learning (ML) rispetto all'IA simbolica. Frank Pasquale e Gianclaudio Malgieri parlano di IA e l'ho fatto perciò anch'io (malgrado trovi molto più appropriato, come ha proposto Stefano Quintarelli, parlare di SALAMI), ma ho specificato fin dalla prima riga che la questione riguarda i sistemi di apprendimento automatico. Ciò che distingue tali sistemi è la potenza in alcune specifiche prestazioni e al tempo stesso l'opacità: grazie a sistemi sostanzialmente statistici (concordo, purché teniamo presente che parlare di "statistiche" induce a pensare a quelle elaborate da esseri umani, che distinguono le correlazioni pertinenti da quelle assurde e distinguono, tra le correlazioni, i nessi causali), otteniamo oggi, almeno apparentemente, la possibilità di automatizzare ciò che ritenevamo si potesse replicare solo dopo averlo compreso, concettualizzato e tradotto in termini computazionali (ad esempio, la predizione di stringhe di testo o la classificazione di immagini). L'opacità è una differenza cruciale, giuridicamente, perché se adopero un sistema fondato sul calcolo simbolico per decidere, ad esempio, a quali sedi assegnare i docenti delle scuole superiori, posso farlo scegliendo quali variabili pesare, e quanto. Se utilizzo un sistema ML non sarò in grado di spiegare perché mai un dato docente sia stato assegnato "dall'algoritmo" a una data scuola. Di qui la sentenza del TAR del Lazio che ha dato ragione ai docenti ricorrenti, ribadendo che il ricorso a una procedura informatica non può essere una ragione per eludere i principi del nostro ordinamento, evitando, nel caso in oggetto, di motivare l'assegnazione a una certa sede: https://www.giustizia-amministrativa.it/portale/pages/istituzionale/visuali… Questa opacità è oggetto di due narrazioni: a. quella finanziata e diffusa dai GAFAM, che antropomorfizza l'IA: - assimilando l'opacità dei sistemi sub-simbolici all'imperscrutabilità delle intenzioni umane (non posso aprire la black box del sistema ML così come non posso leggere nel cuore - o nel cervello - umano) - confondendo la traduzione in termini computazionali con una garanzia di salomonica imparzialità, oggettività e giustizia (l'incredibile abbaglio, o imbroglio, che vige ormai pressoché incontrastato) - presentando le discriminazioni, sensate e insensate (generate cioè dall'appartenenza a un gruppo giuridicamente tutelato oppure da un pixel in una foto) come un problema tecnico, risolvibile sulla base dell'"etica dell'IA", anziché come una caratteristica costitutiva e al momento ineliminabile dei sistemi ML, a causa dei molti "debiti etici" contratti nel corso della loro costruzione, in virtù delle "scorciatoie" adottate (le due espressioni, azzeccatissime, sono di Nello Cristianini). b. quella dei critici delle decisioni algoritmiche, che documentano i danni, le ingiustizie, le insensatezze, le discriminazioni a carico di tutti i soggetti ai margini e chiedono che tali soggetti siano coinvolti nella costruzione dei sistemi informatici che saranno poi utilizzati per prendere decisioni giudiziarie, mediche, finanziarie, occupazionali o educative che li riguardano. 2. Analisi di /quali/ rischi, per un software?!? Rischio di "bias", "falsi positivi", "attacchi alla supply-chain", "violazione del GDPR"? I servizi di Facebook o Google violano il GDPR ma non la normativa USA, sono (potenzialmente?) illegali in EU: c'è bisogno di una analisi dei rischi per stabilirlo? Considerati i problemi del software analizzati prima (correlazione e attacchi) la valutazione dei rischi fino dove si dovrebbe spingere? Analizzo il mio software o devo analizzare anche i componenti terzi? Se si, fino a che livello devo spingermi, fino alla radice dell'intera catena di build? La parte sulle licenze e le certificazioni è quella che lascia perplessa anche me, soprattutto perché intravedo un ennesimo ethics washing, con la soluzione dell'etica come requisito tecnico (o addirittura, come già è stato proposto, dell'etica come servizio). Quello che trovo apprezzabile, nella proposta di Pasquale e Malgieri, è il coraggio di chiedere che la legge vieti che che un sistema di un certo tipo, con certi limiti intrinseci, sia spacciato per il re taumaturgo. Non può farmi parlare con i morti, guidare da solo un'auto in città, vaticinare l'abbandono scolastico, fornire assistenza mentale, predire le prestazioni lavorative a partire dal video di un colloquio, emettere sentenze e sostituire i medici. E invece sono già in commercio applicazioni, o promesse, per ciascuna di queste magie. E tutta questa snake oil AI si basa sulla cattura, estorsione, espropriazione, a volte semplice furto, di dati personali (donde il nesso strettissimo con la bolla giuridica). Proprio per questo mi pare sensato proporre l'illegalità tout court di questi sistemi e attribuire a chi voglia invece utilizzarli l'onere di dimostrare che non lo sono e di giustificare, tra le altre, la pertinenza dei dati utilizzati, rispetto al fine, nonché la proporzionalità. Anche per i sistemi seri e utili, come quelli in ambito medico, ci sono infatti rischi: se l'erogatore di sapone in albergo non funziona quando la mano è nera, ci accorgiamo del mal funzionamento (generato, in fase di progettazione, dal consueto assunto che il genere o il colore dominanti siano neutri e universali). Se qualcosa di analogo avviene nell'automatizzazione della diagnostica per immagini, le conseguenze sono più pesanti e può darsi che ce ne accorgiamo, per qualcuno, troppo tardi. Il riferimento all'articolo di Doctorow non era tanto sulla questione della fiducia, su cui ci sono lavori più pertinenti, quanto per una spiegazione incisiva e accessibile di cosa siano gli attacchi avversari ai sistemi ML. Mi scuso di non aver avuto il tempo di scrivere una risposta più breve. Grazie ancora. Buona domenica, Daniela ________________________________ Da: 380° <g380(a)biscuolo.net> Inviato: sabato 12 novembre 2022 17:29 A: Daniela Tafani; nexa(a)server-nexa.polito.it Oggetto: Re: [nexa] “Automaticamente illegali”. Una proposta per i sistemi di intelligenza artificiale Buongiorno Daniela grazie mille per la segnalazione! Mi permetto di sottoporre i miei commenti, mi perdoni Daniela se dico cose che lei probabilmente già sa ma... mi serve per capirci Chiedo scusa per l'estrema lunghezza del messaggio, tuttavia non c'è alcuna fretta di leggere e tantomeno di rispondere se del caso :-) Daniela Tafani <daniela.tafani(a)unipi.it> writes: [...] > e ho utilizzato questa tua espressione in un mio post di oggi, > > nel quale segnalo una proposta che può forse interessare a questa lista: Io lo spererei proprio :-) > "Automaticamente illegali". Una proposta per i sistemi di intelligenza > artificiale > Bollettino telematico di filosofia politica <https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-p…> [https://btfp.sp.unipi.it/wp-content/uploads/2022/11/facedetection.jpg]<https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-p…> "Automaticamente illegali". Una proposta per i sistemi di intelligenza artificiale > Bollettino telematico di filosofia politica<https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-p…> btfp.sp.unipi.it Overlay journal of political philosophy Parliamone... :-) Quelli che commento sono estratti del suo articolo, inclusi nei "cut here start/end" --8<---------------cut here---------------start------------->8--- I sistemi di intelligenza artificiale basati sull’apprendimento automatico (machine learning) sono utilizzati per ottenere classificazioni o produrre decisioni --8<---------------cut here---------------end--------------->8--- Ci sono tantissimi software non-AI che sonon utilizzati per classificare e produrre decisioni, non è una caratteristica "discriminante" dei software AI: sbaglio? --8<---------------cut here---------------start------------->8--- che hanno effetti rilevanti sulle vite delle persone, a una velocità e su una scala che non consentono un controllo umano significativo. --8<---------------cut here---------------end--------------->8--- Idem come sopra, è dagli anni '50 del secono scorso che negli USA (e poi progressivamente altrove) il software è usato per calcolare il credit score [1] Sistemi analoghi di "decision-making" e "advertising" sono stati sviluppati a ruota: «per determinare prezzi personalizzati delle assicurazioni auto e per quelle sulla salute, per calcolare i tassi ipotecari, gli affitti o le assunzioni lavorative; liste di potenziali “clienti” venivano cedute per proporre nuovi prodotti o nuove campagne pubblicitarie.» [1] Nel caso del software AI cosa c'è di differente sotto questo aspetto? --8<---------------cut here---------------start------------->8--- la quantità dei dati di partenza e la potenza di calcolo richiesta per la loro elaborazione fanno sì che la presenza di un essere umano nel processo (human in the loop) non sia in grado di fornire alcun controllo rilevante. --8<---------------cut here---------------end--------------->8--- Sul software di cui sopra /nessuno/ degli utilizzatori - intendo gli impiegati delle agenzie di valutazione del rischio e dei loro clienti - o delle persone oggetto di indagine finanziaria poteva esercitare un controllo, non perché la velocità e la scala con la quale un computer calcola non lo consente, ma perché il software binario è sempre una black box [1] e non solo quando è software AI. Una volta che la black box viene mandata in esecuzione, cioè il software binario diventa un processo, non ci può essere nessun "human in the loop" nei cicli di clock di una CPU :-): al massimo agli umani è dato (dai programmatori) un /minimo/ grado di libertà di influire sul processo attraverso una interfaccia [2], ma /mai/ di "esercitare controllo" sulla black box. --8<---------------cut here---------------start------------->8--- questi sistemi sono infatti sono costitutivamente opachi (black box), soggetti a errori madornali – in quanto fondati su correlazioni statistiche di ogni genere, senza accesso al significato o al contesto – e ad attacchi avversari non rilevabili. --8<---------------cut here---------------end--------------->8--- Queste, rispetto al software non-AI, sono le caratteristiche probabilmente preponderanti, però non sono esclusive del software AI, se analizziamo la AI nei suoi elementi costitutivi [3] É vero che il software AI (modello ricavato attraverso ML) è sostanzialmente "correlazione statistica" (semplifico eccessivamente?) ma il "vizietto" di ABUSARE della statistica [4] non è per nulla figlio della AI [5] [6], anzi a mio avviso è /esattamente/ l'opposto. Qui però non approfindiamo nel merito la questione del ruolo della statistica nella science crisis, perché andremmo OT: era solo per dire che esiste ed essendo il "discorso tecnico" strettamente legata al "discorso scientifico" occorre tenerne conto: «It's science's dirtiest secret: The ‘scientific method’ of testing hypotheses by statistical analysis stands on a flimsy foundation.» [7] (semmai ne parliamo in lista AISA :-) ) É vero che il software AI è (forse) più soggetto ad attacchi non rilevabili alla **supply chain** rispetto al software non-AI [8], compiler inclusi, ma anche il software non-AI binario è il risultato di una supply (build) chain complessa e alla cui base ci sono /sempre/ "binary blobs" (black boxes). In altre parole: "Reflections on Trusting Trust" [9] vale /anche/ per il software-AI: chi ha dei dubbi in merito? Questo sì che, se serve, potremmo approfondire qui, perché /volendo/ ci sono soluzioni. «So how can we know anything about computers?» [8]: parliamone! Per ora voglio solo sottolineare che "Reflections on Trusting Trust" è del 1984 (1984!) e nel frattempo il software (proprietario) è stato usato senza farsi troppi problemi /anche/ a livello accademico... è solo da poco tempo che si stanno studiando e applicando soluzioni. --8<---------------cut here---------------start------------->8--- Come osserva Andrea Bertolini, la dicotomia tra soggetti giuridici e oggetti non è superabile, tertium non datur, e l’unica classificazione ammissibile di tutte le tecnologie avanzate esistenti e ragionevolmente prevedibili – senza indulgere in tentazioni fantascientifiche – è quella di cose, oggetti e artefatti, prodotti dell’intelletto umano. Così concepite, esse rientrano chiaramente nella nozione di prodotto --8<---------------cut here---------------end--------------->8--- Il fatto è che /giuridicamente/ i prodotti /fisici/, ovviamente anche quelli dotati di automatismi come i software-AI, devono essere trattati come tali /quindi/ sottoposti a "direttiva macchine" o "marcatura CE"... ma non il software in quanto tale, per favore! Giuridicamente il software è incluso nelle opere d'ingegno, ed è cosa buona e giusta. Non sono i programmatori che decidono di incorporare il software in una macchina o un prodotto senza effettuare l'analisi dei rischi e eventualmente implementare adeguate misure di protezione. Non sono i programmatori a decidere che certi aerei /improbabili/ possono volare lo stesso con una spruzzata di AI (AI?) sopra [10]. --8<---------------cut here---------------start------------->8--- La fragilità della situazione è quella di una bolla giuridica, per usare un’espressione di Marco Giraudo: le grandi compagnie tecnologiche hanno fondato infatti il loro modello di business sull’appropriazione e la commercializzazione dei dati personali, in violazione di diritti giuridicamente tutelati, scommettendo su un successivo “salvataggio giuridico”, in nome dell’inarrestabilità dell’innovazione tecnologica. --8<---------------cut here---------------end--------------->8--- Attenzione però che la bolla giuridica riguarda la privacy dei dati personali usati come niente fosse sia con software AI che con software non-AI, non i dati in generale o il software. In merito agli argomenti usati nell'articolo per condannare l'abuso dei dati /personali/ (anche) nel calcolo dei modelli alla base di alcuni software AI sono più che d'accordo, però ci sono un'enormità di dati non personali che vengono "utilizzati per ottenere classificazioni o produrre decisioni che hanno effetti rilevanti sulle vite delle persone": sui sistemi che usano quei dati non vogliamo dire o fare niente? Non ho il diritto di conoscere i meccanismi di funzionamento del software che /decide/ che un tale fenomeno è così invece che "cosà"? --8<---------------cut here---------------start------------->8--- Frank Pasquale e Gianclaudio Malgieri. La loro proposta è di disciplinare i modelli di IA ad alto rischio incorporati oggi in prodotti e servizi attraverso una presunzione di illegalità, ossia entro un sistema di “illegalità di default”: fino a prova contraria, tali sistemi dovrebbero essere considerati illegali, e l’onere della prova contraria dovrebbe incombere alle aziende. Prima di immettere sul mercato un prodotto o un servizio che incorpori sistemi di IA ad alto rischio, le aziende – a partire da quelle che esercitano ormai, per dimensioni e prerogative, una sovranità funzionale – avrebbero l’obbligo di dimostrare che la loro tecnologia non è discriminatoria, non è manipolatoria, non è iniqua, non è inaccurata e non è illegittima nelle sue basi giuridiche e nei suoi scopi. --8<---------------cut here---------------end--------------->8--- Nell'articolo [12] il processo di /certificazione/ viene descritto così: --8<---------------cut here---------------start------------->8--- pre-approval model in which some AI developers, before launching their systems into the market, must perform a preliminary risk assessment of their technology followed by a self-certification. --8<---------------cut here---------------end--------------->8--- Analisi di /quali/ rischi, per un software?!? Rischio di "bias", "falsi positivi", "attacchi alla supply-chain", "violazione del GDPR"? I servizi di Facebook o Google violano il GDPR ma non la normativa USA, sono (potenzialmente?) illegali in EU: c'è bisogno di una analisi dei rischi per stabilirlo? MCAS [11] è stato immesso /indirettamente/ sul mercato perché usato come componente essenziale per la sicurezza del 737 MAX, poi Boeing ha effettuato una analisi dei rischi a mio avviso (e non solo mio) RIDICOLA e FAA (non Boeing) ha certificato l'idoneità dell'aereo sulla base di quelle analisi. Considerati i problemi del software analizzati prima (correlazione e attacchi) la valutazione dei rischi fino dove si dovrebbe spingere? Analizzo il mio software o devo analizzare anche i componenti terzi? Se si, fino a che livello devo spingermi, fino alla radice dell'intera catena di build? Davvero la certificazione dei sistemi hardware+software, anche se effettuata terze parti, è una soluzione efficace nonostante si sia dimostrata nel tempo fallace [13]. “Thus, the security problem of specific computer systems must, at this point in time, be solved on a case-by-case basis, employing the best judgement of a team consisting of system programmers, technical hardware and communications specialists, and security experts.” [Security controls for computer systems (aka Ware Report), 1970] [14] Ho una modesta proposta in alternativa: perché invece che «illegal by default» non chiediamo che il software - almeno quelli che "sono utilizzati per ottenere classificazioni o produrre decisioni che hanno effetti rilevanti sulle vite delle persone," (cit.) [15] - sia «free software by default», l'unico sistema che consentirebbe di "certificare" in modo distribuito e indipendente che il software non sia affetto da uno o più degli innumerevoli problemi di cui si discute molto? La stessa cosa, ovvamente, dovrebbe valere anche (anzi sporattutto, considerato che il rischio di abuso è forse più alto) anche per i software AI, perché è decisamente /fattibile/ [16]: The takeaway message is that for a machine-learning model to be trustworthy, you need to assure the provenance of the whole chain: the model itself, the software tools used to compile it, the training data, the order in which the data are batched and presented – in short, everything. Un problema di natura tecnica, come questo o per esempio il fatto che Internet /tecnicamente/ fa schifo [17] (questo tra l'altro ha ricadute pesantissime sulla privacy delle persone), può essere risolto solo tecnicamente. Un problema giuridico, semmai, è stato quello di non essere stati in grado di riconoscere per tempo che "code is law": nessuno accetterebbe una "macchina della giustizia" che /eseguisse/ i processi (pun intended) con un "Codice di Procedura Penale/Civile binario" (black box), sputando sentenze come output. Peché dovrebbe essere diverso con una diagnosi medica, una valutazione finanziaria, ecc? Allora perché non /pretendiamo/ che il software che utilizziamo noi stessi o che viene utilizzato da altri in un processo decisionale che ci riguarda - dalle sentenze fino alla pubblicità mirata, dal filtro dei messaggi via social fino alla concessione di finanziamenti - non sia libero come il Codice di Procedura Penale/Civile? ...in modo che tutti possano partecipare, se lo vogliono e hanno le adeguate competenze, come previsto nell'Art. 3 della nostra costituzione: E` compito della Repubblica rimuovere gli ostacoli di ordine economico e sociale, che, limitando di fatto la libertà e l'eguaglianza dei cittadini, impediscono il pieno sviluppo della persona umana e l'effettiva partecipazione [...] all'organizzazione politica, economica e sociale del Paese. Non trovate che una black box (software binario, niente codice sorgente) sia uno di quegli ostacoli da /rimuovere/? :-O Saluti, 380° [1] https://www.ilpost.it/carloblengino/2019/06/09/la-piu-longeva-e-invasiva-so… [https://www.ilpost.it/wp-content/uploads/2019/06/Who-am-I.png]<https://www.ilpost.it/carloblengino/2019/06/09/la-piu-longeva-e-invasiva-so…> L’inizio della sorveglianza di massa negli Stati Uniti - Carlo Blengino<https://www.ilpost.it/carloblengino/2019/06/09/la-piu-longeva-e-invasiva-so…> www.ilpost.it Una storia sul controllo dei dati dei consumatori dal 1968, quando non c'era internet e i computer erano molto diversi [2] o una backdoor... o attraverso un exploit (spessissimo non voluto)... [3] https://nooscope.ai/ [http://nooscope.ai/nooscope-facebook-og.jpg]<https://nooscope.ai/> The Nooscope Manifested<https://nooscope.ai/> nooscope.ai AI as Instrument of Knowledge Extractivism. By Matteo Pasquinelli and Vladan Joler [4] https://purl.archive.org/dtafanicit/Calude [5] https://www.nature.com/articles/d41586-019-00857-9 [6] https://www.tandfonline.com/toc/utas20/73/sup1?nav=tocList [https://covers.tandf.co.uk/og/UTAS.png]<https://www.tandfonline.com/toc/utas20/73/sup1?nav=tocList> The American Statistician: Vol 73, No sup1<https://www.tandfonline.com/toc/utas20/73/sup1?nav=tocList> www.tandfonline.com All journal articles featured in The American Statistician vol 73 issue sup1 [7] https://amstat.tandfonline.com/doi/full/10.1080/00031305.2016.1154108#.XInv… [https://covers.tandf.co.uk/og/UTAS.png]<https://amstat.tandfonline.com/doi/full/10.1080/00031305.2016.1154108#.XInv…> Full article: The ASA Statement on p-Values: Context, Process, and Purpose<https://amstat.tandfonline.com/doi/full/10.1080/00031305.2016.1154108#.XInv…> amstat.tandfonline.com Published in The American Statistician (Vol. 70, No. 2, 2016) [8] https://pluralistic.net/2022/10/11/rene-descartes-was-a-drunken-fart/#trust… «Those backdoors rely on the target outsourcing their model-training to an attacker.». Il problema della "underspecification" e dei "data-set spannometrici" non sono specifici del software. [9] https://www.cs.cmu.edu/~rdriley/487/papers/Thompson_1984_ReflectionsonTrust… [11] https://www.pointswithacrew.com/can-boeing-fix-a-potentially-faulty-737-max… [https://www.pointswithacrew.com/wp-content/uploads/2017/03/Boeing_737_MAX-A…]<https://www.pointswithacrew.com/can-boeing-fix-a-potentially-faulty-737-max…> Can Boeing fix a potentially faulty 737 MAX design with software? - Points with a Crew<https://www.pointswithacrew.com/can-boeing-fix-a-potentially-faulty-737-max…> www.pointswithacrew.com Boeing has announced an update for the MCAS system of their new 737 MAX aircraft. But will this be enough to render the aircraft safe? [12] https://brusselsprivacyhub.com/2022/06/01/brussels-privacy-hub-working-pape… [13] How Certification Systems Fail: Lessons from the Ware Report† https://www.cl.cam.ac.uk/~rja14/Papers/ieeesp12warereport.pdf [14] https://csrc.nist.gov/csrc/media/publications/conference-paper/1998/10/08/p… [15] quale software non ha un effetto rilevante sulle vite delle persone? [16] https://www.lightbluetouchpaper.org/2022/10/10/ml-models-must-also-think-ab… [17] https://youbroketheinternet.org/ -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>. Introduction | Stallman Support<https://stallmansupport.org/> stallmansupport.org False accusations were made against Richard Stallman in September 2019. They started a cascade of difamatory reactions that spread like wildfire, fueled by misquotes and misrepresentation of events in mainstream headlines, blogs, and social media that ultimately led to Stallman's resignation from his positions at Mit and the FSF

Nov. 13, 2022

Re: [nexa] critica di harari (Stefano Quintarelli)

by J.C. DE MARTIN

Sulla tecnica mi permetto di segnalare la lezione di Carlo Galli di questo pomeriggio a Biennale Tecnologia: https://www.biennaletecnologia.it/sessioni/i-principi-storico-filosofici-de… Se i demoni della tecnica non ci mettono lo zampino, prossimamente (qualche settimana?) ci sarà la registrazione online. jc On 12/11/22 16:01, karlessi wrote: > Buongiorno, > > finalmente qualcuno con una critica ben argomentata su Harari! > Parecchie suoi scritti osannati come discorsi "rivoluzionari" mi sono > risultati davvero indigesti; senz'altro saggi non da storico ma da > futurologo poco accorto. > > Grazie di cuore! > > Ora attendo qualcun* che faccia lo stesso con Byung-Chul Han, maitre à > penser apodittico (ben più di Harari), a mio parere afflitto da una > tecnofobia derivata da uno dei suoi maestri, Heidegger [1], e come il > maestro del tutto digiuno di pratica concreta con il digitale. > > l'ultimo suo Einaudi, "Le non-cose", IMHO è un'accozzaglia di > pregiudizi spacciati come verità dall'alto di una cattedra filosofica. > > grazie a chi ha energie e capacità per leggere a fondo e criticare > (vagliare, discernere) i (troppi) discorsi sulle "nuove tecnologie" > > k. > > [1] mi riferisco in particolare a "La questione della tecnica", "Die > frage nach der technik", 1953, da cui discendono i discorsi sul > "dispositivo" (Ge-stell) che dispone il mondo, la "gente", il > destino... Al di là del nazionalsocialismo, che pure è sua innegabile > caratteristica, Heidegger non sapeva granché di tecnica, certo non di > reti e macchine digitali. Eppure ha disgraziatamente influenzato molto > del pensiero contemporaneo. Se la tecnica oggi è considerata cosa > "apolitica", quadro generale di un'epoca svincolata dalle questioni > politiche, molto si deve alla sua pessima idea del "destino tecnico > ineluttabile". > > > >> Message: 6 >> Date: Fri, 11 Nov 2022 23:27:53 +0100 >> From: Stefano Quintarelli <stefano(a)quintarelli.it> >> To: nexa(a)server-nexa.polito.it >> Subject: [nexa] critica di harari >> Message-ID: <1c09dfe2-3f4c-cce0-c55f-f66490a7cbc4(a)quintarelli.it> >> Content-Type: text/plain; charset=UTF-8; format=flowed >> >> confesso di non essere riuscito a leggere tutto il "21 lezioni per il >> xxi secolo" che mi sembrava basato su speculazioni e affermazioni >> apodittiche uscite dal manuale di marketing della silicon valley >> >> Sarah Spiekerman ha scritto un articolo molto puntuto su Harari. >> >> https://www.sarahspiekermann.com/blog-en/the-problem-with-harari%E2%80%99s-… >> >> >> chissa se, e in che misura, fare l'eco alla mitologia della silicon >> valley ha contribuito al suo successo che lo ha portato a divenire un >> maitre a' penser di fama mondiale. >> >> ciao, s. > > >

Nov. 12, 2022

Re: [nexa] The 1960s Experiment Created Today’s Biased Police Surveillance

by 380°

380° <g380(a)biscuolo.net> writes: >> https://slate.com/technology/2022/11/police-beat-algorithm-lbj-ibm.html ah quante cose si possono fare potendo analizzare gli algoritmi! --8<---------------cut here---------------start------------->8--- Weighting, in this instance, was a means to rank the severity of different crimes. For example, crimes like homicide, rape, burglary, larceny, and auto theft were weighted with a score of four, signifying the most severe forms of crimes. Some of the arbitrary—or dare I say biased—nature of these weights can be seen in the lack of weighted differentiation between crimes against humanity like homicide on the one hand, and property crimes like car theft on the other. --8<---------------cut here---------------end--------------->8--- Non c'è che dire, scienza allo stato puro! Saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Nov. 12, 2022

Re: [nexa] The 1960s Experiment Created Today’s Biased Police Surveillance

by 380°

Enrico Nardelli <nardelli(a)mat.uniroma2.it> writes: bellissimo grazie!!! a fini archivistici aggiungo qualche estratto > https://slate.com/technology/2022/11/police-beat-algorithm-lbj-ibm.html --8<---------------cut here---------------start------------->8--- Excerpted from “You Are Not Expected to Understand This”: How 26 Lines of Code Changed the World edited by Torie Bosch. Copyright © 2022 by Princeton University Press. Reprinted by permission of Princeton University Press. In the early 1960s, the Black civil rights revolution raged in the streets across the United States. This quest to build a more racially just and equitable society happened right alongside the computer revolution. Soon the two fused with the advent of the Police Beat Algorithm, a software system to help police departments collect crime data and determine where to focus crime-fighting efforts—and one that that would end up deeply affecting our society from the 1960s up through the present. Why did the Police Beat Algorithm come to exist? What problems prompted the need for its formulation? Who developed it, and to what ends? The answers to each of these questions collectively tell a story about how a little-known computational experiment laid the cornerstone for what would become today’s surveillance infrastructure—one that has deeply and negatively affected communities of color across the globe. [...] IBM’s focus on problem-solving also dictated its marketing strategy. The company’s marketing representatives didn’t peddle prepackaged products. Rather, they engaged leaders in every major industry—from banking to transportation to the military—and simply asked, “What problem do you have?” Then, they promised to marshal IBM’s research and development strength to build customized solutions for its customers—solutions that could be broadly applied and widely scaled. [...] For the President’s Crime Commission, White America’s vision of the Watts uprisings put a face to the problem the president called on them to solve—a problem that they felt required an extraordinary remedy. They found great potential in the new computing technologies that had already revolutionized war and national defense. Computing held so much promise that in the spring of 1966, following the Watts uprisings, Johnson added the Science and Technology Task Force to the Commission to introduce new computational solutions to crime. The president justified the task force’s work by pointing to computing technology’s success in war, national defense, and space exploration: [...] While the president and the Commission held great hope for the solutions the Science and Technology Task Force would produce, they placed their hopes more specifically in the one man whom they appointed to lead it: Saul I. Gass. Gass was a mathematician and operations research pioneer. In 1958 he wrote the first textbook on linear programming—a mathematical modeling technique that seeks to (in large part) influence human behavior by quantifying and understanding the linear relationships between variables. [...] Gass signaled his agreement with the Johnson administration that policing was the institution best equipped to solve America’s crime problem—and therefore developed—the Police Beat Algorithm. [...] The Police Beat Algorithm predominantly addressed four problems associated with police operations: 1) pattern recognition, identifying crime patterns within a set of crime data; 2) profiling, associating crime patterns with probable suspects; 3) dragnetting, linking probable suspects of one crime with past crimes or arrests; and 4) patrol positioning, how to best place patrols within appropriate geographical divisions of the city based on where the most crimes take place and where known criminal suspect profiles predicted who will most likely commit those crimes and where. --8<---------------cut here---------------end--------------->8--- -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Nov. 12, 2022

Re: [nexa] “Automaticamente illegali”. Una proposta per i sistemi di intelligenza artificiale

by 380°

Buongiorno Daniela grazie mille per la segnalazione! Mi permetto di sottoporre i miei commenti, mi perdoni Daniela se dico cose che lei probabilmente già sa ma... mi serve per capirci Chiedo scusa per l'estrema lunghezza del messaggio, tuttavia non c'è alcuna fretta di leggere e tantomeno di rispondere se del caso :-) Daniela Tafani <daniela.tafani(a)unipi.it> writes: [...] > e ho utilizzato questa tua espressione in un mio post di oggi, > > nel quale segnalo una proposta che può forse interessare a questa lista: Io lo spererei proprio :-) > "Automaticamente illegali". Una proposta per i sistemi di intelligenza > artificiale > Bollettino telematico di filosofia politica <https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-p…> Parliamone... :-) Quelli che commento sono estratti del suo articolo, inclusi nei "cut here start/end" --8<---------------cut here---------------start------------->8--- I sistemi di intelligenza artificiale basati sull’apprendimento automatico (machine learning) sono utilizzati per ottenere classificazioni o produrre decisioni --8<---------------cut here---------------end--------------->8--- Ci sono tantissimi software non-AI che sonon utilizzati per classificare e produrre decisioni, non è una caratteristica "discriminante" dei software AI: sbaglio? --8<---------------cut here---------------start------------->8--- che hanno effetti rilevanti sulle vite delle persone, a una velocità e su una scala che non consentono un controllo umano significativo. --8<---------------cut here---------------end--------------->8--- Idem come sopra, è dagli anni '50 del secono scorso che negli USA (e poi progressivamente altrove) il software è usato per calcolare il credit score [1] Sistemi analoghi di "decision-making" e "advertising" sono stati sviluppati a ruota: «per determinare prezzi personalizzati delle assicurazioni auto e per quelle sulla salute, per calcolare i tassi ipotecari, gli affitti o le assunzioni lavorative; liste di potenziali “clienti” venivano cedute per proporre nuovi prodotti o nuove campagne pubblicitarie.» [1] Nel caso del software AI cosa c'è di differente sotto questo aspetto? --8<---------------cut here---------------start------------->8--- la quantità dei dati di partenza e la potenza di calcolo richiesta per la loro elaborazione fanno sì che la presenza di un essere umano nel processo (human in the loop) non sia in grado di fornire alcun controllo rilevante. --8<---------------cut here---------------end--------------->8--- Sul software di cui sopra /nessuno/ degli utilizzatori - intendo gli impiegati delle agenzie di valutazione del rischio e dei loro clienti - o delle persone oggetto di indagine finanziaria poteva esercitare un controllo, non perché la velocità e la scala con la quale un computer calcola non lo consente, ma perché il software binario è sempre una black box [1] e non solo quando è software AI. Una volta che la black box viene mandata in esecuzione, cioè il software binario diventa un processo, non ci può essere nessun "human in the loop" nei cicli di clock di una CPU :-): al massimo agli umani è dato (dai programmatori) un /minimo/ grado di libertà di influire sul processo attraverso una interfaccia [2], ma /mai/ di "esercitare controllo" sulla black box. --8<---------------cut here---------------start------------->8--- questi sistemi sono infatti sono costitutivamente opachi (black box), soggetti a errori madornali – in quanto fondati su correlazioni statistiche di ogni genere, senza accesso al significato o al contesto – e ad attacchi avversari non rilevabili. --8<---------------cut here---------------end--------------->8--- Queste, rispetto al software non-AI, sono le caratteristiche probabilmente preponderanti, però non sono esclusive del software AI, se analizziamo la AI nei suoi elementi costitutivi [3] É vero che il software AI (modello ricavato attraverso ML) è sostanzialmente "correlazione statistica" (semplifico eccessivamente?) ma il "vizietto" di ABUSARE della statistica [4] non è per nulla figlio della AI [5] [6], anzi a mio avviso è /esattamente/ l'opposto. Qui però non approfindiamo nel merito la questione del ruolo della statistica nella science crisis, perché andremmo OT: era solo per dire che esiste ed essendo il "discorso tecnico" strettamente legata al "discorso scientifico" occorre tenerne conto: «It's science's dirtiest secret: The ‘scientific method’ of testing hypotheses by statistical analysis stands on a flimsy foundation.» [7] (semmai ne parliamo in lista AISA :-) ) É vero che il software AI è (forse) più soggetto ad attacchi non rilevabili alla **supply chain** rispetto al software non-AI [8], compiler inclusi, ma anche il software non-AI binario è il risultato di una supply (build) chain complessa e alla cui base ci sono /sempre/ "binary blobs" (black boxes). In altre parole: "Reflections on Trusting Trust" [9] vale /anche/ per il software-AI: chi ha dei dubbi in merito? Questo sì che, se serve, potremmo approfondire qui, perché /volendo/ ci sono soluzioni. «So how can we know anything about computers?» [8]: parliamone! Per ora voglio solo sottolineare che "Reflections on Trusting Trust" è del 1984 (1984!) e nel frattempo il software (proprietario) è stato usato senza farsi troppi problemi /anche/ a livello accademico... è solo da poco tempo che si stanno studiando e applicando soluzioni. --8<---------------cut here---------------start------------->8--- Come osserva Andrea Bertolini, la dicotomia tra soggetti giuridici e oggetti non è superabile, tertium non datur, e l’unica classificazione ammissibile di tutte le tecnologie avanzate esistenti e ragionevolmente prevedibili – senza indulgere in tentazioni fantascientifiche – è quella di cose, oggetti e artefatti, prodotti dell’intelletto umano. Così concepite, esse rientrano chiaramente nella nozione di prodotto --8<---------------cut here---------------end--------------->8--- Il fatto è che /giuridicamente/ i prodotti /fisici/, ovviamente anche quelli dotati di automatismi come i software-AI, devono essere trattati come tali /quindi/ sottoposti a "direttiva macchine" o "marcatura CE"... ma non il software in quanto tale, per favore! Giuridicamente il software è incluso nelle opere d'ingegno, ed è cosa buona e giusta. Non sono i programmatori che decidono di incorporare il software in una macchina o un prodotto senza effettuare l'analisi dei rischi e eventualmente implementare adeguate misure di protezione. Non sono i programmatori a decidere che certi aerei /improbabili/ possono volare lo stesso con una spruzzata di AI (AI?) sopra [10]. --8<---------------cut here---------------start------------->8--- La fragilità della situazione è quella di una bolla giuridica, per usare un’espressione di Marco Giraudo: le grandi compagnie tecnologiche hanno fondato infatti il loro modello di business sull’appropriazione e la commercializzazione dei dati personali, in violazione di diritti giuridicamente tutelati, scommettendo su un successivo “salvataggio giuridico”, in nome dell’inarrestabilità dell’innovazione tecnologica. --8<---------------cut here---------------end--------------->8--- Attenzione però che la bolla giuridica riguarda la privacy dei dati personali usati come niente fosse sia con software AI che con software non-AI, non i dati in generale o il software. In merito agli argomenti usati nell'articolo per condannare l'abuso dei dati /personali/ (anche) nel calcolo dei modelli alla base di alcuni software AI sono più che d'accordo, però ci sono un'enormità di dati non personali che vengono "utilizzati per ottenere classificazioni o produrre decisioni che hanno effetti rilevanti sulle vite delle persone": sui sistemi che usano quei dati non vogliamo dire o fare niente? Non ho il diritto di conoscere i meccanismi di funzionamento del software che /decide/ che un tale fenomeno è così invece che "cosà"? --8<---------------cut here---------------start------------->8--- Frank Pasquale e Gianclaudio Malgieri. La loro proposta è di disciplinare i modelli di IA ad alto rischio incorporati oggi in prodotti e servizi attraverso una presunzione di illegalità, ossia entro un sistema di “illegalità di default”: fino a prova contraria, tali sistemi dovrebbero essere considerati illegali, e l’onere della prova contraria dovrebbe incombere alle aziende. Prima di immettere sul mercato un prodotto o un servizio che incorpori sistemi di IA ad alto rischio, le aziende – a partire da quelle che esercitano ormai, per dimensioni e prerogative, una sovranità funzionale – avrebbero l’obbligo di dimostrare che la loro tecnologia non è discriminatoria, non è manipolatoria, non è iniqua, non è inaccurata e non è illegittima nelle sue basi giuridiche e nei suoi scopi. --8<---------------cut here---------------end--------------->8--- Nell'articolo [12] il processo di /certificazione/ viene descritto così: --8<---------------cut here---------------start------------->8--- pre-approval model in which some AI developers, before launching their systems into the market, must perform a preliminary risk assessment of their technology followed by a self-certification. --8<---------------cut here---------------end--------------->8--- Analisi di /quali/ rischi, per un software?!? Rischio di "bias", "falsi positivi", "attacchi alla supply-chain", "violazione del GDPR"? I servizi di Facebook o Google violano il GDPR ma non la normativa USA, sono (potenzialmente?) illegali in EU: c'è bisogno di una analisi dei rischi per stabilirlo? MCAS [11] è stato immesso /indirettamente/ sul mercato perché usato come componente essenziale per la sicurezza del 737 MAX, poi Boeing ha effettuato una analisi dei rischi a mio avviso (e non solo mio) RIDICOLA e FAA (non Boeing) ha certificato l'idoneità dell'aereo sulla base di quelle analisi. Considerati i problemi del software analizzati prima (correlazione e attacchi) la valutazione dei rischi fino dove si dovrebbe spingere? Analizzo il mio software o devo analizzare anche i componenti terzi? Se si, fino a che livello devo spingermi, fino alla radice dell'intera catena di build? Davvero la certificazione dei sistemi hardware+software, anche se effettuata terze parti, è una soluzione efficace nonostante si sia dimostrata nel tempo fallace [13]. “Thus, the security problem of specific computer systems must, at this point in time, be solved on a case-by-case basis, employing the best judgement of a team consisting of system programmers, technical hardware and communications specialists, and security experts.” [Security controls for computer systems (aka Ware Report), 1970] [14] Ho una modesta proposta in alternativa: perché invece che «illegal by default» non chiediamo che il software - almeno quelli che "sono utilizzati per ottenere classificazioni o produrre decisioni che hanno effetti rilevanti sulle vite delle persone," (cit.) [15] - sia «free software by default», l'unico sistema che consentirebbe di "certificare" in modo distribuito e indipendente che il software non sia affetto da uno o più degli innumerevoli problemi di cui si discute molto? La stessa cosa, ovvamente, dovrebbe valere anche (anzi sporattutto, considerato che il rischio di abuso è forse più alto) anche per i software AI, perché è decisamente /fattibile/ [16]: The takeaway message is that for a machine-learning model to be trustworthy, you need to assure the provenance of the whole chain: the model itself, the software tools used to compile it, the training data, the order in which the data are batched and presented – in short, everything. Un problema di natura tecnica, come questo o per esempio il fatto che Internet /tecnicamente/ fa schifo [17] (questo tra l'altro ha ricadute pesantissime sulla privacy delle persone), può essere risolto solo tecnicamente. Un problema giuridico, semmai, è stato quello di non essere stati in grado di riconoscere per tempo che "code is law": nessuno accetterebbe una "macchina della giustizia" che /eseguisse/ i processi (pun intended) con un "Codice di Procedura Penale/Civile binario" (black box), sputando sentenze come output. Peché dovrebbe essere diverso con una diagnosi medica, una valutazione finanziaria, ecc? Allora perché non /pretendiamo/ che il software che utilizziamo noi stessi o che viene utilizzato da altri in un processo decisionale che ci riguarda - dalle sentenze fino alla pubblicità mirata, dal filtro dei messaggi via social fino alla concessione di finanziamenti - non sia libero come il Codice di Procedura Penale/Civile? ...in modo che tutti possano partecipare, se lo vogliono e hanno le adeguate competenze, come previsto nell'Art. 3 della nostra costituzione: E` compito della Repubblica rimuovere gli ostacoli di ordine economico e sociale, che, limitando di fatto la libertà e l'eguaglianza dei cittadini, impediscono il pieno sviluppo della persona umana e l'effettiva partecipazione [...] all'organizzazione politica, economica e sociale del Paese. Non trovate che una black box (software binario, niente codice sorgente) sia uno di quegli ostacoli da /rimuovere/? :-O Saluti, 380° [1] https://www.ilpost.it/carloblengino/2019/06/09/la-piu-longeva-e-invasiva-so… [2] o una backdoor... o attraverso un exploit (spessissimo non voluto)... [3] https://nooscope.ai/ [4] https://purl.archive.org/dtafanicit/Calude [5] https://www.nature.com/articles/d41586-019-00857-9 [6] https://www.tandfonline.com/toc/utas20/73/sup1?nav=tocList [7] https://amstat.tandfonline.com/doi/full/10.1080/00031305.2016.1154108#.XInv… [8] https://pluralistic.net/2022/10/11/rene-descartes-was-a-drunken-fart/#trust… «Those backdoors rely on the target outsourcing their model-training to an attacker.». Il problema della "underspecification" e dei "data-set spannometrici" non sono specifici del software. [9] https://www.cs.cmu.edu/~rdriley/487/papers/Thompson_1984_ReflectionsonTrust… [11] https://www.pointswithacrew.com/can-boeing-fix-a-potentially-faulty-737-max… [12] https://brusselsprivacyhub.com/2022/06/01/brussels-privacy-hub-working-pape… [13] How Certification Systems Fail: Lessons from the Ware Report† https://www.cl.cam.ac.uk/~rja14/Papers/ieeesp12warereport.pdf [14] https://csrc.nist.gov/csrc/media/publications/conference-paper/1998/10/08/p… [15] quale software non ha un effetto rilevante sulle vite delle persone? [16] https://www.lightbluetouchpaper.org/2022/10/10/ml-models-must-also-think-ab… [17] https://youbroketheinternet.org/ -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Nov. 12, 2022

Re: [nexa] critica di harari (Stefano Quintarelli)

by karlessi

Buongiorno, finalmente qualcuno con una critica ben argomentata su Harari! Parecchie suoi scritti osannati come discorsi "rivoluzionari" mi sono risultati davvero indigesti; senz'altro saggi non da storico ma da futurologo poco accorto. Grazie di cuore! Ora attendo qualcun* che faccia lo stesso con Byung-Chul Han, maitre à penser apodittico (ben più di Harari), a mio parere afflitto da una tecnofobia derivata da uno dei suoi maestri, Heidegger [1], e come il maestro del tutto digiuno di pratica concreta con il digitale. l'ultimo suo Einaudi, "Le non-cose", IMHO è un'accozzaglia di pregiudizi spacciati come verità dall'alto di una cattedra filosofica. grazie a chi ha energie e capacità per leggere a fondo e criticare (vagliare, discernere) i (troppi) discorsi sulle "nuove tecnologie" k. [1] mi riferisco in particolare a "La questione della tecnica", "Die frage nach der technik", 1953, da cui discendono i discorsi sul "dispositivo" (Ge-stell) che dispone il mondo, la "gente", il destino... Al di là del nazionalsocialismo, che pure è sua innegabile caratteristica, Heidegger non sapeva granché di tecnica, certo non di reti e macchine digitali. Eppure ha disgraziatamente influenzato molto del pensiero contemporaneo. Se la tecnica oggi è considerata cosa "apolitica", quadro generale di un'epoca svincolata dalle questioni politiche, molto si deve alla sua pessima idea del "destino tecnico ineluttabile". > Message: 6 > Date: Fri, 11 Nov 2022 23:27:53 +0100 > From: Stefano Quintarelli <stefano(a)quintarelli.it> > To: nexa(a)server-nexa.polito.it > Subject: [nexa] critica di harari > Message-ID: <1c09dfe2-3f4c-cce0-c55f-f66490a7cbc4(a)quintarelli.it> > Content-Type: text/plain; charset=UTF-8; format=flowed > > confesso di non essere riuscito a leggere tutto il "21 lezioni per il xxi secolo" che mi > sembrava basato su speculazioni e affermazioni apodittiche uscite dal manuale di marketing > della silicon valley > > Sarah Spiekerman ha scritto un articolo molto puntuto su Harari. > > https://www.sarahspiekermann.com/blog-en/the-problem-with-harari%E2%80%99s-… > > chissa se, e in che misura, fare l'eco alla mitologia della silicon valley ha contribuito > al suo successo che lo ha portato a divenire un maitre a' penser di fama mondiale. > > ciao, s. -- "tecnologie appropriate - https://alekos.net" "pedagogia hacker - https://circex.org"

Nov. 12, 2022