Re: [nexa] Prompt injection attacks against GPT-3 (was A proposito di Intelligenza Artificiale (GPT-3 e dintorni...))
On 20 Sep 2022, at 12:00, <nexa-request@server-nexa.polito.it> <nexa-request@server-nexa.polito.it> wrote:
Pilots struggled against the new system, which is designed to prevent a stall by automatically pushing the nose down. Tragically, on Flight 610 it was apparently triggered by a sensor delivering a false reading. There was no stall.
il nocciolo della questione è che il Boeing 737 MAX aerodinamicamente non reggeva (era un 737 riadattato, anzi /disadattato/, per farla breve) e il rischio di stallo era altissimo; piuttosto che rifarlo hanno introdotto MCAS: c'è bisogno di aggiungere altro?
Aggiungo. Il Boeing 737 Max era stato riadattato in fretta per recuperare quote di mercato che Airbus stava conquistando col modello A320neo ("the A321neo easily beats off all competition with its vast range and large passenger numbers”). Ma siccome l’aereo era instabile, fu aggiunto un software per controllarlo, il quale però, in certe situazioni mandava l’aereo in stallo e in nose-dive. I progettisti lo sapevano, e avevano aggiunto un bottone sulla plancia, che i piloti potevano utilizzare per disabilitare il software. Ma per l’uso del bottone, occorreva che tutti i piloti si sottoponessero a un percorso di training che sarebbe durato mesi. A quel punto il CdA di Boeing decise di mettere l’aereo in commercio, senza dire nulla alla FAA. Dopo che accaddero due gravi incidenti mortali (346 persone) e si ricondusse la causa a questo software, i 737 Max vennero messi a terra per lungo tempo, causando ingenti danni economici alla Boeing. Un lungo processo si concluse dio recente con la condanna del CdA di Boeing. Il caso è molto illuminante su diversi aspetti che riguardano la tecnologia e il mercato: 1. Se l’Europa non avesse avuto il coraggio di creare il Consorzio Airbus, oggi avremmo un solo produttore di aerei, che da monopolista non avrebbe freni 2. La tecnologia europea può essere migliore di quella americana 3. La tecnologia non può essere mai perfetta, la responsabilità del suo uso rimane a chi sceglie di impiegarla 4. L’avidità economica è più foriera di danni della tecnologia stessa 5. La certificazione non è sufficiente a garantire l’affidabilità di un sistema: Boeing ha aggirato la FAA e comunque la FAA si sarebbe affidata a informazioni fornite da Boeing 6. Nessun software è verificabile, e non è solo una questione che riguarda l’AI, su cui si concentra la discussione attuale 7. Poiché nessun dispositivo complesso è affidabile, la prassi utilizzata è quella dei test più ampi possibili. Ma siccome nemmeno i test sono esaustivi, negli aerei si installano le scatole nere, che registrano tutto quanto avviene, in modo tale da poter analizzare le situazioni impreviste che hanno causato problemi. Dalle analisi si ricavano indicazioni su come modificare i sistemi. In informatica è comune e si chiama "error tracking and software update”. 8. Non è stato condannato né il software, né chi lo ha realizzato, ma l’azienda che lo ha impiegato. Boeing's 737 Max: a Failure of Management, not Just Technology https://cacm.acm.org/magazines/2021/1/249448-boeings-737-max/fulltext — Beppe
Condivido quanto dice Giuseppe evidenziando la criticità di sistemi non solo tecnici, ma socio-tecnici e tecnico-industriali. Preciso che tuttavia mi pare che il CdA di Boeing non sia stato condannato, ma abbia patteggiato in (almeno) tre casi: 1- con gli azionisti, per l'accusa di averli danneggiati con "unsafe business practices". I 237 M$ vengono pagati dalle assicurazioni, non dalla Boeing. <https://www.reuters.com/legal/transactional/boeing-directors-agree-2375-mill...> NB: "Boeing's current and former directors do not admit wrongdoing and assert they were acting in the best interests of Boeing and its stockholders, according to the settlement." <https://abcnews.go.com/Business/wireStory/judge-oks-boeing-settlement-invest...> Questa decisione è stata appellata, a quanto capisco con successo: <https://www.cnbc.com/2022/01/07/us-appeals-court-revives-boeing-737-max-shar...> 2- deferred prosecution agreement (sostanzialmente un patteggiamento) con la FAA, per frode (2G$) per non averla informata delle modifiche software. <https://www.nytimes.com/2021/01/07/business/boeing-settlement-justice-depart...> 3- con le famiglie delle vittime: <https://www.bbc.com/news/business-59236437> <https://www.reuters.com/article/us-boeing-737max-settlement-idUSKBN24838P> A meno che mi siano sfuggite altre cause, in nessuno di questi casi è stata emessa una sentenza. Questo mette in luce l'aspetto tecno-politico: credo che la possibilità estremamente remota di essere condannati sia uno dei motivi che ha consentito ai membri del CdA di prendere le decisioni che hanno preso in merito al 737max. Inoltre la posizione di Boeing è politicamente troppo forte per fallire come meriterebbe, come dimostrano anche le scelte fatte per il vettore SLS (missione Artemis per la Luna) e le difficoltà continue e scandali che hanno tormentato il percorso del KC-46 (in particolare per il software). Non ho ancora visto un recente documentario sullo scandalo 737Max, ma lo segnalo: <https://www.theguardian.com/film/2022/feb/22/downfall-the-case-against-boein...> Ciao, Alberto On 20/09/22 13:01, Giuseppe Attardi wrote:
On 20 Sep 2022, at 12:00, <nexa-request@server-nexa.polito.it> <nexa-request@server-nexa.polito.it> wrote:
Pilots struggled against the new system, which is designed to prevent a stall by automatically pushing the nose down. Tragically, on Flight 610 it was apparently triggered by a sensor delivering a false reading. There was no stall.
il nocciolo della questione è che il Boeing 737 MAX aerodinamicamente non reggeva (era un 737 riadattato, anzi /disadattato/, per farla breve) e il rischio di stallo era altissimo; piuttosto che rifarlo hanno introdotto MCAS: c'è bisogno di aggiungere altro?
Aggiungo. Il Boeing 737 Max era stato riadattato in fretta per recuperare quote di mercato che Airbus stava conquistando col modello A320neo ("the A321neo easily beats off all competition with its vast range and large passenger numbers”). Ma siccome l’aereo era instabile, fu aggiunto un software per controllarlo, il quale però, in certe situazioni mandava l’aereo in stallo e in nose-dive. I progettisti lo sapevano, e avevano aggiunto un bottone sulla plancia, che i piloti potevano utilizzare per disabilitare il software. Ma per l’uso del bottone, occorreva che tutti i piloti si sottoponessero a un percorso di training che sarebbe durato mesi. A quel punto il CdA di Boeing decise di mettere l’aereo in commercio, senza dire nulla alla FAA. Dopo che accaddero due gravi incidenti mortali (346 persone) e si ricondusse la causa a questo software, i 737 Max vennero messi a terra per lungo tempo, causando ingenti danni economici alla Boeing. Un lungo processo si concluse dio recente con la condanna del CdA di Boeing.
Il caso è molto illuminante su diversi aspetti che riguardano la tecnologia e il mercato:
1. Se l’Europa non avesse avuto il coraggio di creare il Consorzio Airbus, oggi avremmo un solo produttore di aerei, che da monopolista non avrebbe freni 2. La tecnologia europea può essere migliore di quella americana 3. La tecnologia non può essere mai perfetta, la responsabilità del suo uso rimane a chi sceglie di impiegarla 4. L’avidità economica è più foriera di danni della tecnologia stessa 5. La certificazione non è sufficiente a garantire l’affidabilità di un sistema: Boeing ha aggirato la FAA e comunque la FAA si sarebbe affidata a informazioni fornite da Boeing 6. Nessun software è verificabile, e non è solo una questione che riguarda l’AI, su cui si concentra la discussione attuale 7. Poiché nessun dispositivo complesso è affidabile, la prassi utilizzata è quella dei test più ampi possibili. Ma siccome nemmeno i test sono esaustivi, negli aerei si installano le scatole nere, che registrano tutto quanto avviene, in modo tale da poter analizzare le situazioni impreviste che hanno causato problemi. Dalle analisi si ricavano indicazioni su come modificare i sistemi. In informatica è comune e si chiama "error tracking and software update”. 8. Non è stato condannato né il software, né chi lo ha realizzato, ma l’azienda che lo ha impiegato.
Boeing's 737 Max: a Failure of Management, not Just Technology https://cacm.acm.org/magazines/2021/1/249448-boeings-737-max/fulltext
— Beppe
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Alberto Cammozzo via nexa <nexa@server-nexa.polito.it> writes:
Condivido quanto dice Giuseppe evidenziando la criticità di sistemi non solo tecnici, ma socio-tecnici e tecnico-industriali.
Secondo me non esistono sistemi puramente tecnici (o pura tecnologia), anche i sistemi c.d. tecnici sono sempre frutto di processi culturali, sociali, politici, economici, industriali e.... informatici. Soprattutto per questo è sempre il caso che in ultima istanza sia l'umano a scegliere come /condurre/ "la macchina". [...] Saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.
Buongiorno, Giuseppe Attardi <attardi@di.unipi.it> writes: [...]
Ma siccome l’aereo era instabile, fu aggiunto un software per controllarlo, il quale però, in certe situazioni mandava l’aereo in stallo e in nose-dive.
I progettisti lo sapevano, e avevano aggiunto un bottone sulla plancia, che i piloti potevano utilizzare per disabilitare il software.
Ma per l’uso del bottone, occorreva che tutti i piloti si sottoponessero a un percorso di training che sarebbe durato mesi.
Conoscendo abbastanza bene la Direttiva Macchine 2006/42/CE (che credo comunque non si applichi agli aerei, sigh!) ogni volta che leggo "training per usare il bottone di emergenza" mi cascano le braccia: se in caso di incidente il produttore di un tornio CNC (o qualsiasi altra macchina) dicesse una cosa del genere in tribunale, sono quasi sicuro gli darebbero l'aggravante della copla grave --8<---------------cut here---------------start------------->8--- [...] La macchina deve essere munita di uno o più dispositivi di arresto di emergenza, che consentano di evitare situazioni di pericolo che rischino di prodursi nell'imminenza o che si stiano producendo. Il dispositivo deve: — comprendere dispositivi di comando chiaramente individuabili, ben visibili e rapidamente accessibili, — provocare l'arresto del processo pericoloso nel tempo più breve possibile, senza creare rischi supplementari, [...] La funzione di arresto di emergenza deve essere sempre disponibile e operativa a prescindere dalla modalità di funzionamento. I dispositivi di arresto di emergenza devono offrire soluzioni di riserva ad altre misure di protezione e non sostituirsi ad esse. --8<---------------cut here---------------end--------------->8--- (tratto da Art. 1.2.4.3. - Arresto di emergenza https://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=OJ:L:2006:157:0024:00... ) MCAS, in questo caso, è "la macchina". [...]
3. La tecnologia non può essere mai perfetta, la responsabilità del suo uso rimane a chi sceglie di impiegarla
Responsabilità che, in casi come questo, **deve** essere in capo ai /conduttori/ della macchina, non ai progettisti (spesso /ricattati/ dai CdA). Come ho detto, su questo fronte non c'è niente di nuovo da inventare, basterebbe applicare lo stato dell'arte delle conoscenze tecnico/giuridiche in materia, non c'è bisogno di ripercorrere da capo la storia dell'industrializzazione dalla catena di montaggio in poi "solo" perché c'è di mezzo un software che comanda un attuatore. [...]
5. La certificazione non è sufficiente a garantire l’affidabilità di un sistema: Boeing ha aggirato la FAA e comunque la FAA si sarebbe affidata a informazioni fornite da Boeing
Sul fatto che la certificazione è ampiamente sopravvalutata mi trovo più che d'accordo ... resta la curiosità di poter mettere il naso nel documento FMEA del progetto.
6. Nessun software è verificabile, e non è solo una questione che riguarda l’AI, su cui si concentra la discussione attuale
Sì ma c'è modo e modo di non essere verificabile: un conto è (non poter assolutamente) verificare il binario (possiamo paragonare il software model ottenuto per mezzo di deep learning a un binario?) e altro conto è /approssimare asintoticamente/ la verifica del codice sorgente attraverso una o più tecniche di software testing https://en.wikipedia.org/wiki/Software_testing Poi sì, resta sempre il **non trascurabile** problema di come fare a verificare se le dipendenze del processo di build di un binario non introducano backdoors: su questo fronte direi che GNU Mes e l'intero progetto "bootstrappable builds" costituiscono finalmente (è dal 1984 che stiamo aspettanto!) una ottima soluzione. Infine, resta l'annoso problema del "Undefined behavior" di alcuni linguaggi di programmazione, tra cui il C, che è la causa del 80% di tutti i problemi di sicurezza del software. [...] Saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.
participants (3)
-
380° -
Alberto Cammozzo -
Giuseppe Attardi