nexa
By thread
nexa@server-nexa.polito.it
By month
Messages by month
- ----- 2026 -----
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2025 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2024 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2023 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2022 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2021 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2020 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2019 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2018 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2017 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2016 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2015 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2014 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2013 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2012 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2011 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2010 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2009 -----
- December
- November
- October
- September
- August
- July
- June
- May
April 2023
- 52 participants
- 361 messages
Re: [nexa] Non c’è crisi tecnologica in Silicon Valley
by Giacomo Tesio
Salve,
Scusate il doppio invio, ma temo che a causa di un errore di
configurazione di uno dei miei mail user agent che ho appena notato,
questa mail possa essere stata visualizzata in modo errato da mail user
agent francamente limitanti come Outlook o GMail.
Vi era infatti allegata stata una bozza assolutamente preliminare in
HTML che, per come funzionano certi software chiaramente fallati,
nasconde completamente il testo semplice che carattarizzava il vero
contenuto del messaggio che intendevo condividere.
Mi scuso con chi, usando un client più serio, l'avesse già letta: non
vi ho aggiunto nulla.
Rispondevo a Giulio, che aveva condiviso l'intervista, ma ovviamente i
miei ringraziamenti vanno anche a Stefano, che non era ancora
intervenuto nel thread quando avevo iniziato la stesura.
Giacomo
PS è comunque sempre una buona occasione per suggerire a tutti di
evitare come la peste sia Outlook che GMail! :-p
______
Grazie Giulio,
Il 8 Aprile 2023 07:59:53 UTC, de petra giulio ha scritto:
>Intervistato e intervistatore entrambi nexiani
>
>https://centroriformastato.it/non-ce-crisi-tecnologica-nella-silicon-valley/
Ottima analisi economico-finanziaria, perfettamente complementare
all'analisi cibernetica (e dunque politica, storica e culturale) che
potrebbe offrire, ad esempio, un hacker.
Ad esempio, ad un'analisi cibernetica, non sarebbe sfuggito un'altra
funzione fondamentale dei tanti licenziamenti recenti: il messaggio
forte e chiaro ai lavoratori che dovessero anche solo pensare di
aderire ai nascenti movimenti sindacali fra le Big Tech.
Sindacati come Alphabet Workers Union o Amazon Labor Union, sono
ancora interamente ed inevitabilmente influenzati dalla cultura
pseudo-futurista e proto-fascista che caratterizza le loro aziende
e la loro propaganda sulle magnifiche sorti e progressive. [1]
Ma nonostante questo, nonostante la strutturale debolezza che tale
cultura rappresenta per qualsiasi speranza di syn dike, di stare insieme
con giustizia, la loro stessa esistenza terrorizza le persone che stano
a capo di queste aziende.
E' un terrore atavico che Robert Noyce, co-fondatore di Intel,
sintetizzo magistralmente ben prima della nascita dei GAFAM:
"remaining non-union is an essential for survival for most of our
companies. If we had the work rules that unionized companies have,
we'd all go out of business. This is a very high priority for
management here. We have to retain flexibility in operating our
companies. The great hope for our nation is to avoid those deep,
deep divisions between workers and management which can paralyze
action." [2]
Anche Noyce si curava di non menzionare un conflitto fra capitalisti e
lavoratori, ma parla di "divisioni fra lavoratori e management",
usando come proxy verso i lavoratori, altri lavoratori (i manager)
premiati con migliori remunerazioni proprio per il loro allineamento
alla politica di chi l'azienda la possiede.
Da una prospettiva cibernetica, queste migliaia di licenziamenti
hanno dunque una funzione evidente: inviare a tutti i lavoratori
presenti e futuri un messaggio forte e chiaro, un messaggio
intimidatorio "non pensateci nemmeno! o perderete il vostro lavoro".
Si tratta di un messaggio broadcast che avrà una forte influenza
sull'evoluzione della società cibernetica globale in cui queste
aziende operano.
Ma che ovviamente risulta invisibile ad una prospettiva meramente
economico-finanziaria.
Splendido poi l'esempio emblematico posto da Stefano in conclusione:
```
Giulio De Petra:
Auspichi un CERN della IA che renda disponibile alle aziende
quantità di dati e capacità di calcolo adeguati. Ma anche le
applicazioni della IA avranno conseguenze sociali?
Stefano Quintarelli:
Ti rispondo con un esempio. Se tu sei un medico e usi un
sistema di intelligenza artificiale per fare una diagnosi e sei in
disaccordo con quello che ti suggerisce il sistema hai comunque un
incentivo a uniformarti alla diagnosi del sistema, perché se poi il tuo
paziente muore puoi dire che anche il sistema di IA aveva confermato la
tua analisi. Viceversa, se tu, essendo in disaccordo col sistema,
privilegi la tua opinione e non confermi la diagnosi della IA, e poi il
paziente muore per la tua diagnosi sbagliata, ti imputeranno di aver
perseverato nella tua idea anche se il sistema aveva formulato una
diagnosi diversa. Questo è un incentivo a diminuire la centralità umana
nella decisione. E in alcuni ambiti questo può essere pericoloso. Come
si fa a diminuire questa conseguenza sociale negativa nell’uso della
IA? Bisogna progettare il sistema in modo tale che, quando formula una
predizione, ogni tanto, casualmente, la predizione viene cambiata di
segno.
In questo modo, nel nostro esempio, il medico sa che non si può più
fidare del sistema di IA. La macchina può fare il 90% del lavoro, ma
poi sei tu che devi prendere una decisione, perché è sicuro che la
macchina potrebbe anche dirti il falso.
```
L'esempio è straordinariamente azzeccato per indicare le conseguenze
fatali che l'alienazione cibernetica può avere su individui e società.
Evidenzia chiaramente la funzione di capro espiatorio dello "human in
the loop" [3] la cui funzione consiste essenzialmente nello schermare
gli "humans behind the machine" da qualsiasi responsabilità legale
per i danni prodotti, venduti come "esternalità negative inevitabili".
Evidenzia anche chiaramente la trappola cognitiva in cui si trova chi
interpreta l'output prodotti da software programmati statisticamente [4]
come "diagnosi" o come "decisioni".
Quello che Stefano descrive come "un incentivo a uniformarti alla
diagnosi del sistema" è in realtà uno strumento di alienazione
cibernetica che agisce ancor prima dell'interazione con il software:
il medico che interpreti come "diagnosi" l'output di un simile software
è già alienato ed è già inadeguato a lavorare come medico.
Ma d'altro canto, il software che produca come output qualcosa di anche
lontanamente interpretabile come diagnosi (o ancor peggio, come
suggerimento terapeutico) è progettato per alienare medico, paziente,
familiari del paziente morto, magistratura e società tutta, riducendo
i gradi di libertà del sistema e rendendo prevedibile la sua
evoluzione, affinché minimizzi i rischi e le responsabilità
per i proprietari dell'azienda che lo distribuisce.
Senza considerare, ovviamente, che le risorse necessarie per eseguire
software programmati statisticamente come è già GPT4 e saranno i suoi
futuri sfidanti, rendono tali sistemi inevitabilmente centralizzati
(tanto che Stefano auspica appunto un "CERN dell'IA" per dotare anche
l'Europa del proprio ChatGPT)
Tale centralizzazione li rente inevitabilmente single point of failure
non solo in termini strategico militari, ma in termini cibernetici:
sarà sufficiente alterare alla bisogna la programmazione di uno di
questi "generatori di diagnosi mediche" per far sterminare a
inconsapevoli "medici in the loop" intere popolazioni.
Senza che nessuno se ne accorga.
L'esempio finale di Stefano è però illuminante anche perché mostra i
limiti inevitabili della prospettiva economica-finanziaria a cavallo
del cambio di paradigma in corso.
A fronte di un sistema tecnologico strutturalmente dannoso e che
nessuno ci obbliga ad adottare o permettere, la soluzione proposta è,
di nuovo, ingenuamente tecnologica.
Basta che "ogni tanto, casualmente, la predizione viene cambiata di
segno".
E' questo un limite strutturale ed invalicabile dei modelli economici:
la riduzione di qualsiasi sistema ad un valore scalare, un numero cui
possiamo, eventualmente, cambiare di segno.
Tutta la complessità multidimensionale della medicina, che deve tener
conto della realtà del paziente, delle sue risorse cognitive nel
seguire la terapia (e talvolta persino nell'accettare la malattia come
tale, che si tratti di una psicosi o di un tumore), delle sue
possibilità economiche, del supporto sociale e familiare che può
o non può sostenerlo, delle interazioni fra farmaci che in quello
specifico paziente si sono verificate in passato etc.. etc.. etc..
viene ridotta ad una "diagnosi" cui è possibile cambiare di segno.
Ok, cambiamo di segno al vettore in output.
Ma rispetto a quale delle decine di dimensioni rilevanti per quello
specifico paziente e di cui un buon medico tiene conto ogni giorno?
E come sapremo, dopo la morte del paziente, se il medico che ha
confermato la "diagnosi" del software, si è trovato di fronte un
output cambiato di segno?
Lo chiediamo alla società produttrice? :-D
L'enorme complessità del reale è comprensibile per informatici
(o quanto meno per hacker, ovvero cittadini cibernetici) abituati
a sviluppare e debuggare sistemi estremamente complessi che gestiscono
processi complessi di cui non si possono permettere di ridurre la
dimensionalità ad uno scalare.
Questo costituisce certamente un vantaggio cognitivo, ma si trasforma
rapidamente in una sorta di maledizione di Cassandra.
Come rendere consapevoli dei limiti di un modello persone in buona fede
che credono fermamente nella sua adeguatezza ad un mondo totalmente
diverso da quello in cui tale modello è stato realizzato?
Ai ragazzi io suggerisco di contare gli agenti cibernetici in
esecuzione sul proprio cellulare e di appuntare, di ciascuno, i
permessi categorizzandoli in sensori ed attuatori.
Poi suggerisco di fare particolare attenzione al permesso di accedere
alla rete, per valutare se il controllore dell'agente in questione sia
effettivamente sul cellulare, o si trovi presso server di terzi.
E ovviamente, oltre alle App di cui sono consapevoli, chiedo di fare lo
stesso lavoro con tutte quelle di sistema.
Si rendono rapidamente conto di portarsi in tasca oltre 3-400 agenti
cibernetici, per la maggioranza etero guidati, che ne sorvegliano ogni
azione e che condizionano attenzione e comportamenti.
Ma con gli adulti è più complesso.
Dopo decenni di egemonia culturale del capitalismo iper-liberista
statunitense, la riduzione di tutto a scalari è penetrata in profondità
nelle menti delle persone.
Come uscirne?
Come riprendere consapevolezza della complessità del reale?
Come trasformare l'homo economicus in cittadino cibernetico?
Come riprenderci la storia, la politica e la cultura reimparando tutti
insieme a concepire una realtà multidimensionale complessa non più
riducibile a prezzo e costo, domande e offerta, lavoro e capitale?
Basterà imparare TUTTI a programmare, partecipando a quel complesso
dibattito pubblico eseguibile su scala planetaria che è lo sviluppo del
software libero?
Basterà imparare TUTTI ad usare i computer per quello che sono, ovvero
specchi per la mente umana che li programma?
Tutto questo è tragicamente necessario, ma sarà sufficiente?
Giacomo
[1]: sempre in una prospettiva cibernetica, basta guardare al logo
scelto da Alphabet Workers Union per rilevare quanto marginale sia
l'uomo rispetto alle macchine (che lo compenetrano letteralmente
nella mano che le impugna)
https://upload.wikimedia.org/wikipedia/en/f/f3/Alphabet_Workers_Union_Logo_…
[2]: http://dbacon.igc.org/Unions/04hitec2.htm
[3]: alcuni esempi concreti di questo fenomeno narrativo, effettivamente
accaduti, sono riportati nell'ottimo articolo di Daniela Tafani
https://commentbfp.sp.unipi.it/letica-come-specchietto-per-le-allodole/
cui mi sento di aggiungere, per la drammaticità delle conseguenze,
l'omicidio di Elaine Herzberg da parte di Uber nel 2018, la cui
responsabilità è stata scaricata sul povero passeggero, Rafaela
Vasquez, le cui inevitabili distrazioni erano ovviamente già state
osservate e misurate da Uber durante le corse precedenti:
https://en.wikipedia.org/wiki/Death_of_Elaine_Herzberg
[4]: output che di per sé non hanno nemmeno una semantica
probabilistica ma sono approssimazioni grossolane delle relazioni
fra le probabilità di proposizioni selezionate da chi ha
programmato quel software.
selezione che di per sé stessa riduce enormemente lo spazio
di possibilità del reale secondo i bias e gli interessi
di chi effettua la programmazione statistica.
April 9, 2023
OpenAI threatened with landmark defamation lawsuit over ChatGPT false claims
by Alberto Cammozzo
<https://arstechnica.com/tech-policy/2023/04/openai-may-be-sued-after-chatgp…>
Update, 8:30 pm: A spokesperson for Gordon Legal provided a statement to Ars confirming that responses to text prompts generated by ChatGPT 3.5 and 4 vary, with defamatory comments still currently being generated in ChatGPT 3.5. Among "several false statements" generated by ChatGPT were falsehoods stating that Brian Hood "was accused of bribing officials in Malaysia, Indonesia, and Vietnam between 1999 and 2005, that he was sentenced to 30 months in prison after pleading guilty to two counts of false accounting under the Corporations Act in 2012, and that he authorised payments to a Malaysian arms dealer acting as a middleman to secure a contract with the Malaysian Government." Because "all of these statements are false," Gordon Legal "filed a Concerns Notice to OpenAI" that detailed the inaccuracy and demanded a rectification. “As artificial intelligence becomes increasingly integrated into our society, the accuracy of the information provided by these services will come under close legal scrutiny," James Naughton, Hood's lawyer, said, noting that if a defamation claim is raised, it "will aim to remedy the harm caused" to Hood and "ensure the accuracy of this software in his case.”)
It was only a matter of time before ChatGPT—an artificial intelligence tool that generates responses based on user text prompts—was threatened with its first defamation lawsuit. That happened last month, Reuters reported today, when an Australian regional mayor, Brian Hood, sent a letter on March 21 to the tool’s developer, OpenAI, announcing his plan to sue the company for ChatGPT’s alleged role in spreading false claims that he had gone to prison for bribery.
To avoid the landmark lawsuit, Hood gave OpenAI 28 days to modify ChatGPT’s responses and stop the tool from spouting disinformation.
According to Hood’s legal team, ChatGPT could seriously damage the mayor’s reputation by falsely claiming that Hood had been convicted for taking part in a foreign bribery scandal in the early 2000s while working for a subsidiary of the Reserve Bank of Australia. Hood had worked for a subsidiary, Note Printing Australia, but rather than being found guilty of bribery, Hood was the one who notified authorities about the bribes. Reuters reported that Hood was never charged with any crimes, but ChatGPT seems to have confused the facts when generating some responses to text prompts inquiring about Hood's history.
OpenAI did not immediately respond to Ars’ request for comment.
Ars attempted to replicate the error using ChatGPT, though, and it seems possible that OpenAI has fixed the errors as Hood's legal team has directed. When Ars asked ChatGPT if Hood served prison time for bribery, ChatGPT responded that Hood “has not served any prison time” and clarified that “there is no information available online to suggest that he has been convicted of any criminal offense.” Ars then asked if Hood had ever been charged with bribery, and ChatGPT responded, “I do not have any information indicating that Brian Hood, the current mayor of Hepburn Shire in Victoria, Australia, has been charged with bribery.”
Ars could not immediately reach Hood’s legal team to find out which text prompts generated the alleged defamatory claims or to confirm if OpenAI had responded to confirm that the error had been fixed. The legal team was still waiting for that response at the time that Reuters' report published early this morning.
Hood’s lawyer, James Naughton, a partner at Gordon Legal, told Reuters that Hood’s reputation is “central to his role” as an elected official known for “shining a light on corporate misconduct.” If AI tools like ChatGPT threaten to damage that reputation, Naughton told Reuters, “it makes a difference to him." That's why the landmark defamation lawsuit could be his only course of action if the alleged ChatGPT-generated errors are not corrected, he said.
It's unclear to Hood how many people using ChatGPT were exposed to the disinformation. Naughton told Reuters that the defamatory statements were so serious that Hood could claim more than $130,000 in defamation damages under Australian law.
Whether companies like OpenAI could be held liable for defamation is still debatable. It’s possible that companies could add sufficient disclaimers to products to avoid such liability, and they could then pass the liability on to users, who could be found to be negligently or intentionally spreading false claims while knowing that ChatGPT cannot always be trusted.
Australia has recently drawn criticism for how it has reviewed defamation claims in the digital age. In 2020, Australia moved to redraft its defamation laws after a high court ruling found that publishers using social media platforms like Facebook should be held liable for defamatory third-party comments on their pages, CNBC reported in 2021. That is contrary to laws providing immunity shields for platforms, such as Section 230 in the US.
At that time, Australia considered the question of whether online publishers should be liable for defamatory statements made by commenters in online forums “one of the most complex to address,” with “complications beyond defamation law alone.” By the end of last year, Australian attorneys general were pushing new reforms to ensure that publishers could avoid any liability, The Guardian reported.
Now it looks like new generative AI tools like ChatGPT that publish potentially defamatory content will likely pose the next complex question—one that regulators, who are just now wrapping their heads around publisher liability on social media, may not yet be prepared to address.
Naughton told Reuters that if Hood’s lawsuit proceeds, it would accuse OpenAI of “giving users a false sense of accuracy by failing to include footnotes” and failing to inform users how ChatGPT's algorithm works to come up with answers that may not be completely accurate. AI ethics experts have urged regulators to ensure that companies like OpenAI are more transparent about how AI tools work.
If OpenAI doesn't adequately respond to Hood's concerns, his lawsuit could proceed before the laws clarify who is responsible for alleged AI-generated defamation.
"It would potentially be a landmark moment in the sense that it's applying this defamation law to a new area of artificial intelligence and publication in the IT space," Naughton told Reuters.
April 8, 2023
Re: [nexa] Le vie della diffamazione automatica sono infinite [era ChatGPT invented a sexual harassment scandal and named a real law prof as the accused]
by Maria Chiara Pievatolo
On 06/04/23 18:53, Giacomo Tesio wrote:
>
> Chi è responsabile di aver diffuso ad almeno due persone le frasi
> diffamatorie in questo caso?
>
> Visto che GPT4 è stato costruito da OpenAI per rispondere a domande
> delle persone, direi che la responsabilità delle risposte è di Open AI.
>
E se per amor di discussione immaginassimo una situazione in cui, almeno
provvisoriamente, solo Q, a un suo specifico quesito, ricevesse una
risposta potenzialmente diffamatoria, e da studioso, conoscendo i
precedenti, la rendesse pubblica sia per difendersi sia per mostrare la
pericolosità dei SALAMI senza coinvolger terzi, dovremmo sostenere che
il suo esercizio dell'uso pubblico della ragione è una forma di
auto-diffamazione della quale deve incolpare soltanto se stesso?
Non so che ne penserebbero i giudici a Berlino. In Toscana, però,
qualcuno è riuscito a concepire un tribunale che, avendo già avuto una
causa di cui era parte un artefatto, a questa domanda risponderebbe di sì:
https://corpus15.wordpress.com/2016/01/04/grandecollodi-8/
Con i migliori auguri,
MCP
April 8, 2023
Re: [nexa] Non c’è crisi tecnologica in Silicon Valley
by Giacomo Tesio
Grazie Giulio,
Il 8 Aprile 2023 07:59:53 UTC, de petra giulio ha scritto:
>Intervistato e intervistatore entrambi nexiani
>
>https://centroriformastato.it/non-ce-crisi-tecnologica-nella-silicon-valley/
Ottima analisi economico-finanziaria, perfettamente complementare
all'analisi cibernetica (e dunque politica, storica e culturale) che
potrebbe offrire, ad esempio, un hacker.
Ad esempio, ad un'analisi cibernetica, non sarebbe sfuggito un'altra
funzione fondamentale dei tanti licenziamenti recenti: il messaggio
forte e chiaro ai lavoratori che dovessero anche solo pensare di
aderire ai nascenti movimenti sindacali fra le Big Tech.
Sindacati come Alphabet Workers Union o Amazon Labor Union, sono
ancora interamente ed inevitabilmente influenzati dalla cultura
pseudo-futurista e proto-fascista che caratterizza le loro aziende
e la loro propaganda sulle magnifiche sorti e progressive. [1]
Ma nonostante questo, nonostante la strutturale debolezza che tale
cultura rappresenta per qualsiasi speranza di syn dike, di stare insieme
con giustizia, la loro stessa esistenza terrorizza le persone che stano
a capo di queste aziende.
E' un terrore atavico che Robert Noyce, co-fondatore di Intel,
sintetizzo magistralmente ben prima della nascita dei GAFAM:
"remaining non-union is an essential for survival for most of our
companies. If we had the work rules that unionized companies have,
we'd all go out of business. This is a very high priority for
management here. We have to retain flexibility in operating our
companies. The great hope for our nation is to avoid those deep,
deep divisions between workers and management which can paralyze
action." [2]
Anche Noyce si curava di non menzionare un conflitto fra capitalisti e
lavoratori, ma parla di "divisioni fra lavoratori e management",
usando come proxy verso i lavoratori, altri lavoratori (i manager)
premiati con migliori remunerazioni proprio per il loro allineamento
alla politica di chi l'azienda la possiede.
Da una prospettiva cibernetica, queste migliaia di licenziamenti
hanno dunque una funzione evidente: inviare a tutti i lavoratori
presenti e futuri un messaggio forte e chiaro, un messaggio
intimidatorio "non pensateci nemmeno! o perderete il vostro lavoro".
Si tratta di un messaggio broadcast che avrà una forte influenza
sull'evoluzione della società cibernetica globale in cui queste
aziende operano.
Ma che ovviamente risulta invisibile ad una prospettiva meramente
economico-finanziaria.
Splendido poi l'esempio emblematico posto da Stefano in conclusione:
```
Giulio De Petra:
Auspichi un CERN della IA che renda disponibile alle aziende
quantità di dati e capacità di calcolo adeguati. Ma anche le
applicazioni della IA avranno conseguenze sociali?
Stefano Quintarelli:
Ti rispondo con un esempio. Se tu sei un medico e usi un
sistema di intelligenza artificiale per fare una diagnosi e sei in
disaccordo con quello che ti suggerisce il sistema hai comunque un
incentivo a uniformarti alla diagnosi del sistema, perché se poi il tuo
paziente muore puoi dire che anche il sistema di IA aveva confermato la
tua analisi. Viceversa, se tu, essendo in disaccordo col sistema,
privilegi la tua opinione e non confermi la diagnosi della IA, e poi il
paziente muore per la tua diagnosi sbagliata, ti imputeranno di aver
perseverato nella tua idea anche se il sistema aveva formulato una
diagnosi diversa. Questo è un incentivo a diminuire la centralità umana
nella decisione. E in alcuni ambiti questo può essere pericoloso. Come
si fa a diminuire questa conseguenza sociale negativa nell’uso della
IA? Bisogna progettare il sistema in modo tale che, quando formula una
predizione, ogni tanto, casualmente, la predizione viene cambiata di
segno.
In questo modo, nel nostro esempio, il medico sa che non si può più
fidare del sistema di IA. La macchina può fare il 90% del lavoro, ma
poi sei tu che devi prendere una decisione, perché è sicuro che la
macchina potrebbe anche dirti il falso.
```
L'esempio è straordinariamente azzeccato per indicare le conseguenze
fatali che l'alienazione cibernetica può avere su individui e società.
Evidenzia chiaramente la funzione di capro espiatorio dello "human in
the loop" [3] la cui funzione consiste essenzialmente nello schermare
gli "humans behind the machine" da qualsiasi responsabilità legale
per i danni prodotti, venduti come "esternalità negative inevitabili".
Evidenzia anche chiaramente la trappola cognitiva in cui si trova chi
interpreta l'output prodotti da software programmati statisticamente [4]
come "diagnosi" o come "decisioni".
Quello che Stefano descrive come "un incentivo a uniformarti alla
diagnosi del sistema" è in realtà uno strumento di alienazione
cibernetica che agisce ancor prima dell'interazione con il software:
il medico che interpreti come "diagnosi" l'output di un simile software
è già alienato ed è già inadeguato a lavorare come medico.
Ma d'altro canto, il software che produca come output qualcosa di anche
lontanamente interpretabile come diagnosi (o ancor peggio, come
suggerimento terapeutico) è progettato per alienare medico, paziente,
familiari del paziente morto, magistratura e società tutta, riducendo
i gradi di libertà del sistema e rendendo prevedibile la sua
evoluzione, affinché minimizzi i rischi e le responsabilità
per i proprietari dell'azienda che lo distribuisce.
Senza considerare, ovviamente, che le risorse necessarie per eseguire
software programmati statisticamente come è già GPT4 e saranno i suoi
futuri sfidanti, rendono tali sistemi inevitabilmente centralizzati
(tanto che Stefano auspica appunto un "CERN dell'IA" per dotare anche
l'Europa del proprio ChatGPT)
Tale centralizzazione li rente inevitabilmente single point of failure
non solo in termini strategico militari, ma in termini cibernetici:
sarà sufficiente alterare alla bisogna la programmazione di uno di
questi "generatori di diagnosi mediche" per far sterminare a
inconsapevoli "medici in the loop" intere popolazioni.
Senza che nessuno se ne accorga.
L'esempio finale di Stefano è però illuminante anche perché mostra i
limiti inevitabili della prospettiva economica-finanziaria a cavallo
del cambio di paradigma in corso.
A fronte di un sistema tecnologico strutturalmente dannoso e che
nessuno ci obbliga ad adottare o permettere, la soluzione proposta è,
di nuovo, ingenuamente tecnologica.
Basta che "ogni tanto, casualmente, la predizione viene cambiata di
segno".
E' questo un limite strutturale ed invalicabile dei modelli economici:
la riduzione di qualsiasi sistema ad un valore scalare, un numero cui
possiamo, eventualmente, cambiare di segno.
Tutta la complessità multidimensionale della medicina, che deve tener
conto della realtà del paziente, delle sue risorse cognitive nel
seguire la terapia (e talvolta persino nell'accettare la malattia come
tale, che si tratti di una psicosi o di un tumore), delle sue
possibilità economiche, del supporto sociale e familiare che può
o non può sostenerlo, delle interazioni fra farmaci che in quello
specifico paziente si sono verificate in passato etc.. etc.. etc..
viene ridotta ad una "diagnosi" cui è possibile cambiare di segno.
Ok, cambiamo di segno al vettore in output.
Ma rispetto a quale delle decine di dimensioni rilevanti per quello
specifico paziente e di cui un buon medico tiene conto ogni giorno?
E come sapremo, dopo la morte del paziente, se il medico che ha
confermato la "diagnosi" del software, si è trovato di fronte un
output cambiato di segno?
Lo chiediamo alla società produttrice? :-D
L'enorme complessità del reale è comprensibile per informatici
(o quanto meno per hacker, ovvero cittadini cibernetici) abituati
a sviluppare e debuggare sistemi estremamente complessi che gestiscono
processi complessi di cui non si possono permettere di ridurre la
dimensionalità ad uno scalare.
Questo costituisce certamente un vantaggio cognitivo, ma si trasforma
rapidamente in una sorta di maledizione di Cassandra.
Come rendere consapevoli dei limiti di un modello persone in buona fede
che credono fermamente nella sua adeguatezza ad un mondo totalmente
diverso da quello in cui tale modello è stato realizzato?
Ai ragazzi io suggerisco di contare gli agenti cibernetici in
esecuzione sul proprio cellulare e di appuntare, di ciascuno, i
permessi categorizzandoli in sensori ed attuatori.
Poi suggerisco di fare particolare attenzione al permesso di accedere
alla rete, per valutare se il controllore dell'agente in questione sia
effettivamente sul cellulare, o si trovi presso server di terzi.
E ovviamente, oltre alle App di cui sono consapevoli, chiedo di fare lo
stesso lavoro con tutte quelle di sistema.
Si rendono rapidamente conto di portarsi in tasca oltre 3-400 agenti
cibernetici, per la maggioranza etero guidati, che ne sorvegliano ogni
azione e che condizionano attenzione e comportamenti.
Ma con gli adulti è più complesso.
Dopo decenni di egemonia culturale del capitalismo iper-liberista
statunitense, la riduzione di tutto a scalari è penetrata in profondità
nelle menti delle persone.
Come uscirne?
Come riprendere consapevolezza della complessità del reale?
Come trasformare l'homo economicus in cittadino cibernetico?
Come riprenderci la storia, la politica e la cultura reimparando tutti
insieme a concepire una realtà multidimensionale complessa non più
riducibile a prezzo e costo, domande e offerta, lavoro e capitale?
Basterà imparare TUTTI a programmare, partecipando a quel complesso
dibattito pubblico eseguibile su scala planetaria che è lo sviluppo del
software libero?
Basterà imparare TUTTI ad usare i computer per quello che sono, ovvero
specchi per la mente umana che li programma?
Tutto questo è tragicamente necessario, ma sarà sufficiente?
Giacomo
[1]: sempre in una prospettiva cibernetica, basta guardare al logo
scelto da Alphabet Workers Union per rilevare quanto marginale sia
l'uomo rispetto alle macchine (che lo compenetrano letteralmente
nella mano che le impugna)
https://upload.wikimedia.org/wikipedia/en/f/f3/Alphabet_Workers_Union_Logo_…
[2]: http://dbacon.igc.org/Unions/04hitec2.htm
[3]: alcuni esempi concreti di questo fenomeno narrativo, effettivamente
accaduti, sono riportati nell'ottimo articolo di Daniela Tafani
https://commentbfp.sp.unipi.it/letica-come-specchietto-per-le-allodole/
cui mi sento di aggiungere, per la drammaticità delle conseguenze,
l'omicidio di Elaine Herzberg da parte di Uber nel 2018, la cui
responsabilità è stata scaricata sul povero passeggero, Rafaela
Vasquez, le cui inevitabili distrazioni erano ovviamente già state
osservate e misurate da Uber durante le corse precedenti:
https://en.wikipedia.org/wiki/Death_of_Elaine_Herzberg
[4]: output che di per sé non hanno nemmeno una semantica
probabilistica ma sono approssimazioni grossolane delle relazioni
fra le probabilità di proposizioni selezionate da chi ha
programmato quel software.
selezione che di per sé stessa riduce enormemente lo spazio
di possibilità del reale secondo i bias e gli interessi
di chi effettua la programmazione statistica.
April 8, 2023
Re: [nexa] Non c’è crisi tecnologica in Silicon Valley
by Guido Vetere
>Da qualche giorno è uscito sul sito del
>Ministero dell’Istruzione un avviso che tranquillizza le scuole che
>utilizzano tecnologie USA rispetto al tema della privacy, riportando
>come giustificazioni le affermazioni di marketing delle aziende stesse.
Forse c'entra qualcosa che in Italia i dirigenti delle aziende USA siedono
normalmente nel board dei ministeri?
O anche più su, tipo Piacentini?
Buona Pasqua di resurrezione
G.
On Sat, 8 Apr 2023 at 15:36, Stefano Quintarelli <stefano(a)quintarelli.it>
wrote:
> grazie
> l'aspetto finanziario è generalmente sottovalutato, imho
> Buona Pasqua, s.
>
> Il 8 aprile 2023 13:03:34 UTC, Roberto Resoli <roberto(a)resolutions.it> ha
> scritto:
> >Il 8 aprile 2023 09:59:53 CEST, de petra giulio <giulio.depetra(a)gmail.com>
> ha scritto:
> >>Intervistato e intervistatore entrambi nexiani
> >>
> >>
> https://centroriformastato.it/non-ce-crisi-tecnologica-nella-silicon-valley/
> >
> >Bellissima, grazie Giulio e Stefano.
> >
> >rob
> >_______________________________________________
> >nexa mailing list
> >nexa(a)server-nexa.polito.it
> >https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
> _______________________________________________
> nexa mailing list
> nexa(a)server-nexa.polito.it
> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
>
April 8, 2023
Re: [nexa] Non c’è crisi tecnologica in Silicon Valley
by Stefano Quintarelli
grazie
l'aspetto finanziario è generalmente sottovalutato, imho
Buona Pasqua, s.
Il 8 aprile 2023 13:03:34 UTC, Roberto Resoli <roberto(a)resolutions.it> ha scritto:
>Il 8 aprile 2023 09:59:53 CEST, de petra giulio <giulio.depetra(a)gmail.com> ha scritto:
>>Intervistato e intervistatore entrambi nexiani
>>
>>https://centroriformastato.it/non-ce-crisi-tecnologica-nella-silicon-valley/
>
>Bellissima, grazie Giulio e Stefano.
>
>rob
>_______________________________________________
>nexa mailing list
>nexa(a)server-nexa.polito.it
>https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
April 8, 2023
Re: [nexa] Non c’è crisi tecnologica in Silicon Valley
by Michele Pinassi
"Le aziende italiane sono piccole perché hanno pochi dati. Ma in Italia
non dipende solo da questo. Da qualche giorno è uscito sul sito del
Ministero dell’Istruzione un avviso che tranquillizza le scuole che
utilizzano tecnologie USA rispetto al tema della privacy, riportando
come giustificazioni le affermazioni di marketing delle aziende stesse.
Se confronti questo con il Ministero della Cultura francese che decide
di investire in software open source, con i Ministeri e i Lander
tedeschi che vietano la possibilità per le amministrazioni pubbliche di
utilizzare determinati strumenti per favorire le imprese tedesche, ti
rendi conto che in Italia non siamo capaci di approfondire e di trarre
le conseguenza di questo approfondimento. Riusciamo a individuare un
problema ma non proviamo nemmeno a risolverlo. Questa sorta di
“inevitabilismo” si riverbera sulle aziende digitali italiane riducendo
gli spazi di opportunità."
Esatto. Bravissimo.
Il 08/04/23 09:59, de petra giulio ha scritto:
> Intervistato e intervistatore entrambi nexiani
>
> https://centroriformastato.it/non-ce-crisi-tecnologica-nella-silicon-valley/
>
--
Michele Pinassi
PGP/GPG key fingerprint 6EC4 9905 84F5 1537 9AB6 33E7 14FC 37E5 3C24 B98E
April 8, 2023
Re: [nexa] Non c’è crisi tecnologica in Silicon Valley
by Roberto Resoli
Il 8 aprile 2023 09:59:53 CEST, de petra giulio <giulio.depetra(a)gmail.com> ha scritto:
>Intervistato e intervistatore entrambi nexiani
>
>https://centroriformastato.it/non-ce-crisi-tecnologica-nella-silicon-valley/
Bellissima, grazie Giulio e Stefano.
rob
April 8, 2023
Non c’è crisi tecnologica in Silicon Valley
by de petra giulio
Intervistato e intervistatore entrambi nexiani
https://centroriformastato.it/non-ce-crisi-tecnologica-nella-silicon-valley/
April 8, 2023
Tesla workers shared ‘intimate’ car camera images, ex-employees allege: ‘Massive invasion of privacy’
by Alberto Cammozzo
<https://www.theguardian.com/technology/2023/apr/07/tesla-intimate-car-camer…
Tesla assures its millions of electric car owners that their privacy “is and will always be enormously important to us”. The cameras it builds into vehicles to assist driving, it notes on its website, are “designed from the ground up to protect your privacy”.
But between 2019 and 2022, groups of Tesla employees privately shared via an internal messaging system sometimes highly invasive videos and images recorded by customers’ car cameras, according to interviews by Reuters with nine former employees.
Some of the recordings caught Tesla customers in embarrassing situations. One ex-employee described a video of a man approaching a vehicle completely naked.
Also shared: crashes and road-rage incidents. One crash video in 2021 showed a Tesla driving at high speed in a residential area hitting a child riding a bike, according to another ex-employee. The child flew in one direction, the bike in another. The video spread around a Tesla office in San Mateo, California, via private one-on-one chats, “like wildfire”, the ex-employee said.
I saw some scandalous stuff sometimes - scenes of intimacy, a lot of stuff that I wouldn’t want anybody to see about my life
Other images were more mundane, such as pictures of dogs and funny road signs that employees made into memes by embellishing them with amusing captions or commentary, before posting them in private group chats. While some postings were only shared between two employees, others could be seen by scores of them, according to several ex-employees.
Tesla states in its online customer privacy notice that its “camera recordings remain anonymous and are not linked to you or your vehicle”. But seven former employees told Reuters the computer program they used at work could show the location of recordings, which potentially could reveal where a Tesla owner lived.
One ex-employee also said that some recordings appeared to have been made when cars were parked and turned off. Several years ago, Tesla would receive video recordings from its vehicles even when they were off, if owners gave consent. It has since stopped doing so.
“We could see inside people’s garages and their private properties,” said another former employee. “Let’s say that a Tesla customer had something in their garage that was distinctive, you know, people would post those kinds of things.”
Tesla didn’t respond to detailed questions sent to the company for this report.
About three years ago, some employees stumbled upon and shared a video of a unique submersible vehicle parked inside a garage, according to two people who viewed it. Nicknamed Wet Nellie, the white Lotus Esprit sub had been featured in the 1977 James Bond film, The Spy Who Loved Me.
The vehicle’s owner: Tesla chief executive Elon Musk, who had bought it for about $968,000 at an auction in 2013. It is not clear whether Musk was aware of the video or that it had been shared.
Musk didn’t respond to a request for comment.
To report this story, Reuters contacted more than 300 former Tesla employees who had worked at the company over the past nine years and were involved in developing its self-driving system. More than a dozen agreed to answer questions, all speaking on condition of anonymity.
Employees passed around images captured by a Tesla camera of a James Bond vehicle owned by Elon Musk.
Reuters wasn’t able to obtain any of the shared videos or images, which ex-employees said they hadn’t kept. The news agency also wasn’t able to determine if the practice of sharing recordings, which occurred within some parts of Tesla as recently as last year, continues today or how widespread it was. Some former employees contacted said the only sharing they observed was for legitimate work purposes, such as seeking assistance from colleagues or supervisors.
Labeling pedestrians and street signs
The sharing of sensitive videos illustrates one of the less-noted features of artificial intelligence systems: they often require armies of human beings to help train machines to learn automated tasks such as driving.
Since about 2016, Tesla has employed hundreds of people in Africa and later the United States to label images to help its cars learn how to recognize pedestrians, street signs, construction vehicles, garage doors, and other objects encountered on the road or at customers’ houses. To accomplish that, data labelers were given access to thousands of videos or images recorded by car cameras that they would view and identify objects.
Tesla increasingly has been automating the process, and shut down a data-labeling hub last year in San Mateo, California. But it continues to employ hundreds of data labelers in Buffalo, New York. In February, Tesla said the staff there had grown 54% over the previous six months to 675.
Two ex-employees said they weren’t bothered by the sharing of images, saying that customers had given their consent or that people long ago had given up any reasonable expectation of keeping personal data private. Three others, however, said they were troubled by it.
“It was a breach of privacy, to be honest. And I always joked that I would never buy a Tesla after seeing how they treated some of these people,” said one former employee.
Another said: “I’m bothered by it because the people who buy the car, I don’t think they know that their privacy is, like, not respected. We could see them doing laundry and really intimate things. We could see their kids.”
One former employee saw nothing wrong with sharing images, but described a function that allowed data labelers to view the location of recordings on Google Maps as a “massive invasion of privacy”.
David Choffnes, executive director of the Cybersecurity and Privacy Institute at Northeastern University in Boston, called the sharing of sensitive videos and images by Tesla employees “morally reprehensible”.
“Any normal human being would be appalled by this,” he said. He noted that circulating sensitive and personal content could be construed as a violation of Tesla’s own privacy policy, potentially resulting in intervention by the US Federal Trade Commission (FTC), which enforces federal laws relating to consumers’ privacy.
A spokesperson for the FTC said it doesn’t comment on individual companies or their conduct.
To develop self-driving car technology, Tesla collects a vast trove of data from its global fleet of several million vehicles. The company requires car owners to grant permission on the cars’ touchscreens before Tesla collects their vehicles’ data. “Your Data Belongs to You,” states Tesla’s website.
In its customer privacy notice, Tesla explains that if a customer agrees to share data, “your vehicle may collect the data and make it available to Tesla for analysis. This analysis helps Tesla improve its products, features, and diagnose problems quicker.” It also states that the data may include “short video clips or images”, but isn’t linked to a customer’s account or vehicle identification number, “and does not identify you personally”.
A camera on a Tesla electric vehicle.
A camera on a Tesla electric vehicle. Photograph: Aly Song/Reuters
Carlo Piltz, a data privacy lawyer in Germany, told Reuters it would be difficult to find a legal justification under Europe’s data protection and privacy laws for vehicle recordings to be circulated internally when it has “nothing to do with the provision of a safe or secure car or the functionality” of Tesla’s self-driving system.
In recent years, Tesla’s car-camera system has drawn controversy.
In China, some government compounds and residential neighborhoods have banned Teslas because of concerns about its cameras.
In response, Musk said in a virtual talk at a Chinese forum in 2021: “If Tesla used cars to spy in China or anywhere, we will get shut down.”
Elsewhere, regulators have scrutinized the Tesla system over potential privacy violations. But the privacy cases have tended to focus not on the rights of Tesla owners but of passersby unaware that they might be being recorded by parked Tesla vehicles.
In February, the Dutch Data Protection Authority (DPA) said it had concluded an investigation of Tesla over possible privacy violations regarding “sentry mode”, a feature designed to record any suspicious activity when a car is parked and alert the owner.
The watchdog determined it wasn’t Tesla, but the vehicles’ owners, who were legally responsible for their cars’ recordings. It said it decided not to fine the company after Tesla said it had made several changes to sentry mode, including having a vehicle’s headlights pulse to inform passersby that they may be being recorded.
A DPA spokesperson declined to comment on Reuters’ findings, but said in an email: “Personal data must be used for a specific purpose, and sensitive personal data must be protected.”
Tesla calls its automated driving system “autopilot”. Introduced in 2015, the system included such advanced features as allowing drivers to change lanes by tapping a turn signal and parallel parking on command.
To make the system work, Tesla initially installed sonar sensors, radar and a single front-facing camera at the top of the windshield.
A subsequent version, introduced in 2016, included eight cameras all around the car to collect more data and offer more capabilities.
Musk’s future vision is eventually to offer a “full self-driving mode” that would replace a human driver. Tesla began rolling out an experimental version of that mode in October 2020.
Although it requires drivers to keep their hands on the wheel, it currently offers such features as the ability to slow a car down automatically when it approaches stop signs or traffic lights.
In February, Tesla recalled more than 362,000 US vehicles to update their full self-driving software after the National Highway Traffic Safety Administration said the software could allow vehicles to exceed speed limits and cause crashes at intersections.
A driver died in a 2018 crash in California while riding in a Tesla vehicle operating on ‘autopilot’. Tesla said the driver was not using the feature properly.
A driver died in a 2018 crash in California while riding in a Tesla vehicle operating on ‘autopilot’. Tesla said the driver was not using the feature properly. Photograph: AP
As with many artificial-intelligence projects, to develop autopilot, Tesla hired data labelers to identify objects in images and videos to teach the system how to respond when the vehicle was on the road or parked.
Tesla initially outsourced data labeling to a San Francisco-based nonprofit then known as Samasource, people familiar with the matter told Reuters. The organization had an office in Nairobi, Kenya, and specialized in offering training and employment opportunities to disadvantaged women and youth.
In 2016, Samasource was providing about 400 workers there for Tesla, up from about an initial 20, according to a person familiar with the matter.
By 2019, however, Tesla was no longer satisfied with the work of Samasource’s data labelers. At an event called Tesla AI Day in 2021, Andrej Karpathy, then senior director of AI at Tesla, said: “Unfortunately, we found very quickly that working with a third party to get datasets for something this critical was just not going to cut it. Honestly, the quality was not amazing.”
A former Tesla employee said of the Samasource labelers: “They would highlight fire hydrants as pedestrians. They would miss objects all the time. Their skill level to draw boxes was very low.”
Samasource, now called Sama, declined to comment on its work for Tesla.
Tesla decided to bring data labeling in-house. “Over time, we’ve grown to more than a 1,000-person data labeling [organization] that is full of professional labelers who are working very closely with the engineers,” Karpathy said in his August 2021 presentation.
Karpathy didn’t respond to requests for comment.
Tesla’s own data labelers initially worked in the San Francisco Bay area, including the office in San Mateo.
Groups of data labelers were assigned a variety of different tasks, including labeling street lane lines or emergency vehicles, ex-employees said.
At one point, Teslas on autopilot were having difficulty backing out of garages and would get confused when encountering shadows or objects such as garden hoses. So some data labelers were asked to identify objects in videos recorded inside garages. The problem eventually was solved.
In interviews, two former employees said in their normal work duties they were sometimes asked to view images of customers in and around their homes, including inside garages.
“I sometimes wondered if these people know that we’re seeing that,” said one.
“I saw some scandalous stuff sometimes, you know, like I did see scenes of intimacy but not nudity,” said another. “And there was just definitely a lot of stuff that like, I wouldn’t want anybody to see about my life.”
As an example, this person recalled seeing “embarrassing objects”, such as “certain pieces of laundry, certain sexual wellness items and just private scenes of life that we really were privy to because the car was charging”.
Memes in the San Mateo office
Tesla staffed its San Mateo office with mostly young workers, in their 20s and early 30s, who brought with them a culture that prized entertaining memes and viral online content. Former staffers described a free-wheeling atmosphere in chatrooms with workers exchanging jokes about images they viewed while labeling.
According to several ex-employees, some labelers shared screenshots, sometimes marked up using Adobe Photoshop, in private group chats on Mattermost, Tesla’s internal messaging system. There they would attract responses from other workers and managers. Participants would also add their own marked-up images, jokes or emojis to keep the conversation going. Some of the emojis were custom-created to reference office inside jokes, several ex-employees said.
Knowing how much data those vehicles are capable of collecting definitely made folks nervous
Former Tesla employee
One former labeler described sharing images as a way to “break the monotony”. Another described how the sharing won admiration from peers.
“If you saw something cool that would get a reaction, you post it, right, and then later, on break, people would come up to you and say, ‘Oh, I saw what you posted. That was funny,’” said the former labeler. “People who got promoted to lead positions shared a lot of these funny items and gained notoriety for being funny.”
Some of the shared content resembled memes on the internet. There were dogs, interesting cars, and clips of people recorded by Tesla cameras tripping and falling. There was also disturbing content, such as someone being dragged into a car seemingly against their will, said one ex-employee.
Video clips of crashes involving Teslas were also sometimes shared in private chats on Mattermost, several former employees said. Those included examples of people driving badly or collisions involving people struck while riding bikes, such as the one with the child, or motorcycles.
Some data labelers would rewind such clips and play them in slow motion.
At times, Tesla managers would crack down on inappropriate sharing of images on public Mattermost channels since they claimed the practice violated company policy. Still, screenshots and memes based on them continued to circulate through private chats on the platform, several ex-employees said. Workers shared them one-on-one or in small groups as recently as the middle of last year.
One of the perks of working for Tesla as a data labeler in San Mateo was the chance to win a prize – the use of a company car for a day or two – according to two former employees.
But some of the lucky winners became paranoid when driving the electric cars.
“Knowing how much data those vehicles are capable of collecting definitely made folks nervous,” one ex-employee said.
April 7, 2023