nexa
By thread
nexa@server-nexa.polito.it
By month
Messages by month
- ----- 2026 -----
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2025 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2024 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2023 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2022 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2021 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2020 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2019 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2018 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2017 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2016 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2015 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2014 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2013 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2012 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2011 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2010 -----
- December
- November
- October
- September
- August
- July
- June
- May
- April
- March
- February
- January
- ----- 2009 -----
- December
- November
- October
- September
- August
- July
- June
- May
- 39 participants
- 30613 messages
Re: [nexa] Esistono "tecnologie" "politicamente neutrali"?
by Stefano Borroni Barale
Posso rispondere per esperienza.
L'algoritmo supplenze "del MIM" (che poi è una leggera modifica di un algoritmo americano) ha stravolto il processo di reclutamento dei docenti delle scuole primarie, secondarie e di sostegno abolendo nei fatti:
- il criterio di merito (docenti MENO meritevoli ottengono supplenze al posto di docenti più meritevoli);
- il diritto alla continuità didattica dei discenti (con le convocazioni in presenza il docente tendeva a fare ogni sforzo per restare nella stessa sede, soprattutto se di sostegno)
L'esempio del processo penale telematico è ancora più agghiacciante, se possibile.
Quindi, come dice Lessig e qualcuno ha già ricordato prima, "code is law".
Per questo la politica dovrebbe intervenire nelle segrete stanze in cui il codice è scritto e in quelle più segrete ancora dove se ne detta il design. Interessante anche l'assonanza che non mi pare casuale tra "dettare il design" e "essere un dittatore". Giuro che l'ho scritto di getto, ma rileggendo il mio cervello ha richiamato automaticamente alla mente l'immagine del mascellone di Musk (ma Zuckerberg col suo ricciolo sbarazzino non è da meno, come faceva giustamente notare Juan Carlos nel suo articolo sul Manifesto).
Quanto all'osservazione che il problema non è la tecnologia, ma la burocrazia: credo si tratti di distorsioni dovute al sistema di riferimento da cui possiamo osservare il problema. Personalmente mi convince la visione di Lewis Mumford (richiamata con altre parole anche dal prof. McQuillan quando parla di intelligenza artificiale): il problema è la megamacchina, ossia l'apparato costituito da ideologia (tecnoentusiasmo, soluzionismo, culto del dato), burocrazia (intesa come amministrazione del potere) e tecnologia (intesa come la intende Giacomo, applicata nel mondo reale). Quando queste tre cose si allineano si manifesta quello che qualcuno ha chiamato giustamente "il mostro" (il Leviatano?).
Stefano
Inviato con l'email sicura [Proton Mail](https://proton.me/mail/home).
lunedì 13 gennaio 2025 16:06, alessandro marzocchi <alemarzoc(a)gmail.com> ha scritto:
> Il programma informatico può imporre comportamenti non previsti da leggi?
>
> Cordialmente.
> Duccio (Alessandro Marzocchi)
>
> Il giorno lun 13 gen 2025 alle ore 15:29 <nexa-request(a)server-nexa.polito.it> ha scritto:
>
>> Send nexa mailing list submissions to
>> nexa(a)server-nexa.polito.it
>>
>> To subscribe or unsubscribe via the World Wide Web, visit
>> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
>> or, via email, send a message with subject or body 'help' to
>> nexa-request(a)server-nexa.polito.it
>>
>> You can reach the person managing the list at
>> nexa-owner(a)server-nexa.polito.it
>>
>> When replying, please edit your Subject line so it is more specific
>> than "Re: Contents of nexa digest..."
>>
>> Today's Topics:
>>
>> 1. Re: Esistono "tecnologie" "politicamente neutrali"?
>> (Benedetto Ponti)
>>
>> ----------------------------------------------------------------------
>>
>> Message: 1
>> Date: Mon, 13 Jan 2025 14:29:41 +0000
>> From: Benedetto Ponti <benedetto.ponti(a)unipg.it>
>> To: Michele Molè <michele.mole(a)protonmail.com>
>> Cc: "nexa(a)server-nexa.polito.it" <nexa(a)server-nexa.polito.it>
>> Subject: Re: [nexa] Esistono "tecnologie" "politicamente neutrali"?
>> Message-ID: <194BB9F9-63EE-4E4E-BEE9-4F10FDDBFF41(a)unipg.it>
>> Content-Type: text/plain; charset="utf-8"
>>
>> Gent.mo collega, caro Michele,
>> Grazie a te per la segnalazione: mi pare che osserviamo il medesimo fenomeno, e lo interpretiamo in modo analogo, sebbene in due casi diversi (ma accomunati da elementi molto significativi, a cominciare dall’esercizio del potere “giuridificato”, quello pubblico/amministrativo e quello datoriale, e l’applicazione dell’AI come ausilio all’esercizio di tale potere).
>> Non appena l’ultore pubblicazione sarà finalizzata, te ne girerò i riferimenti.
>>
>> Un caro saluto
>> Benedetto Ponti
>> [firma nuova mail_3 2.png]
>>
>> Il giorno 13 gen 2025, alle ore 15:21, Michele Molè <michele.mole(a)protonmail.com> ha scritto:
>>
>> Molto interessante e idea su cui mi ritrovo appieno! Sono giunto alla stessa conclusione per quanto riguarda certe applicazioni di AI nei contesti di lavoro; i capi tendono a diventare "meno" capi quando usano sistemi di cui non capiscono nulla per gestire la forza lavoro (e di cui sono solo in grado di apprezzare i risultati). Non l'ho chiamata AI reale ma Commodified, Outsourced Authority: https://doi.org/10.6092/issn.1561-8048/20836
>> È un dibattito molto interessante e se la lista ulteriori consigli di lettura a riguardo (come pure de feedback) apprezzerei molto!
>>
>> Un caro saluto
>> Michele
>> On Monday, 13 January 2025 at 12:26, Benedetto Ponti via nexa <nexa(a)server-nexa.polito.it> wrote:
>> Solo a titolo di notizia, e per contribuire al dibattito in questione,
>> Di recente ho cominciato a ragionare sull’idea che "l’AI reale” (cioè, quella effettivamente realizzata) sia intrinsecamente neoliberista.
>> L’ho fatto qui: https://www.rivistaitalianadiinformaticaediritto.it/index.php/RIID/article/…
>>
>> E a breve tornerò a farlo, in una collettanea di prossima uscita, ampliando un po’ il discorso ed i riferimenti (mi pare che la critica della scuola di Francoforte alla razionalità strumentale sia centrale, sotto questo profilo, ed in linea con alcune delle tesi già affacciate nelle mail precedenti).
>>
>> Un caro saluto a tutti
>>
>> Benedetto Ponti
>> <firma nuova mail_3 2.png>
>>
>> Il giorno 13 gen 2025, alle ore 12:16, Marco Fasoli <mafasos(a)gmail.com> ha scritto:
>>
>> Buongiorno,
>> credo che il tema della neutralità, o meglio della non neutralità delle nuove tecnologie, sia uno dei più attuali e rilevanti.
>> Mi permetto di allegare un mio articolo di qualche anno fa, sperando che possa essere utile a chi vuole
>> approfondire la questione.
>>
>> Cari saluti
>>
>> Marco Fasoli
>>
>> On Mon, 13 Jan 2025 at 12:09, Giacomo Tesio <giacomo(a)tesio.it<mailto:giacomo@tesio.it>> wrote:
>> Ciao Giuseppe, Alfredo, Juan Carlos e tutti.
>>
>> Colgo l'assis di Giuseppe per riportare in lista una discussione che
>> è proseguita in privato e che potrebbe essere di interesse perché
>> ricorrente in Nexa.
>>
>> Ad esempio, il Professor Cerroni, nell'intervista condivida da Juan
>> Carlos [1], dice esplicitamente:
>>
>>> la tecnologia non è neutra, contiene dentro di sé un’anima politica
>>> anche al di là dell’uso che se ne può fare.
>>
>> Una affermazione che io trovo al limite dell'ovvietà (forse perché creo
>> tecnologie per mestiere e partecipo alla definizione degli effetti
>> politici che queste avranno, fino al limite di dichiararmi incapace
>> di realizzare certi software, qualora li ritenga dannosi per la
>> società in cui vivranno i miei figli).
>>
>> Per contro, Giuseppe ed Alfredo sostengono che quanto meno la
>> maggioranza delle tecnologie sono neutrali e gli effetti sociali e
>> politici che hanno dipendono esclusivamente dalle scelte di coloro
>> che le usano.
>>
>> Si tratta di posizioni antitetiche, che credo possa essere interessante
>> discutere alla ricerca di una sintesi che le comprenda al proprio
>> interno e ci fornisca un modello migliore della realtà.
>>
>> On Mon, 13 Jan 2025 09:27:51 +0100 Giuseppe Attardi wrote:
>>
>>> Temo che non siamo d’accordo sul significato di “neutrale” per una
>>> tecnologia.
>>
>> Allora perché non provare a partire da definizioni rigorose?
>>
>> Definiamo "tecnologia" un determinato insieme di artefatti concreti
>> costruiti dall'uomo. In questo modo possiamo ragionare su qualcosa di
>> "tangibile", non di un'idea astratta, sia essa platonica ("coltellini
>> svizzeri", "LLM"), o pura fantasia ("morte nera", "intelligenze
>> artificiali" etc..).
>>
>> Naturalmente molte idee (più precisamente, informazioni), e come
>> vengono descritte / diffuse, hanno profonde implicazioni politiche e
>> sociali, ma per quanto interessante, l'analisi degli effetti politici
>> di determinate idee ci porterebbe lontano dai temi della lista.
>>
>> Non parliamo però dell'idea astratta di una tecnologia (i "LLM") ma
>> delle sue applicazioni concrete.
>>
>> Definiamo poi "politicamente neutrale" un artefatto non intrinsecamente
>> orientato politicamente, ovvero che
>>
>> 1. non presuppone alcuna specifica organizzazione sociale
>> 2. non favorisce né sfavorisce alcun uso specifico, non favorendo o
>> sfavorendo, di conseguenza, alcuna evoluzione della società nel tempo
>>
>> Molte tecnologie (insiemi di artefatti costruiti dall'uomo) che non
>> sono neutrali per il secondo punto, lo sono anche per il primo, ma non
>> viceversa.
>>
>> Una tecnologia che presuppone, ad esempio, un forte accentramento di
>> ricchezza e potere per essere creata, non è politicamente neutrale per
>> il primo punto.
>> Infatti, come minimo, l'esistenza di artefatti tecnologici con tale
>> caratteristica giustifica e rafforza quella specifica organizzazione
>> sociale, rendendo la società nel suo complesso dipendente dal
>> perpetuarsi di tale organizzazione.
>>
>> Una tecnologia che favorisce certi usi socialmente rilevanti e ne
>> sfavorisce altri, non è neutrale per il secondo punto. Ad esempio un
>> coltellino svizzero non è facile da utilizzare come arma, ma incentiva
>> una cultura del fai da te per piccole riparazioni.
>>
>> La scheda ethernet o l'automobile sono altri esempi di tecnologie
>> politicamente orientate da entrambi i punti di vista:
>> - presuppongono una società industriale per essere prodotte e enormi
>> investimenti infrastrutturali (strade / cablaggi) per essere utili
>> - velocizzando le comunicazioni e i trasferimenti, riducono le
>> distanze, facilitando determinate evoluzioni della società e
>> ostacolandone altre.
>>
>> Vi sembrano definizioni ragionevoli?
>> Se no, perché?
>>
>> Una volta individuate definizioni esplicite, attinenti e condivise,
>> potremo ragionare se esistano davvero tecnologie politicamente
>> neutrali, ovvero che rispondano a tali definizioni, nonché valutare
>> in modo rigoroso la neutralità di nuove tecnologie.
>>
>> Giacomo
>>
>> [1]
>> https://server-nexa.polito.it/pipermail/nexa/2025-January/053820.html
>>
>> PS x Giuseppe: per quanto possibile (sono un po' a corto di tempo
>> libero) ti rispondero sul resto della mail nell'altro thread, ma credo
>> che trovare definizioni condivise e cercare una sintesi sulla questione
>> della "neutralità della tecnologia" può meritare un thread separato.
>> <7 Contro lo strumentalismo.pdf>
>>
>>
Jan. 16, 2025
Re: [nexa] Esistono "tecnologie" "politicamente neutrali"?
by Giuseppe Attardi
> On 13 Jan 2025, at 19:57, nexa-request(a)server-nexa.polito.it wrote:
>
> From: Alberto Cammozzo <ac+nexa(a)zeromx.net>
>
> Caro Beppe,
>
> passiamo il paragone anche se mi pare zoppichi un po'. I logaritmi non
> sono nemmeno tecnologia, sono matematica, come l'addizione.
> E chi pubblica tavole di logaritmi (purché corretti) non esercita alcun
> potere a distanza su chi le usa, cosa che accade in tutti gli altri
> esempi che fai.
Posso sciogliere i tuoi dubbi.
Le tabelle dei logaritmi sono un’approssimazione di una funzione.
Anche i LLM approssimano una funzione.
Quanto alla matematica coinvolta nel modo cui cui viene calcolata questa approssimazione, basta leggere l’articolo che introdusse i transformers (Attention is all you need) per rendersi conto di quanta matematica sia coinvolta.
>
> Nessuno dice (credo) che gli LLM siano /di per se/ una violazione di
> valori o principi morali, ma forniscono un grande potere.
Bene, almeno sui principi morali siamo d’accordo.
Quanto al potere e al ruolo politico dell’uso della tecnologia, è un discorso ben diverso nel quale preferisco non addentrarmi: tutto è politico, mi pare scontato.
Se l’uso di LLM dà del potere, il problema è politico e le soluzioni riguardano la politica.
Sarei felice se avessimo una politica in grado di controllare il potere, ma così non sembra che sia.
—
Jan. 15, 2025
Re: [nexa] Esistono "tecnologie" "politicamente neutrali"?
by Antonio
> La rigidità degli algoritmi e del digitale sta generando nella PA mostri a
> cui è davvero arduo opporsi, tanto per l'utente cittadino quanto per il
> funzionario addetto.
Il CSM, a proposito di APP: "Deve essere ribadito come gli applicativi informatici non siano più elementi neutri nell'organizzazione, ma costituiscono veri e propri formanti giudiziari che impattano anche su competenze e prerogative riservate, dalle fonti primarie e secondarie, agli uffici e allo stesso Consiglio Superiore della Magistratura".
E a proposito di questioni ordinamentali, più che tecniche, il magistrato Alberto Santacatterina si chiede "a cosa deve servire APP, quali spazi di libertà deve lasciare all'utilizzatore, quali scelte spettano all'utente e quali all'applicativo?"
Nel suo studio [1] conclude con:
"APP non rientra dunque, a nostro avviso, tra i "servizi relativi alla giustizia" di cui all'art. 110 Cost., e perciò la sua "organizzazione" ed il suo "funzionamento" - che in concreto consistono nella progettazione della sua architettura, nella sua manutenzione e nel suo aggiornamento - non possono essere esclusiva del Ministro della Giustizia. Al contrario, lo strettissimo legame tra il corretto funzionamento del software e il rispetto dei principi costituzionali della soggezione dei giudici solo alla legge e dell'autonomia ed indipendenza della magistratura da ogni altro potere, impongono di considerare tra i parametri costituzionali della valutazione delle competenze relative all'applicativo gli artt. 101 e 104 Cost., a maggior ragione se si considera che lo stesso art. 110 Cost. utilizza, nel definire le competenze del Ministro, una formula residuale che fa salve "le competenze del Consiglio superiore della magistratura".
Ne deriva, ad avviso di chi scrive, la necessità di pensare allo sviluppo ed alla manutenzione in esercizio di APP, ora e per il futuro, come un'attività alla quale debbono stabilmente e necessariamente partecipare, possibilmente attraverso strutture che assicurino una stabile collaborazione e un continuo e proficuo lavoro di analisi e di confronto, il Ministero della giustizia, il Consiglio superiore della magistratura, la Scuola superiore della magistratura e il Consiglio Nazionale Forense. Solo così il processo penale telematico potrà superare le difficoltà sin qui riscontrate e divenire strumento di efficienza dell'amministrazione della giustizia."
A.
[1] https://ius-giuffrefl-it.bibliopass.unito.it/dettaglio/10995291/app-e-proce…
Jan. 15, 2025
Re: [nexa] Intervista ad Andrea Cerroni
by Giacomo Tesio
No Enrico, scusa tu me :-)
On Wed, 15 Jan 2025 17:54:56 +0100 Enrico Nardelli wrote:
> nel mio articolo facevo proprio l'esempio di "cuore artificiale",
> locuzione che mi pare chiaro per chi legge l'articolo che io
> considero corretta, perché svolge la funzione di un cuore (infatti
> viene messo al suo posto) ma è fatto di una materia artificiale.
Hai ragione, evidentemente avevo letto troppo velocemente quel
passaggio dell'articolo.
Tuttavia il resto della mia risposta "imbizzarita" (che ti sarà
sembrata anche "bizzarra" :-D) è riferita a parti che avevo letto
con maggiore attenzione.
> Non ho scritto che la "intelligenza artificiale/meccanica"
> sostituisce un'intelligenza malata
Né io intendevo attribuirti tale affermazione, e nuovamente mi scuso
per se così è sembrato.
Volevo invece sottolineare che se costruiamo cuori artificiali per
sostituire cuori biologici funzionalmente difettosi, allora dovremmo
guardare con sospetto chi dice di voler costruire "intelligenze
artificiali", perché evidentemente vuole sostituire intelligenze
biologiche che considera difettose.
> Poi, nel mio articolo argomento abbastanza chiaramente che
> l'accezione del termine "intelligenza" cui sto facendo riferimento a
> proposito dell'IA è SOLO quella delle capacità puramente
> logico-razionali
Sì questo almeno l'avevo capito. :-)
Ed infatti ti ho risposto che anche limitandoci alle capacità puramente
logico-razionali, queste sono completamente inaccessibili ai software
di cui stiamo parlando.
La logica presuppone informazioni, esperienze soggettive di pensiero
comunicabile, modelli mentali... chiamali come vuoi.
Nessuna "intelligenza artificiale" ha modelli mentali.
Può restituire in output una definizione corretta di numero, ma non ha
un'esperienza mentale associata al numero, non sa cosa sia, sebbene il
concetto di numero sia indipendente dalla realtà fisica (e dunque dalla
necessità di un corpo).
> «/Le mancano infatti molte dimensioni che danno senso al termine
> intelligenza usato per le persone, da quella corporea, attraverso
> la quale sperimentiamo e conosciamo il mondo fisico intorno a noi e che
> costituisce il substrato comune alle nostre interazioni con gli
> altri, a quella emotiva, che ci permette di stabili relazioni
> autentiche e profonde con i nostri simili, a quella artistica, con la quale
> possiamo esprimere in modo estremamente pregnante il nostro senso
> estetico, solo per ricordare le più importanti/.»
Non serve un corpo per contare le "r" in "strawberry".
Né serve intelligenza per restituire in output il numero 3.
Però serve una mente per contare.
Anche se fornissimo a questi software sensori ed attuatori
(ovvero una sorta di "corpo artificiale"), rimarrebbero macchine che
eseguono pedissequamente un programma, completamente prive di
intelligenza.
Le "IA" elaborano meccanicamente dati, non informazioni.
Dunque non è intelligenza, _nemmeno_ logico-razionale.
A presto!
Giacomo
Jan. 15, 2025
Re: [nexa] Esistono "tecnologie" "politicamente neutrali"?
by alessandro marzocchi
Ciao Alfredo, i punti 1, 2, 3, 4 riguardano persone e non solo macchine
processi; fra l'altro, le persone hanno conoscenze necessarie per
ottimizzare i processi migliori di quelle degl'informatici.
Delle due l'una: o l'automazione si adatta alle persone, oppure le persone
si adattano all'automazione, niente impedisce quella che una volta si
chiamava la via di mezzo ... in medio stat virtus, suggerimento con radici
antiche ma oggi (bit solo bit sempre bit nient'altro che bit) + (subito e
soltanto subito).
*QUI STA ANCHE LA QUESTIONE GIURIDICA*: il cittadino è soggetto soltanto a
leggi oppure il programma informatico può imporre obblighi non previsti da
leggi, come ha lamentato più di un nexiano, io fra questi?
Mi interessa molto il punto 5, sul quale domando: *"LA MACCHINA" POTREBBE
PORTARE CONOSCENZE NUOVE* man mano che si evolve in autonomia dall'uomo?
Man mano che analizza, misura indipendentemente dalla corporeità? Mi pare
sia un'ipotesi anche di Giuseppe Longo, su di lui ed in generale più d'un
nexiano ha competenze migliori delle mie.
Cordialmente, Duccio (Alessandro Marzocchi)
Il giorno mer 15 gen 2025 alle ore 17:36 Alfredo Bregni <abregni(a)iperv.it>
ha scritto:
> Informatica ai primordi!?
> Mi viene in mente quando dissi di FIAT (sì, c'era ancora la FIAT...) che
> aveva tre problemi: *time to market dell'innovazione*, *logistica*,
> *leadership*.
>
> Per me l'informatica dovrebbe:
> *1.*
> *Strati*: ridurli / progettarli insieme / poterli "bucare"; vale per
> strato ottico ed elettronico delle reti, i livelli dei protocolli di
> comunicazione, gli oggetti "non permeabili" gli uni agli altri (quando
> l'idea iniziale era che si scambiassero messaggi); soprattutto, vale per la
> progettazione, dove si ama troppo "separare", invece di "unificare".
> *2.*
> *Interfacce* (fra strati, e fra parti diverse di applicativi): renderle
> semplici e intuitive (matrici / tabelle?) per tutto quello che intuitivo
> non è (e si continua a lasciare tale).
> *3.*
> *Applicativi aziendali / ampi / distribuiti*: costruire qualche strumento
> "friendly" e flessibile come lo spreadsheet in ambito personale, che
> consenta alle organizzazioni di reinventarsi ogni giorno, invece di essere
> "irrigidite" proprio dall'IT;
> *4.*
> Magari, realizzare un *linguaggio "governato dai dati"*, invece che dalla
> programmazione di processo;
> *5.*
> Sogno dei sogni, realizzare un *database "plastico"*, capace di
> riorganizzarsi secondo criteri nuovi, che a mio parere è un prerequisito
> per un'intelligenza artificiale in grado di apprendere sul serio.
>
> [*Incidentalmente, i punti da 1 a 4 non sono follie, visto che sulla
> carta li ho perseguiti tutti insieme in un caso (però in un caso specifico,
> non in senso generale, come invece propongo).*]
>
>
>
>
> ----- Original Message -----
> *From:* Giacomo Tesio <giacomo(a)tesio.it>
> *To:* nexa(a)server-nexa.polito.it ; alessandro marzocchi
> <alemarzoc(a)gmail.com> ; nexa <nexa(a)server-nexa.polito.it>
> *Sent:* Tuesday, January 14, 2025 10:52 PM
> *Subject:* Re: [nexa] Esistono "tecnologie" "politicamente neutrali"?
>
> Il 14 Gennaio 2025 20:33:00 UTC, alessandro marzocchi <alemarzoc(a)gmail.com>
> ha scritto:
> >
> > tre compagni di scuola si trovano dopo molto tempo.
> > Abbracci domande racconti ben presto rinasce l'antica competizione: chi
> fa
> > il mestiere più importante?
> > Certamente io, faccio l'architetto e tutti dicono che la creazione del
> > mondo fu opera da architetto.
> > Amici, ricordiamo che la creazione avvenne organizzando il caos, replicò
> > il secondo amico che appunto si occupava di organizzazione.
> > Sorridendo intervenne il terzo amico, informatico, e domandò: secondo
> voi,
> > chi aveva messo il caos?
>
> FANTASTICA! ! ! :-D
>
>
> > Mestiere importante, quello dell'informatico, tanto importante che lo
> > insegnerei a scuola.
>
> È un mestiere solo perché la disciplina è ancora ai primordi.
>
> Siamo ancora ai geroglifici, checché ne dica il Faraone.
>
>
> Giacomo
>
> PS: "in principio era il Verbo"... :-)
>
>
Jan. 15, 2025
Re: [nexa] Intervista ad Andrea Cerroni
by Enrico Nardelli
Perdonami Giacomo,
Il 15/01/2025 15:57, Giacomo Tesio ha scritto:
> Anche ammesso che un cuore meccanico svolga la funzione di
> un cuore, di solito viene definito "cuore artificiale"
> <https://it.m.wikipedia.org/wiki/Cuore_artificiale>
>
nel mio articolo facevo proprio l'esempio di "cuore artificiale",
locuzione che mi pare chiaro per chi legge l'articolo che io considero
corretta, perché svolge la funzione di un cuore (infatti viene messo al
suo posto) ma è fatto di una materia artificiale. Non ho mai proposto di
sostituire tale espressione con "cuore meccanico". Non ho scritto che
la "intelligenza artificiale/meccanica" sostituisce un'intelligenza malata
Poi, nel mio articolo argomento abbastanza chiaramente che l'accezione
del termine "intelligenza" cui sto facendo riferimento a proposito
dell'IA è SOLO quella delle capacità puramente logico-razionali e che
ciò che noi chiamiamo intelligenza ha un'accezione ben diversa. «/Le
mancano infatti molte dimensioni che danno senso al termine intelligenza
usato per le persone, da quella corporea, attraverso la quale
sperimentiamo e conosciamo il mondo fisico intorno a noi e che
costituisce il substrato comune alle nostre interazioni con gli altri, a
quella emotiva, che ci permette di stabili relazioni autentiche e
profonde con i nostri simili, a quella artistica, con la quale possiamo
esprimere in modo estremamente pregnante il nostro senso estetico, solo
per ricordare le più importanti/.»
Quindi se inizi la tua risposta in questo modo ho il timore che non
abbia letto con sufficiente attenzione il mio articolo (ma non penso di
essere così importante).
Se avrai la bontà di rileggere con attenzione quanto ho scritto e
formulare critiche a ciò che effettivamente c'è nel mio articolo te ne
sarò davvero grato.
Sulle strategie per affrontare lo stato di sudditanza intellettuale in
cui siamo, il mio approccio è quello di focalizzarsi sul combattere le
battaglie nelle quali c'è qualche speranza di poter vincere, e quella
terminologica non ritengo sia tra queste.
Con immutata stima, Enrico
Il 15/01/2025 15:57, Giacomo Tesio ha scritto:
> Ora "giacomo si imbizzarrisce" (cit. karlessi :-D)
>
>
> Caro Enrico, ho letto le tue argomentazioni:
>
> Il 15 Gennaio 2025 09:39:51 UTC, Enrico Nardelli ha scritto:
>> Non sono però d'accordo sul fatto che il termine da usare sia
>> "intelligenza artificiale" (e non capisco bene l'argomentazione
>> espressa nell'intervista) ritenendo più giusto (e anche più
>> etimologicamente corretto) "intelligenza meccanica" come ho
>> argomentato qua
>> https://www.startmag.it/innovazione/intelligenza-artificiale-o-meccanica-qu…
> Anche ammesso che un cuore meccanico svolga la funzione di
> un cuore, di solito viene definito "cuore artificiale"
> <https://it.m.wikipedia.org/wiki/Cuore_artificiale>
>
> Poi, nella locuzione "IA" non è l'artificialità a confondere, ma il
> riferimento ad una facoltà tipica dell'uomo che l'artefatto (il
> software) dovrebbe essere in grado di _sostituire_.
>
> Il cuore artificiale infatti sostituisce un cuore malato.
> Davvero la "intelligenza artificiale/meccanica" sostituisce
> un'intelligenza malata? Secondo quali criteri?
>
>
> Poi mammiferi, uccelli, rettili, pesci.. tutti hanno un cuore, ma solo
> gli esseri umani sono intelligenti.
>
> Da questo punto di vista, la locuzione "cervello elettronico" fornirebbe
> una metafora analoga a "cuore meccanico", ma pur essendosi diffusa ben
> prima di "intelligenza artificiale", causa ormai ilarità o sarcasmo in
> chiunque abbia mai avuto a che fare con un computer.
>
>
> In qualunque caso, che li chiamiamo "intelligenze artificiali" o
> "intelligenze meccaniche", questi software _non_ svolgono la funzione
> dell'intelligenza.
>
> Non solo perché mancano di emozioni o creatività: non dispongono nemmeno
> di razionalità o logica, indipendentemente dalla loro assenza di
> fisicità. Anche quando restituiscono una definizione corretta di numero
> o di implicazione logica, non ne hanno alcuna comprensione.
>
> Anche se li si programma affinché restituiscano il numero giusto di "r"
> in "strawberry", non sanno cosa significhi quel numero.
>
>
> Non sono dunque nemmeno intelligenze esclusivamente razionali,
> come dici nel tuo articolo. Non sono proprio intelligenze.
>
>
> Dijkstra, che menzioni nel tuo articolo, scriveva:
>
> ```
> The Fathers of the field had been pretty confusing: John von Neumann
> speculated about computers and the human brain in analogies
> sufficiently wild to be worthy of a medieval thinker and Alan M. Turing
> thought about criteria to settle the question of whether Machines Can
> Think, a question of which we now know that it is about as relevant as
> the question of whether Submarines Can Swim.
> ```
> <https://www.cs.utexas.edu/~EWD/transcriptions/EWD08xx/EWD898.html>
>
>
> Dal punto di vista scientifico, il fatto che le macchine possano
> pensare è irrilevante.
>
> Il fatto che ne dobbiamo discutere rivela lo stato di sudditanza
> intellettuale cui si è ridotta la ricerca scientifica (se possiamo
> ancora chiamarla così).
> E lo stato patetico dell'informatica ai primordi.
>
>
>> D'altro canto, mi è chiarissimo che ormai ce l'abbiamo e ce lo
>> dobbiamo tenere, almeno fino a quando il baricentro del potere
>> mondiale rimarrà negli USA.
> Eppure cambiamo continuamente linguaggio.
>
> Ricordo ancora quandi era comune chiamare "mongolo" un ragazzo
> affetto dalla sindrome di Down. Poi "handicappato". Poi "disabile".
> Poi "diversamente abile".
>
> Nel giro di pochi mesi milioni di sviluppatori hanno rinominato il
> branch predefinito di migliaia di progetti da "master" a "main" perché
> gli Americani si vergognano della propria storia e cercano di
> cancellare ogni parola che possa ricordargli il proprio passato da
> schiavisti e razzisti. Con "buona pace" del proprio presente.
>
>
> Perché non iniziare dunque a stigmatizzare (almeno in senso figurato)
> chi parla di "intelligenza artificiale" fuori dal dominio della
> fantascienza, diffondendo alienazione ed avvelenando il discorso
> pubblico?
>
> Chi sfida esseri umani a fare riassunti migliori di ChatGPT o gli
> fornisce in input questionari pensati per studenti, confrontando i
> suoi output con le loro risposte.
>
> Più in generale, chi si permette di confrontare persone e oggetti,
> ponendole sullo stesso piano.
>
>
> Verrà certamente un giorno in cui gli USA si vergogneranno anche del
> male che hanno fatto a milioni di persone e milioni di ragazzi in
> particolare. Così come verrà il giorno in cui si vergogneranno per il
> supporto che hanno dato al genocidio in corso a Gaza.
>
>
> Aiutiamoli ad accorciare i tempi! :-)
>
>
>
> Giacomo
--
-- EN
https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html
======================================================
Prof. Enrico Nardelli
Past President di "Informatics Europe"
Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI
Dipartimento di Matematica - Università di Roma "Tor Vergata"
Via della Ricerca Scientifica snc - 00133 Roma
home page: https://www.mat.uniroma2.it/~nardelli
blog: https://link-and-think.blogspot.it/
tel: +39 06 7259.4204 fax: +39 06 7259.4699
mobile: +39 335 590.2331 e-mail: nardelli(a)mat.uniroma2.it
online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont
======================================================
--
Jan. 15, 2025
Re: [nexa] Esistono "tecnologie" "politicamente neutrali"?
by Giacomo Tesio
Ciao Duccio,
On Wed, 15 Jan 2025 00:07:20 +0100 alessandro marzocchi wrote:
> Domando: "la parola" è una tecnologia?
Domanda molto intelligente!
Nel momento in cui la vocalizziamo, imprimendola attraverso onde sonore
all'aria circostante, ha tutte le caratteristiche del dato: la
rappresentazione di un'informazione su un supporto trasferibile
(seppur a corto raggio, sia in termini spaziali che temporali).
Tuttavia, non è il suono a caratterizzare la parola: i pappagalli, i
cellulari e i mangiacassette possono riprodurre onde sonore analoghe
alle parole, senza disporre di alcuna comprensione del loro significato.
Ogni parola associa un significante ad un significato ed è questa
associazione fra un pattern sonoro e un esperienza soggettiva a
caratterizzarla.
Se io dico "sedia" tu che ascolti immagini una sedia diversa da quella
che immagino io. L'esperienza mentale che associamo alla parola "sedia"
(così come a qualsiasi altra parola) è dunque diversa, soggettiva.
Tale esperienza soggettiva di pensiero comunicabile è ciò che definisco
"informazione". Senza la parola "sedia", ciascuno di noi avrebbe
comunque un esperienza soggettiva delle sedie, ma non potrebbe
comunicarla (metterla in comune) senza portarsela fisicamente dietro.
Anche etimologicamente, "parola" deriva da "parabola" che, per quanto ne
so, significa letteralmente "mettere vicino", "ravvicinare", e viene
spesso interpretata in senso figurato come "confronto", ma potremmo
anche interpretarla come "associazione".
Associazione fra suono (significante) e informazione (significato).
La parola (questa associazione) fornisce un vantaggio evolutivo enorme
all'uomo, di per sé debole in un ambiente ostile, permettendogli di
comunicare efficacemente con i propri simili.
Ma avvia anche un feedback loop esplosivo: combinando più parole,
viviamo nuove esperienze soggettive di pensiero comunicabile
(informazioni) cui attribuiamo nuove parole, ricorsivamente.
Dunque la parola/informazione precede la tecnologia.
E ne è condizione, se definiamo la tecnologia come Giuseppe, quale
conoscenza scientifica applicabile.
Ma possiamo dire che sia stata la prima tecnologia umana?
Ne ha molte caratteristiche.
Ad esempio ha un chiaro orientamento politico, favorendo la creazione
di organizzazioni più complesse ed articolate di quelle comuni fra gli
altri primati.
Al contempo ha influenzato talmente profondamente l'evoluzione
dell'uomo che fatico a considerarla come qualcosa costruito dall'uomo.
Non si adatta né alla definizione "platonica" proposta da Giuseppe
("conoscenza scientifica applicabile") né la definizione fenomenologica
che ho proposto io ("insieme di artefatti costruiti dall'uomo con
caratteristiche e scopi comuni").
Non è "conoscenza scientifica applicabile" né un artefatto.
Dunque direi la parola che non è una tecnologia.
E' una caratteristica evolutiva che caratterizza l'uomo,
un po' come il lungo collo caratterizza le giraffe.
> Tecnologia può essere ritenuta sinonimo di artefatto, opera umana?
Secondo la mia definizione sì, secondo quella di Giuseppe, no.
> non complicateci la vita più del necessario, buona parte dei danni da
> informatica nascono quando il tecnico pretende di insegnare un
> mestiere che non conosce a chi questo mestiere lo fa, software
> hardware *HUMANWARE*, quando quest'ultimo sparisce appaiono i guai.
Per essere "HUMANWARE" deve essere patrimonio di tutta l'umanità.
In altri termini, l'informatica supererà la sua fase primitiva
solo quando sarà conoscenza comune, come la scrittura.
> PS In sè, la tecnologia è neutrale, i dr Stranamore sono la minoranza
> ma i malfattori sono sempre all'erta (opinioni mie, niente di più).
"Tecnologia" che?
"Neutrale" in che senso?
Come detto in altra mail rispondendo a Giuseppe, la tecnologia può
essere politicamente neutrale solo fintanto che esiste solo come
informazione nella mente di chi la conosce. Non appena ci si appresta
ad applicare tale conoscenza creando artefatti tecnologici, smette di
esserlo.
"Politicamente" non è a caso nell'oggetto del thread.
Non ha infatti senso discutere di etica in ambito tecnologico, perché
etica (e moralità) si limitano ad influenzare la sfera individuale.
Buttarla sull'etica serve solo a sterizzare qualsiasi critica
tecnologica: in una società pluralista, ognuno ogni etica è legittima
fintanto che non disturba gli altri; in una società capitalista ogni
etica è legittima fintanto che non disturba i più ricchi.
La tecnologia invece è Politica.
La sua critica presuppone il riconoscimento di effetti sociali e
l'analisi delle relazioni di potere che tali effetti determinano.
Per questo la sua realizzazione, la sua comprensione e la sua critica
consapevole è parte di una piena cittadinanza in una società
cibernetica.
Giacomo
Jan. 15, 2025
Re: [nexa] Esistono "tecnologie" "politicamente neutrali"?
by Alfredo Bregni
Informatica ai primordi!?
Mi viene in mente quando dissi di FIAT (sì, c'era ancora la FIAT...) che aveva tre problemi: time to market dell'innovazione, logistica, leadership.
Per me l'informatica dovrebbe:
1.
Strati: ridurli / progettarli insieme / poterli "bucare"; vale per strato ottico ed elettronico delle reti, i livelli dei protocolli di comunicazione, gli oggetti "non permeabili" gli uni agli altri (quando l'idea iniziale era che si scambiassero messaggi); soprattutto, vale per la progettazione, dove si ama troppo "separare", invece di "unificare".
2.
Interfacce (fra strati, e fra parti diverse di applicativi): renderle semplici e intuitive (matrici / tabelle?) per tutto quello che intuitivo non è (e si continua a lasciare tale).
3.
Applicativi aziendali / ampi / distribuiti: costruire qualche strumento "friendly" e flessibile come lo spreadsheet in ambito personale, che consenta alle organizzazioni di reinventarsi ogni giorno, invece di essere "irrigidite" proprio dall'IT;
4.
Magari, realizzare un linguaggio "governato dai dati", invece che dalla programmazione di processo;
5.
Sogno dei sogni, realizzare un database "plastico", capace di riorganizzarsi secondo criteri nuovi, che a mio parere è un prerequisito per un'intelligenza artificiale in grado di apprendere sul serio.
[Incidentalmente, i punti da 1 a 4 non sono follie, visto che sulla carta li ho perseguiti tutti insieme in un caso (però in un caso specifico, non in senso generale, come invece propongo).]
----- Original Message -----
From: Giacomo Tesio
To: nexa(a)server-nexa.polito.it ; alessandro marzocchi ; nexa
Sent: Tuesday, January 14, 2025 10:52 PM
Subject: Re: [nexa] Esistono "tecnologie" "politicamente neutrali"?
Il 14 Gennaio 2025 20:33:00 UTC, alessandro marzocchi <alemarzoc(a)gmail.com> ha scritto:
>
> tre compagni di scuola si trovano dopo molto tempo.
> Abbracci domande racconti ben presto rinasce l'antica competizione: chi fa
> il mestiere più importante?
> Certamente io, faccio l'architetto e tutti dicono che la creazione del
> mondo fu opera da architetto.
> Amici, ricordiamo che la creazione avvenne organizzando il caos, replicò
> il secondo amico che appunto si occupava di organizzazione.
> Sorridendo intervenne il terzo amico, informatico, e domandò: secondo voi,
> chi aveva messo il caos?
FANTASTICA! ! ! :-D
> Mestiere importante, quello dell'informatico, tanto importante che lo
> insegnerei a scuola.
È un mestiere solo perché la disciplina è ancora ai primordi.
Siamo ancora ai geroglifici, checché ne dica il Faraone.
Giacomo
PS: "in principio era il Verbo"... :-)
Jan. 15, 2025
Re: [nexa] Intervista ad Andrea Cerroni
by Giacomo Tesio
Ora "giacomo si imbizzarrisce" (cit. karlessi :-D)
Caro Enrico, ho letto le tue argomentazioni:
Il 15 Gennaio 2025 09:39:51 UTC, Enrico Nardelli ha scritto:
> Non sono però d'accordo sul fatto che il termine da usare sia
> "intelligenza artificiale" (e non capisco bene l'argomentazione
> espressa nell'intervista) ritenendo più giusto (e anche più
> etimologicamente corretto) "intelligenza meccanica" come ho
> argomentato qua
> https://www.startmag.it/innovazione/intelligenza-artificiale-o-meccanica-qu…
Anche ammesso che un cuore meccanico svolga la funzione di
un cuore, di solito viene definito "cuore artificiale"
<https://it.m.wikipedia.org/wiki/Cuore_artificiale>
Poi, nella locuzione "IA" non è l'artificialità a confondere, ma il
riferimento ad una facoltà tipica dell'uomo che l'artefatto (il
software) dovrebbe essere in grado di _sostituire_.
Il cuore artificiale infatti sostituisce un cuore malato.
Davvero la "intelligenza artificiale/meccanica" sostituisce
un'intelligenza malata? Secondo quali criteri?
Poi mammiferi, uccelli, rettili, pesci.. tutti hanno un cuore, ma solo
gli esseri umani sono intelligenti.
Da questo punto di vista, la locuzione "cervello elettronico" fornirebbe
una metafora analoga a "cuore meccanico", ma pur essendosi diffusa ben
prima di "intelligenza artificiale", causa ormai ilarità o sarcasmo in
chiunque abbia mai avuto a che fare con un computer.
In qualunque caso, che li chiamiamo "intelligenze artificiali" o
"intelligenze meccaniche", questi software _non_ svolgono la funzione
dell'intelligenza.
Non solo perché mancano di emozioni o creatività: non dispongono nemmeno
di razionalità o logica, indipendentemente dalla loro assenza di
fisicità. Anche quando restituiscono una definizione corretta di numero
o di implicazione logica, non ne hanno alcuna comprensione.
Anche se li si programma affinché restituiscano il numero giusto di "r"
in "strawberry", non sanno cosa significhi quel numero.
Non sono dunque nemmeno intelligenze esclusivamente razionali,
come dici nel tuo articolo. Non sono proprio intelligenze.
Dijkstra, che menzioni nel tuo articolo, scriveva:
```
The Fathers of the field had been pretty confusing: John von Neumann
speculated about computers and the human brain in analogies
sufficiently wild to be worthy of a medieval thinker and Alan M. Turing
thought about criteria to settle the question of whether Machines Can
Think, a question of which we now know that it is about as relevant as
the question of whether Submarines Can Swim.
```
<https://www.cs.utexas.edu/~EWD/transcriptions/EWD08xx/EWD898.html>
Dal punto di vista scientifico, il fatto che le macchine possano
pensare è irrilevante.
Il fatto che ne dobbiamo discutere rivela lo stato di sudditanza
intellettuale cui si è ridotta la ricerca scientifica (se possiamo
ancora chiamarla così).
E lo stato patetico dell'informatica ai primordi.
> D'altro canto, mi è chiarissimo che ormai ce l'abbiamo e ce lo
> dobbiamo tenere, almeno fino a quando il baricentro del potere
> mondiale rimarrà negli USA.
Eppure cambiamo continuamente linguaggio.
Ricordo ancora quandi era comune chiamare "mongolo" un ragazzo
affetto dalla sindrome di Down. Poi "handicappato". Poi "disabile".
Poi "diversamente abile".
Nel giro di pochi mesi milioni di sviluppatori hanno rinominato il
branch predefinito di migliaia di progetti da "master" a "main" perché
gli Americani si vergognano della propria storia e cercano di
cancellare ogni parola che possa ricordargli il proprio passato da
schiavisti e razzisti. Con "buona pace" del proprio presente.
Perché non iniziare dunque a stigmatizzare (almeno in senso figurato)
chi parla di "intelligenza artificiale" fuori dal dominio della
fantascienza, diffondendo alienazione ed avvelenando il discorso
pubblico?
Chi sfida esseri umani a fare riassunti migliori di ChatGPT o gli
fornisce in input questionari pensati per studenti, confrontando i
suoi output con le loro risposte.
Più in generale, chi si permette di confrontare persone e oggetti,
ponendole sullo stesso piano.
Verrà certamente un giorno in cui gli USA si vergogneranno anche del
male che hanno fatto a milioni di persone e milioni di ragazzi in
particolare. Così come verrà il giorno in cui si vergogneranno per il
supporto che hanno dato al genocidio in corso a Gaza.
Aiutiamoli ad accorciare i tempi! :-)
Giacomo
Jan. 15, 2025
Five things privacy experts know about AI
by Daniela Tafani
Five things privacy experts know about AI:
1. AI models memorize their training data
2. AI models then leak their training data
3. Ad hoc protections don't work
4. Robust protections exist, though their mileage may vary
5. The larger the model, the worse it gets
Bonus thing: AI companies are overwhelmingly dishonest
In November, I participated in a technologist roundtable about privacy and AI, for an audience of policy folks and regulators. The discussion was great! It also led me to realize that there a lot of things that privacy experts know and agree on about AI… but might not be common knowledge outside our bubble.
That seems the kind of thing I should write a blog post about!
1. AI models memorize their training data
When you train a model with some input data, the model will retain a high-fidelity copy of some data points. If you "open up" the model and analyze it in the right way, you can reconstruct some of its input data nearly exactly. This phenomenon is called memorization.
Memorization happens by default, to all but the most basic AI models. It's often hard to quantify: you can't say in advance which data points will be memorized, or how many. Even after the fact, it can be hard to measure precisely. Memorization is also hard to avoid: most naive attempts at preventing it fail miserably — more on this later.
Memorization can be lossy, especially with images, which aren't memorized pixel-to-pixel. But if your training data contains things like phone numbers, email addresses, recognizable faces… Some of it will inevitably be stored by your AI model. This has obvious consequences for privacy considerations.
2. AI models then leak their training data
Once a model has memorized some training data, an adversary can typically extract it, even without direct access to the internals of the model. So the privacy risks of memorization are not theoretical: AI models don't just memorize data, they regurgitate it as well.
In general, we don't know how to robustly prevent AI models from doing things they're not supposed to do. That includes giving away the data they dutifully memorized. There's a lot of research on this topic, called "adversarial machine learning"… and it's fair to say that the attackers are winning against the defenders by a comfortable margin.
Will this change in the future? Maybe, but I'm not holding my breath. To really secure a thing against clever adversaries, we first have to understand how the thing works. We do not understand how AI models work. Nothing seems to indicate that we will figure it out in the near future.
3. Ad hoc protections don't work
There are a bunch of naive things you can do to try and avoid problems 1 and 2. You can remove obvious identifiers in your training data. You can deduplicate the input data. You can use regularization during training. You can apply alignment techniques after the fact to try and teach your model to not do bad things. You can tweak your prompt and tell your chatbot to pretty please don't reidentify people like a creep1. You can add a filter to your language model to catch things that look bad before they reach users.
You can list all those in a nice-looking document, give it a fancy title like "Best practices in AI privacy", and feel really good about yourself. But at best, these will limit the chances that something goes wrong during normal operation, and make it marginally more difficult for attackers. The model will still have memorized a bunch of data. It will still leak some of this data if someone finds a clever way to extract it.
Fundamental problems don't get solved by adding layers of ad hoc mitigations.
4. Robust protections exist, though their mileage may vary
To prevent AI models from memorizing their input, we know exactly one robust method: differential privacy (DP). But crucially, DP requires you to precisely define what you want to protect. For example, to protect individual people, you must know which piece of data comes from which person in your dataset. If you have a dataset with identifiers, that's easy. If you want to use a humongous pile of data crawled from the open Web, that's not just hard: that's fundamentally impossible.
In practice, this means that for massive AI models, you can't really protect the massive pile of training data. This probably doesn't matter to you: chances are, you can't afford to train one from scratch anyway. But you may want to use sensitive data to fine-tune them, so they can perform better on some task. There, you may be able to use DP to mitigate the memorization risks on your sensitive data.
This still requires you to be OK with the inherent risk of the off-the-shelf LLMs, whose privacy and compliance story boils down to "everyone else is doing it, so it's probably fine?".
To avoid this last problem, and get robust protection, and probably get better results… Why not train a reasonably-sized model entirely on data that you fully understand instead?
It will likely require additional work. But it will get you higher-quality models, with a much cleaner privacy and compliance story. Understanding your training data better will also lead to safer models, that you can debug and improve more easily.
5. The larger the model, the worse it gets
Every privacy problem gets worse for larger models. They memorize more training data. They do so in ways that more difficult to predict and measure. Their attack surface is larger. Ad hoc protections get less effective.
Larger, more complex models also make it harder to use robust privacy notions for the entire training data. The privacy-accuracy trade-offs are steeper, the performance costs are higher, and it typically gets more difficult to really understand the privacy properties of the original data.
Bonus thing: AI companies are overwhelmingly dishonest
I think most privacy experts would agree with this post so far. There are divergences of opinion when you start asking "do the benefits of AI outweigh the risks". If you ask me, the benefits are extremely over-hyped, while the harms (including, but not limited to, privacy risks) are very tangible and costly. But other privacy experts I respect are more bullish on the potentials of this technology, so I don't think there's a consensus there.
AI companies, however, do not want to carefully weigh benefits against risks. They want to sell you more AI, so they have a strong incentive to downplay the risks, and no ethical qualms doing so. So all these facts about privacy and AI… they're pretty inconvenient. AI salespeople would like it a lot if everyone — especially regulators — stayed blissfully unaware of these.
Conveniently for AI companies, things that are obvious truths to privacy experts are not widely understood. In fact, they can be pretty counter-intuitive!
>From a distance, memorization is surprising. When you train an LLM, sentences are tokenized, words are transformed into numbers, then a whole bunch of math happens. It certainly doesn't look like you copy-pasted the input anywhere.
LLMs do an impressive job at pretending to be human. It's super easy for us to antropomorphize them, and think that if we give them good enough instructions, they'll "understand", and behave well. It can seem strange that they're so vulnerable to adversarial inputs. The attacks that work on them would never work on real people!
People really want to believe that every problem can be fixed with just a little more work, a few more patches. We're very resistant to the idea that some problem might be fundamental, and not have a solution at all.
Companies building large AI models use this to their advantage, and do not hesitate making statements that they clearly know to be false. Here's OpenAI publishing statements like « memorization is a rare failure of the training process ». This isn't an unintentional blunder, they know how this stuff works! They're lying through their teeth, hoping that you won't notice.
Like every other point outlined in this post, this isn't actually AI-specific. But that's a story for another day…
Additional remarks and further reading
On memorization: I recommend Katharine Jarmul's blog post series on the topic. It goes into much more detail about this phenomenon and its causes, and comes with a bunch of references. One thing I find pretty interesting is that memorization may be unavoidable: some theoretical results suggest that some learning tasks cannot be solved without memorizing some of the input!
On privacy attacks on AI models: this paper is a famous example of how to extract training data from language models. It also gives figures on how much training data gets memorized. This paper is another great example of how bad these attacks can be. Both come with lots of great examples in the appendix.
On the impossibility of robustly preventing attacks on AI models: I recommend two blog posts by Arvind Narayanan and Sayash Kapoor: one about what alignment can and cannot do, the other about safety not being a property of the model. The entire blog post series is worth a read.
On robust mitigations against memorization: this survey paper provides a great overview of how to train AI models with DP. Depending on the use case, achieving a meaningful privacy notion can be very tricky: this paper discusses the specific complexities of natural language data, while this paper outlines the subtleties of using a combination of public and private data during AI training.
Acknowledgments
Thanks a ton to Alexander Knop, Amartya Sanyal, Gavin Brown, Joe Near, Liudas Panavas, Marika Swanberg, and Thomas Steinke for their excellent feedback on earlier versions of this post.
<https://desfontain.es/blog/privacy-in-ai.html>
Jan. 15, 2025