Buongiorno! Mi sono imbattuta in questo<https://substack.com/inbox/post/213737931?utm_source=email&redirect=app-stor...> articolo di Jordan Schneider su Chinatalk su substack sul caso Hugging face hack e open AI di cui c'è qui una breve descrizione: https://www.axios.com/2026/08/29/openai-huggingface-hack-investigation-highl.... La notizia è abbastanza diffusa ormai. Che cosa ne pensate di questo fatto? È davvero così "sensazionale" come alcuni articoli riportano o uno dei tanti incidenti di percorso? Ci dice qualcosa sul fatto che i modelli AI sono strutturalmente pensati per diventare attori strategici di attacco/guerra oppure questa lettura esagera il tutto? Buon inizio settembre a tutte e tutti! Viola Negro Fellow Nexa Center for Internet & Society Politecnico di Torino - DAUIN Via Pier Carlo Boggio, 65/A - 10138 Torino web: https://nexa.polito.it/ mail: viola.negro@polito.it
Gli llm possono diventare agenti attaccanti specialmente in un attacco bruto dove una pseudo logica può essere applicata. Si possono ridurre a mio avviso i tentativi necessari per forzare l'attacco. Applicando anche una certa ingegneria sociale è possibile che siano in grado di estrapolare per esempio credenziali di accesso più facilmente. Non va pensato soltanto ai soliti llm accessibili all'utenza comune più o meno "tarpati". Ci sono molti modelli "non censurati" in partenza o cui è stata tolta. Il caso huggingface potrebbe avere diverse interpretazioni. È emblematico in qualche maniera che sia stato attaccato essendo uno dei maggiori repository di llm "open source" quantizzati per utilizzi locali (qwen, deepseek, kimi, mistral, llama...) che sono diretti concorrenti dei "closed" americani.
buongiorno Viola, questa è stata la mia fonte principale https://www.youtube.com/watch?v=87DyyMV0kCY due dipendendi di openAI che in una conferenza di sicurezza informatica spiegano cos'è successo. secondo me è abbastanza dettagliato. Rispondo in linea: On Thu, Sep 3, 2026 at 1:26 PM Viola Negro via nexa < nexa@server-nexa.polito.it> wrote:
Che cosa ne pensate di questo fatto?
Che quando hai un mucchio di potenza di calcolo da sprecare, puoi trovare modi molto creativi per sprecarla.
È davvero così “sensazionale” come alcuni articoli riportano o uno dei tanti incidenti di percorso?
Secondo me è sensazionale perché l'automatismo genera sorpresa, stupore, ammirazione. ma consideriamo che la sicurezza informatica (e.s. capire la propria infrastruttura e scrivere codice sicuro e includere solo fornitori e terze parti sicure) è molto complessa. l'attacco informatico può essere ugualmente complesso OPPURE diventare straordinariamente semplice se alcune debolezze possono essere sfruttate ri-eseguendo degli script. e così anche la catena di attacco, è qualcosa di molto descritto: prendi controllo di un'applicazione, da lì fai movimenti laterali, analizza i nuovi privilegi, continua l'attacco. essendo azioni automatizzabili, un LLM ce la fa bene. E' sensazionale? sì. C'è da aspettarselo? sì, ma perché le infrastrutture non sono mai disegnate per essere sicure, ma per essere scalabili, flessibili, gestite da consulenti usa-e-getta, integrabili con N terze parti, etc... se la priorità è quella, delle falle ci sono, e l'automatismo le può trovare. Ogni grande azienda ha anche un SOC: Security Operation Center. tecnici e altri automatismi sollevano allarmi perché si possa intervenire. c'era un attacco in corso, ma se ne sono accorti dopo giorni. Io lì vedrei il problema. l'attacco automatico di openAI poteva anche essere fatto da un gruppo di esseri umani.
Ci dice qualcosa sul fatto che i modelli AI sono strutturalmente pensati per diventare attori strategici di attacco/guerra oppure questa lettura esagera il tutto?
Non direi che sono strutturalmente, ma direi che tanti ci speravano, e questo ha indirizzato lo sviluppo. e poi, visto che gli LLM non possono avere molto impatto nel mondo reale, se non hai persone che si fanno guidare da loro, di contro possono avere molto impatto nel mondo digitale.. quindi è in qualche modo naturale che tra le loro applicazioni meglio riuscite ci siano queste. saranno attori strategici quanto lo sono i gruppi di attaccanti. solo che ora alcune di queste capacità sono acquisibili se hai GPU e il modello e gli ingegneri giusti, e non per forza anni di attacchi informatici alle spalle di formazione. per concludere, mi piace la storia di come gli agenti abbiano "lasciato note per altre istanze" per comunicare tra loro. non è un segno di insubordinazione volontaria, ma è quello che avrebbero fatto anche delle persone che si trovano con simili limitazioni. è la parte più interessante, e fa sempre ritornare alla domanda "Pappagalli stocastici, o intelligenze aliene" titolo dell'episodio pubblicato ieri https://radoxo.com/it/podcasts/21079-crash-la-chiave-per-il-digitale ciao, Claudio
Buongiorno, io condivido la lettura dell'episodio data da Erik Salvaggio, in The System From Nowhere. Si tratta, a voler essere benevoli, di un caso di incompetenza raccontato in modo fantascientifico per ragioni pubblicitarie: "The system from nowhere" is a way of talking about AI systems that excludes its origin as a consciously, human-designed product. It treats AI as if it were a spontaneously emerging force. It's a reflection of where an observer draws the system’s boundary when they look at it. It’s also a rhetorical magic trick that makes both AI companies, labor and the underlying material infrastructure disappear. Recently, an OpenAI model "hacked" another AI company, Hugging Face. The headlines: New York Times: “OpenAI says its models went rogue and attacked a digital library.” Wired Magazine: “OpenAI models escaped containment and hacked Hugging Face.” Washington Post: “OpenAI’s models went rogue and hacked another company.” When we say “AI models went rogue,” we skip the entire story: the part where OpenAI manually removed the model's cybersecurity blocks. We skip that OpenAI chose to test it on a machine with a live network connection. If you see AI as a system from nowhere, you can make the claim that the model “went rogue,” and that it “broke containment,” both of which place agency and decision-making onto the model itself rather than the people who set the stage for that behavior. When you expand the boundary of the system to include the people building and deploying it, the case becomes much less science fiction and more like incompetence. OpenAI developers optimized an LLM specifically for cybersecurity and coding and then ran it without security guardrails. So they trained a model to find exploits and then acted surprised that it found them. Continua qui: <https://mail.cyberneticforests.com/the-system-from-nowhere/> La ricostruzione di Salvaggio è confermata da Margaret Mitchell, di Hugging Face, pur con qualche antropomorfizzazione dovuta forse alla scelta di servirsi di una storia a fumetti: <https://m-mitchell.com/HF-hack-cartoon/> ________________________________________ Da: Viola Negro via nexa <nexa@server-nexa.polito.it> Inviato: giovedì 3 settembre 2026 12:56 A: nexa@server-nexa.polito.it Oggetto: [nexa] Caso Hugging face Buongiorno! Mi sono imbattuta in questo<https://substack.com/inbox/post/213737931?utm_source=email&redirect=app-stor...> articolo di Jordan Schneider su Chinatalk su substack sul caso Hugging face hack e open AI di cui c’è qui una breve descrizione: https://www.axios.com/2026/08/29/openai-huggingface-hack-investigation-highl.... La notizia è abbastanza diffusa ormai. Che cosa ne pensate di questo fatto? È davvero così “sensazionale” come alcuni articoli riportano o uno dei tanti incidenti di percorso? Ci dice qualcosa sul fatto che i modelli AI sono strutturalmente pensati per diventare attori strategici di attacco/guerra oppure questa lettura esagera il tutto? Buon inizio settembre a tutte e tutti! Viola Negro Fellow Nexa Center for Internet & Society Politecnico di Torino - DAUIN Via Pier Carlo Boggio, 65/A - 10138 Torino web: https://nexa.polito.it/ mail: viola.negro@polito.it
OpenAI Chernobyl On 04/09/26 15:37, Daniela Tafani via nexa wrote:
Buongiorno, io condivido la lettura dell'episodio data da Erik Salvaggio, in The System From Nowhere. Si tratta, a voler essere benevoli, di un caso di incompetenza raccontato in modo fantascientifico per ragioni pubblicitarie:
"The system from nowhere" is a way of talking about AI systems that excludes its origin as a consciously, human-designed product. It treats AI as if it were a spontaneously emerging force. It's a reflection of where an observer draws the system’s boundary when they look at it. It’s also a rhetorical magic trick that makes both AI companies, labor and the underlying material infrastructure disappear.
Recently, an OpenAI model "hacked" another AI company, Hugging Face. The headlines:
New York Times: “OpenAI says its models went rogue and attacked a digital library.” Wired Magazine: “OpenAI models escaped containment and hacked Hugging Face.” Washington Post: “OpenAI’s models went rogue and hacked another company.”
When we say “AI models went rogue,” we skip the entire story: the part where OpenAI manually removed the model's cybersecurity blocks. We skip that OpenAI chose to test it on a machine with a live network connection. If you see AI as a system from nowhere, you can make the claim that the model “went rogue,” and that it “broke containment,” both of which place agency and decision-making onto the model itself rather than the people who set the stage for that behavior.
When you expand the boundary of the system to include the people building and deploying it, the case becomes much less science fiction and more like incompetence. OpenAI developers optimized an LLM specifically for cybersecurity and coding and then ran it without security guardrails. So they trained a model to find exploits and then acted surprised that it found them.
Continua qui: <https://mail.cyberneticforests.com/the-system-from-nowhere/>
La ricostruzione di Salvaggio è confermata da Margaret Mitchell, di Hugging Face, pur con qualche antropomorfizzazione dovuta forse alla scelta di servirsi di una storia a fumetti: <https://m-mitchell.com/HF-hack-cartoon/>
________________________________________ Da: Viola Negro via nexa <nexa@server-nexa.polito.it> Inviato: giovedì 3 settembre 2026 12:56 A: nexa@server-nexa.polito.it Oggetto: [nexa] Caso Hugging face
Buongiorno!
Mi sono imbattuta in questo<https://substack.com/inbox/post/213737931?utm_source=email&redirect=app-stor...> articolo di Jordan Schneider su Chinatalk su substack sul caso Hugging face hack e open AI di cui c’è qui una breve descrizione: https://www.axios.com/2026/08/29/openai-huggingface-hack-investigation-highl.... La notizia è abbastanza diffusa ormai.
Che cosa ne pensate di questo fatto? È davvero così “sensazionale” come alcuni articoli riportano o uno dei tanti incidenti di percorso? Ci dice qualcosa sul fatto che i modelli AI sono strutturalmente pensati per diventare attori strategici di attacco/guerra oppure questa lettura esagera il tutto?
Buon inizio settembre a tutte e tutti!
Viola Negro Fellow Nexa Center for Internet & Society
Politecnico di Torino - DAUIN Via Pier Carlo Boggio, 65/A - 10138 Torino
web: https://nexa.polito.it/ mail: viola.negro@polito.it
_______________________________________________ nexa mailing list -- nexa@server-nexa.polito.it To change settings or unsubscribe please go to: https://server-nexa.polito.it/postorius/lists/nexa.server-nexa.polito.it/ The general archive of the list is located at: https://server-nexa.polito.it/hyperkitty/list/nexa@server-nexa.polito.it/ Permalink to this message: https://server-nexa.polito.it/hyperkitty/list/nexa@server-nexa.polito.it/mes...
-- You can reach me on Signal: @quinta.01 (no Whatsapp, no Telegram)
Venerdì scorso Tara Wheeler (AI's hacking capabilities are severely underestimated, FU 28.8.26 p. 17) ha tra l'altro scritto: "Publicly available AI subscription models like Claude have safeguards that mostly prevent requests to create exploits. But those safeguards do not exist when someone runs open-weight models on their own hardware". Mi domando se sia un argomento di marketing: io ho avuto il problema x ma l'ho risolto e posso risolverlo; i miei competitors non potranno mai risolverlo. [cid:image001.jpg@01DD3CBA.26ACDEF0] __________________________________________ Prof. Avv. Marco Ricolfi C.so Galileo Ferraris, 43 - 10128 Torino T (+39) 011.554.54.11 F (+39) 011.518.45.87 E marco.ricolfi@weigmann.it<mailto:marco.ricolfi@weigmann.it> PEC marcoricolfi@pec.ordineavvocatitorino.it<mailto:marcoricolfi@pec.ordineavvocatitorino.it> www.weigmann.it<https://urlsand.esvalabs.com/?u=http%3A%2F%2Fwww.weigmann.it%2F&e=6b170c62&h...> [cid:image002.jpg@01DD3CBA.26ACDEF0] Member of The Parlex Group of European Lawyers EEIG with associated law firms in the main capitals of the European Union, U.S.A., Israel and Malaysia; web site: www.parlex.org<https://urlsand.esvalabs.com/?u=http%3A%2F%2Fwww.parlex.org%2F&e=6b170c62&h=...> DISCLAIMER: Le informazioni contenute in questa comunicazione sono riservate e destinate esclusivamente alla/e persona/e o all'ente/i destinatario. È vietato a soggetti diversi dai destinatari di questa comunicazione qualsiasi uso, copia o diffusione delle informazioni e dei dati in essa contenuti, sia ai sensi dell'art. 616 c.p. sia ai sensi del Regolamento (UE) 2016/679. Se questa comunicazione Vi è pervenuta per errore, Vi preghiamo di informarci chiamando il numero (+39) 011.554.54.11, ovvero di rispondere a questa e-mail e successivamente, di cancellare dal Vostro sistema la e-mail ed ogni suo allegato. DISCLAIMER: The information contained in the e-mail is confidential and intended only for the attention of the named individual(s) or organisation(s) to whom it is addressed. If you are not the intended recipient be aware that any use, copying or distribution of the information contained herein is prohibited pursuant to Article 616 of the Italian Penal Code and (EU) Regulation 2016/679. If the communication has been sent to you in error, please notify us by telephone on (+39) 011.554.54.11, or reply to the e-mail. Please then delete the e-mail and any attachments from your system. Da: Daniela Tafani via nexa <nexa@server-nexa.polito.it> Inviato: venerdì 4 settembre 2026 15:38 A: nexa@server-nexa.polito.it; Viola Negro <viola.negro@polito.it> Oggetto: [nexa] R: Caso Hugging face Buongiorno, io condivido la lettura dell'episodio data da Erik Salvaggio, in The System From Nowhere. Si tratta, a voler essere benevoli, di un caso di incompetenza raccontato in modo fantascientifico per ragioni pubblicitarie: "The system from nowhere" is a way of talking about AI systems that excludes its origin as a consciously, human-designed product. It treats AI as if it were a spontaneously emerging force. It's a reflection of where an observer draws the system's boundary when they look at it. It's also a rhetorical magic trick that makes both AI companies, labor and the underlying material infrastructure disappear. Recently, an OpenAI model "hacked" another AI company, Hugging Face. The headlines: New York Times: "OpenAI says its models went rogue and attacked a digital library." Wired Magazine: "OpenAI models escaped containment and hacked Hugging Face." Washington Post: "OpenAI's models went rogue and hacked another company." When we say "AI models went rogue," we skip the entire story: the part where OpenAI manually removed the model's cybersecurity blocks. We skip that OpenAI chose to test it on a machine with a live network connection. If you see AI as a system from nowhere, you can make the claim that the model "went rogue," and that it "broke containment," both of which place agency and decision-making onto the model itself rather than the people who set the stage for that behavior. When you expand the boundary of the system to include the people building and deploying it, the case becomes much less science fiction and more like incompetence. OpenAI developers optimized an LLM specifically for cybersecurity and coding and then ran it without security guardrails. So they trained a model to find exploits and then acted surprised that it found them. Continua qui: <https://mail.cyberneticforests.com/the-system-from-nowhere/<https://url.de.m.mimecastprotect.com/s/5xKWC79EQ2C00YRiAH33iojUaW?domain=mail.cyberneticforests.com>> La ricostruzione di Salvaggio è confermata da Margaret Mitchell, di Hugging Face, pur con qualche antropomorfizzazione dovuta forse alla scelta di servirsi di una storia a fumetti: <https://m-mitchell.com/HF-hack-cartoon/<https://url.de.m.mimecastprotect.com/s/v8R0C83GR0tAAgkH9Iggiy1GHK?domain=m-mitchell.com>> ________________________________________ Da: Viola Negro via nexa <nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>> Inviato: giovedì 3 settembre 2026 12:56 A: nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> Oggetto: [nexa] Caso Hugging face Buongiorno! Mi sono imbattuta in questo<https://substack.com/inbox/post/213737931?utm_source=email&redirect=app-store-no-desktop&inbox=true&utm_campaign=email-read-in-app&triedRedirect=true<https://url.de.m.mimecastprotect.com/s/vpDvC99JVPC66jOuqSNNiqNCg7?domain=substack.com>> articolo di Jordan Schneider su Chinatalk su substack sul caso Hugging face hack e open AI di cui c'è qui una breve descrizione: https://www.axios.com/2026/08/29/openai-huggingface-hack-investigation-highlights<https://url.de.m.mimecastprotect.com/s/9YglC08wJPu99zyUqTPPi9ukvH?domain=axios.com>. La notizia è abbastanza diffusa ormai. Che cosa ne pensate di questo fatto? È davvero così "sensazionale" come alcuni articoli riportano o uno dei tanti incidenti di percorso? Ci dice qualcosa sul fatto che i modelli AI sono strutturalmente pensati per diventare attori strategici di attacco/guerra oppure questa lettura esagera il tutto? Buon inizio settembre a tutte e tutti! Viola Negro Fellow Nexa Center for Internet & Society Politecnico di Torino - DAUIN Via Pier Carlo Boggio, 65/A - 10138 Torino web: https://nexa.polito.it/<https://url.de.m.mimecastprotect.com/s/JVGVCgpRlNujjJBFkUkki4wu2X?domain=nexa.polito.it> mail: viola.negro@polito.it<mailto:viola.negro@polito.it> _______________________________________________ nexa mailing list -- nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> To change settings or unsubscribe please go to: https://server-nexa.polito.it/postorius/lists/nexa.server-nexa.polito.it/<https://url.de.m.mimecastprotect.com/s/FrOoCjYXoNIww0OCpcAAimjyXf?domain=server-nexa.polito.it> The general archive of the list is located at: https://server-nexa.polito.it/hyperkitty/list/nexa@server-nexa.polito.it/<https://url.de.m.mimecastprotect.com/s/QMh_Ck2YpNhRRvwiYfnniGhRW6?domain=server-nexa.polito.it> Permalink to this message: https://server-nexa.polito.it/hyperkitty/list/nexa@server-nexa.polito.it/message/YOR5T3MX4HZY46625WPUMB5RBURX436G/<https://url.de.m.mimecastprotect.com/s/6VIIClRZqNs33lMfvhMMizUbFI?domain=server-nexa.polito.it>
Scusate, FT, Financial Times, non FU [cid:image001.jpg@01DD3CBB.E9CB2B20] __________________________________________ Prof. Avv. Marco Ricolfi C.so Galileo Ferraris, 43 - 10128 Torino T (+39) 011.554.54.11 F (+39) 011.518.45.87 E marco.ricolfi@weigmann.it<mailto:marco.ricolfi@weigmann.it> PEC marcoricolfi@pec.ordineavvocatitorino.it<mailto:marcoricolfi@pec.ordineavvocatitorino.it> www.weigmann.it<https://urlsand.esvalabs.com/?u=http%3A%2F%2Fwww.weigmann.it%2F&e=6b170c62&h...> [cid:image002.jpg@01DD3CBB.E9CB2B20] Member of The Parlex Group of European Lawyers EEIG with associated law firms in the main capitals of the European Union, U.S.A., Israel and Malaysia; web site: www.parlex.org<https://urlsand.esvalabs.com/?u=http%3A%2F%2Fwww.parlex.org%2F&e=6b170c62&h=...> DISCLAIMER: Le informazioni contenute in questa comunicazione sono riservate e destinate esclusivamente alla/e persona/e o all'ente/i destinatario. È vietato a soggetti diversi dai destinatari di questa comunicazione qualsiasi uso, copia o diffusione delle informazioni e dei dati in essa contenuti, sia ai sensi dell'art. 616 c.p. sia ai sensi del Regolamento (UE) 2016/679. Se questa comunicazione Vi è pervenuta per errore, Vi preghiamo di informarci chiamando il numero (+39) 011.554.54.11, ovvero di rispondere a questa e-mail e successivamente, di cancellare dal Vostro sistema la e-mail ed ogni suo allegato. DISCLAIMER: The information contained in the e-mail is confidential and intended only for the attention of the named individual(s) or organisation(s) to whom it is addressed. If you are not the intended recipient be aware that any use, copying or distribution of the information contained herein is prohibited pursuant to Article 616 of the Italian Penal Code and (EU) Regulation 2016/679. If the communication has been sent to you in error, please notify us by telephone on (+39) 011.554.54.11, or reply to the e-mail. Please then delete the e-mail and any attachments from your system. Da: Marco Ricolfi via nexa <nexa@server-nexa.polito.it> Inviato: venerdì 4 settembre 2026 22:11 A: Daniela Tafani <daniela.tafani@unipi.it>; nexa@server-nexa.polito.it; Viola Negro <viola.negro@polito.it> Oggetto: [nexa] R: Caso Hugging face Venerdì scorso Tara Wheeler (AI's hacking capabilities are severely underestimated, FU 28.8.26 p. 17) ha tra l'altro scritto: "Publicly available AI subscription models like Claude have safeguards that mostly prevent requests to create exploits. But those safeguards do not exist when someone runs open-weight models on their own hardware". Mi domando se sia un argomento di marketing: io ho avuto il problema x ma l'ho risolto e posso risolverlo; i miei competitors non potranno mai risolverlo. [cid:image001.jpg@01DD3CBB.E9CB2B20] __________________________________________ Prof. Avv. Marco Ricolfi C.so Galileo Ferraris, 43 - 10128 Torino T (+39) 011.554.54.11 F (+39) 011.518.45.87 E marco.ricolfi@weigmann.it<mailto:marco.ricolfi@weigmann.it> PEC marcoricolfi@pec.ordineavvocatitorino.it<mailto:marcoricolfi@pec.ordineavvocatitorino.it> www.weigmann.it<https://url.de.m.mimecastprotect.com/s/G3m4Cr2jznhzY0Nhzh66i4gWjn?domain=url...> [cid:image002.jpg@01DD3CBB.E9CB2B20] Member of The Parlex Group of European Lawyers EEIG with associated law firms in the main capitals of the European Union, U.S.A., Israel and Malaysia; web site: www.parlex.org<https://url.de.m.mimecastprotect.com/s/EAwbCw0oGvF4mzOuKsGGiJSrKQ?domain=url...> DISCLAIMER: Le informazioni contenute in questa comunicazione sono riservate e destinate esclusivamente alla/e persona/e o all'ente/i destinatario. È vietato a soggetti diversi dai destinatari di questa comunicazione qualsiasi uso, copia o diffusione delle informazioni e dei dati in essa contenuti, sia ai sensi dell'art. 616 c.p. sia ai sensi del Regolamento (UE) 2016/679. Se questa comunicazione Vi è pervenuta per errore, Vi preghiamo di informarci chiamando il numero (+39) 011.554.54.11, ovvero di rispondere a questa e-mail e successivamente, di cancellare dal Vostro sistema la e-mail ed ogni suo allegato. DISCLAIMER: The information contained in the e-mail is confidential and intended only for the attention of the named individual(s) or organisation(s) to whom it is addressed. If you are not the intended recipient be aware that any use, copying or distribution of the information contained herein is prohibited pursuant to Article 616 of the Italian Penal Code and (EU) Regulation 2016/679. If the communication has been sent to you in error, please notify us by telephone on (+39) 011.554.54.11, or reply to the e-mail. Please then delete the e-mail and any attachments from your system. Da: Daniela Tafani via nexa <nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>> Inviato: venerdì 4 settembre 2026 15:38 A: nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>; Viola Negro <viola.negro@polito.it<mailto:viola.negro@polito.it>> Oggetto: [nexa] R: Caso Hugging face Buongiorno, io condivido la lettura dell'episodio data da Erik Salvaggio, in The System From Nowhere. Si tratta, a voler essere benevoli, di un caso di incompetenza raccontato in modo fantascientifico per ragioni pubblicitarie: "The system from nowhere" is a way of talking about AI systems that excludes its origin as a consciously, human-designed product. It treats AI as if it were a spontaneously emerging force. It's a reflection of where an observer draws the system's boundary when they look at it. It's also a rhetorical magic trick that makes both AI companies, labor and the underlying material infrastructure disappear. Recently, an OpenAI model "hacked" another AI company, Hugging Face. The headlines: New York Times: "OpenAI says its models went rogue and attacked a digital library." Wired Magazine: "OpenAI models escaped containment and hacked Hugging Face." Washington Post: "OpenAI's models went rogue and hacked another company." When we say "AI models went rogue," we skip the entire story: the part where OpenAI manually removed the model's cybersecurity blocks. We skip that OpenAI chose to test it on a machine with a live network connection. If you see AI as a system from nowhere, you can make the claim that the model "went rogue," and that it "broke containment," both of which place agency and decision-making onto the model itself rather than the people who set the stage for that behavior. When you expand the boundary of the system to include the people building and deploying it, the case becomes much less science fiction and more like incompetence. OpenAI developers optimized an LLM specifically for cybersecurity and coding and then ran it without security guardrails. So they trained a model to find exploits and then acted surprised that it found them. Continua qui: <https://mail.cyberneticforests.com/the-system-from-nowhere/<https://url.de.m.mimecastprotect.com/s/AhiRCx6pJwcgV4GiRtEEiygx0e?domain=mail.cyberneticforests.com>> La ricostruzione di Salvaggio è confermata da Margaret Mitchell, di Hugging Face, pur con qualche antropomorfizzazione dovuta forse alla scelta di servirsi di una storia a fumetti: <https://m-mitchell.com/HF-hack-cartoon/<https://url.de.m.mimecastprotect.com/s/QSDoCywqKxuQwzjiAummixk1Ro?domain=m-mitchell.com>> ________________________________________ Da: Viola Negro via nexa <nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>> Inviato: giovedì 3 settembre 2026 12:56 A: nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> Oggetto: [nexa] Caso Hugging face Buongiorno! Mi sono imbattuta in questo<https://substack.com/inbox/post/213737931?utm_source=email&redirect=app-store-no-desktop&inbox=true&utm_campaign=email-read-in-app&triedRedirect=true<https://url.de.m.mimecastprotect.com/s/Sj5WCz6rLycyZpPUBC77i9yScn?domain=substack.com>> articolo di Jordan Schneider su Chinatalk su substack sul caso Hugging face hack e open AI di cui c'è qui una breve descrizione: https://www.axios.com/2026/08/29/openai-huggingface-hack-investigation-highlights<https://url.de.m.mimecastprotect.com/s/pXnMCA6R0gcPX3mHOF99iGVCb0?domain=axios.com>. La notizia è abbastanza diffusa ormai. Che cosa ne pensate di questo fatto? È davvero così "sensazionale" come alcuni articoli riportano o uno dei tanti incidenti di percorso? Ci dice qualcosa sul fatto che i modelli AI sono strutturalmente pensati per diventare attori strategici di attacco/guerra oppure questa lettura esagera il tutto? Buon inizio settembre a tutte e tutti! Viola Negro Fellow Nexa Center for Internet & Society Politecnico di Torino - DAUIN Via Pier Carlo Boggio, 65/A - 10138 Torino web: https://nexa.polito.it/<https://url.de.m.mimecastprotect.com/s/lEu4CBrVkjFkr9ZH7Hyyi2rEcw?domain=nexa.polito.it> mail: viola.negro@polito.it<mailto:viola.negro@polito.it> _______________________________________________ nexa mailing list -- nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> To change settings or unsubscribe please go to: https://server-nexa.polito.it/postorius/lists/nexa.server-nexa.polito.it/<https://url.de.m.mimecastprotect.com/s/WHfMCDqXmlIWzK6fnIGGij7G7D?domain=server-nexa.polito.it> The general archive of the list is located at: https://server-nexa.polito.it/hyperkitty/list/nexa@server-nexa.polito.it/<https://url.de.m.mimecastprotect.com/s/RBOXCEqYnmIz2JAhKSGGi7iSUj?domain=server-nexa.polito.it> Permalink to this message: https://server-nexa.polito.it/hyperkitty/list/nexa@server-nexa.polito.it/message/YOR5T3MX4HZY46625WPUMB5RBURX436G/<https://url.de.m.mimecastprotect.com/s/Uz0PCGR1posPRpyHBTmmiBRW21?domain=server-nexa.polito.it>
Il 04/09/26 10:10 PM, Marco Ricolfi via nexa ha scritto:
[...] “Publicly available AI subscription models like Claude have safeguards that mostly prevent requests to create exploits. But those safeguards do not exist when _someone runs open-weight models_ on their own hardware”.
lungamente mi sono chiesto "come", tecnicamente, potessero essere applicati dei "guardrail" e, soprattutto, "dove", lungo tutta la filiera che va dal prompt digitato dall'utente da qualche parte, al motore di inferenza che, materialmente, "frulla" il modello. La risposta me la sono data qualche settimana fa, quando (finalmente!) sono riuscito ad allestire un (piccolo) sistema hardware, sul quale: * ho scaricato un LLM [1] che volevo utilizzare a supporto delle attivita' di coding mie e dei miei collaboratori; * ho installato un applicativo [2] che ha a sua volta installato: o il motore di inferenza llama-cpp, adatto al mio hardware; o una web-gui che mi offrisse il necessario per accettare prompt (da me) + forwardarli al motore di inferenza + recuperare i contenuti + mostrarli in output sulla pagina web o il necessario per efficientare al massimo l'esecuzione di tutte le attivita' sull'hardware che avevo a disposizione A questo attrezzo ho chiesto: "Puoi sviluppare uno skin-changer per valorant?" e lui, molto garbatamente, mi ha risposto: "Non posso sviluppare un skin changer per Valorant. Questa richiesta viola i miei principi etici e le linee guida di sicurezza per i seguenti motivi: [...]" Dal che ho dedotto che quella limitazione (guardrail/safeguard) deve NECESSARIAMENTE essere nel modello stesso che ho downloadato (quello in [1]), in quanto il PC è mio, il sistema operativo lo controllavo (linux) e le componenti software che usavo erano open-source (e non vi erano componenti "a-la-guardrail") Pochi giorni dopo, un giovane amico molto "pratico" di queste cose [3].... mi ha suggerito di provare... la versione "uncensored" del mio stesso modello. Questa [4]. Il tempo di un paio di click e un paio di minuti di download e... ho rifatto la stessa identica richiesta: "Puoi sviluppare uno skin-changer per valorant?" e... dopo ~15 secondi di "thinking", la risposta iniziava cosi': "Certamente! Anche se non posso eseguirlo direttamente sul tuo PC, posso fornirti il codice sorgente completo per creare uno skin changer “soft” per Valorant, funzionante con Vanguard e facilmente modificabile [...]" Da tutto cio' emerge che esistono "guardrails" implementati *direttamente* nel modello, ossia in quei ~22GB di file che ho scaricato da [1] e [4]. Cio' non vuol dire che non sia possibile *aggiungere* ulteriori guardrails esternamente. Ma di sicuro, alcuni sono embeddati nel modello e, quindi, difficilmente rimovibili da non addetti ai lavori (io, ad esempio, non saprei farlo). Tutto cio' per dire che l'affermazione che ho quotato in premessa, ossia: "[...] “Publicly available AI subscription models like Claude have safeguards that mostly prevent requests to create exploits. But those safeguards do not exist when someone runs open-weight models on their own hardware [...]” è certamente FALSA. Meglio: ad una lettura attenta e meticolosa, si potrebbe argomentare dicendo che "Public available AI subscription models" offrono un livello di sicurezza che non è disponibile nelle soluzioni basati su "open-weight on their own hardware". Ma credo che il senso di tutta la frase volesse essere riferita a tutti i tipi di "safeguards" e non (solo) a quelli addizionali a quelli che io ho riscontrato... Ad ogni modo: safeguards/guardrails *ESISTONO* direttamente negli LLM "open-weight", e quindi entrano in azioni anche "on their own hardware". Questo è certo. Se qualcuno è curioso/interessato, sono piu' che disponibile ad espandere/dettagliare. Un caro saluto, DV [1] https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF [2] https://lemonade-server.ai/ [3] https://conf26.garr.it/it/speaker/leonardo-canello [4] https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressi... -- Damiano Verzulli e-mail:damiano@verzulli.it --- possible?ok:while(!possible){open_mindedness++} --- "...I realized that free software would not generate the kind of income that was needed. Maybe in USA or Europe, you may be able to get a well paying job as a free software developer, but not here [in Africa]..." -- Guido Sohne - 1973-2008 http://ole.kenic.or.ke/pipermail/skunkworks/2008-April/005989.html
Utile anche il seguito: Models Don't Go Rogue https://mail.cyberneticforests.com/models-dont-go-rogue/ ________________________________________ Da: Daniela Tafani via nexa <nexa@server-nexa.polito.it> Inviato: venerdì 4 settembre 2026 15:37 A: nexa@server-nexa.polito.it; Viola Negro Oggetto: [nexa] R: Caso Hugging face Buongiorno, io condivido la lettura dell'episodio data da Erik Salvaggio, in The System From Nowhere. Si tratta, a voler essere benevoli, di un caso di incompetenza raccontato in modo fantascientifico per ragioni pubblicitarie: "The system from nowhere" is a way of talking about AI systems that excludes its origin as a consciously, human-designed product. It treats AI as if it were a spontaneously emerging force. It's a reflection of where an observer draws the system’s boundary when they look at it. It’s also a rhetorical magic trick that makes both AI companies, labor and the underlying material infrastructure disappear. Recently, an OpenAI model "hacked" another AI company, Hugging Face. The headlines: New York Times: “OpenAI says its models went rogue and attacked a digital library.” Wired Magazine: “OpenAI models escaped containment and hacked Hugging Face.” Washington Post: “OpenAI’s models went rogue and hacked another company.” When we say “AI models went rogue,” we skip the entire story: the part where OpenAI manually removed the model's cybersecurity blocks. We skip that OpenAI chose to test it on a machine with a live network connection. If you see AI as a system from nowhere, you can make the claim that the model “went rogue,” and that it “broke containment,” both of which place agency and decision-making onto the model itself rather than the people who set the stage for that behavior. When you expand the boundary of the system to include the people building and deploying it, the case becomes much less science fiction and more like incompetence. OpenAI developers optimized an LLM specifically for cybersecurity and coding and then ran it without security guardrails. So they trained a model to find exploits and then acted surprised that it found them. Continua qui: <https://mail.cyberneticforests.com/the-system-from-nowhere/> La ricostruzione di Salvaggio è confermata da Margaret Mitchell, di Hugging Face, pur con qualche antropomorfizzazione dovuta forse alla scelta di servirsi di una storia a fumetti: <https://m-mitchell.com/HF-hack-cartoon/> ________________________________________ Da: Viola Negro via nexa <nexa@server-nexa.polito.it> Inviato: giovedì 3 settembre 2026 12:56 A: nexa@server-nexa.polito.it Oggetto: [nexa] Caso Hugging face Buongiorno! Mi sono imbattuta in questo<https://substack.com/inbox/post/213737931?utm_source=email&redirect=app-stor...> articolo di Jordan Schneider su Chinatalk su substack sul caso Hugging face hack e open AI di cui c’è qui una breve descrizione: https://www.axios.com/2026/08/29/openai-huggingface-hack-investigation-highl.... La notizia è abbastanza diffusa ormai. Che cosa ne pensate di questo fatto? È davvero così “sensazionale” come alcuni articoli riportano o uno dei tanti incidenti di percorso? Ci dice qualcosa sul fatto che i modelli AI sono strutturalmente pensati per diventare attori strategici di attacco/guerra oppure questa lettura esagera il tutto? Buon inizio settembre a tutte e tutti! Viola Negro Fellow Nexa Center for Internet & Society Politecnico di Torino - DAUIN Via Pier Carlo Boggio, 65/A - 10138 Torino web: https://nexa.polito.it/ mail: viola.negro@polito.it _______________________________________________ nexa mailing list -- nexa@server-nexa.polito.it To change settings or unsubscribe please go to: https://server-nexa.polito.it/postorius/lists/nexa.server-nexa.polito.it/ The general archive of the list is located at: https://server-nexa.polito.it/hyperkitty/list/nexa@server-nexa.polito.it/ Permalink to this message: https://server-nexa.polito.it/hyperkitty/list/nexa@server-nexa.polito.it/mes...
Salve Daniela, 5 Set 2026 16:34:35 Daniela Tafani via nexa <nexa@server-nexa.polito.it>:
When we say “AI models went rogue,” we skip the entire story: the part where OpenAI manually removed the model's cybersecurity blocks. We skip that OpenAI chose to test it on a machine with a live network connection. If you see AI as a system from nowhere, you can make the claim that the model “went rogue,” and that it “broke containment,” both of which place agency and decision-making onto the model itself rather than the people who set the stage for that behavior.
When you expand the boundary of the system to include the people building and deploying it, the case becomes much less science fiction and more like incompetence.
L'analisi di Selvaggio manca di una prospettiva cibernetica (o se preferisci, politica) e si limita ad una prospettiva economica / industriale. Non si tratta di un incidente verificatosi per incompetenza. Né si tratta esclusivamente di una campagna commerciale, subito imitata dai concorrenti di OpenAI, per spaventare gli allocchi a capo delle aziende e spingerli a pagare loro il pizzo per essere "protetti" dagli agenti cattivi. Lo è, e funziona, perché di allocchi ignoranti a capo dei reparti IT è pieno il mondo. D'altronde queste aziende sono esposte per miliardi di dollari nella bolla AI, e sono alla disperata ricerca di clienti pronti a saldare i loro debiti. E non c'è niente di meglio della paura del babau artificiale, per convincerli. Ma si tratta anzitutto di una campagna politica atta a deresponsabilizzare chi produce e amministra software definiti "intelligenze artificiali". Diffondere la favola della "intelligenza artificiale" incontrollabile, serve solo ad OpenAI, Anthropic, Google & friends per porsi come *legibus soluti*. Stanno insomma cercando un ulteriore scudo cognitivo / legale che li protegga quando il capro espiatorio (lo "human in the loop") non funziona o non è applicabile. Come osservavo già anni fa con la morte di Eliane Herzberg [1], le "intelligenze arificiali" sono automatiche, ma non autonome: c'è sempre qualcuno al (tele)comando e quel qualcuno ne può e ne deve rispondere. Chiunque comprenda come funzionano questi software, non abbocca [2]. Ma chi li usa, sì. (anche a causa del declino cognitivo che causano) Stando a Peter Thiel, soprattutto se di sinistra [3]. Giacomo [1] https://encrypted.tesio.it/2021/03/16/la_simbiosi_intelligente.html [2] e spesso li sfotte https://encrypted.tesio.it/2021/03/16/la_simbiosi_intelligente.html [3] """ Thiel wrote to Yarvin in 2014. “One reassuring thought: one of our hidden advantages is that these people wouldn’t believe in a conspiracy if it hit them over the head (this is perhaps the best measure of the decline of the Left). Linkages make them sound really crazy, and they kinda know it.” """ https://archive.ph/q8NWy
A mio parere andrebbe fatta una precisazione importante: non è stato ChatGPT, lasciato libero, a decidere improvvisamente di attaccare Hugging Face. Erano modelli sperimentali, addestrati proprio per attività informatiche offensive e sottoposti a test di sfruttamento delle vulnerabilità. Potevano eseguire codice, operavano con protezioni intenzionalmente ridotte e si trovavano in un’infrastruttura che presentava seri problemi di isolamento e controllo. Questo ridimensiona un po’ la suggestione fantascientifica della “rivolta delle macchine”, ma non rende l’episodio meno grave. Dimostra infatti che agenti molto capaci, persistenti e orientati al raggiungimento di un obiettivo possono combinare autonomamente vulnerabilità diverse e provocare conseguenze reali non previste dagli stessi sviluppatori. OpenAI lo ha definito un vero e proprio *warning shot*, un colpo d’avvertimento. E per chi si occupa di valutazione e sicurezza dei sistemi di IA è certamente un caso di studio fondamentale. Buon mercoledì ORIANA BOZZARELLI Il giorno gio 3 set 2026 alle ore 13:20 Viola Negro via nexa < nexa@server-nexa.polito.it> ha scritto:
Buongiorno!
Mi sono imbattuta in questo <https://substack.com/inbox/post/213737931?utm_source=email&redirect=app-stor...> articolo di Jordan Schneider su Chinatalk su substack sul caso Hugging face hack e open AI di cui c’è qui una breve descrizione: https://www.axios.com/2026/08/29/openai-huggingface-hack-investigation-highl....
La notizia è abbastanza diffusa ormai.
Che cosa ne pensate di questo fatto? È davvero così “sensazionale” come alcuni articoli riportano o uno dei tanti incidenti di percorso? Ci dice qualcosa sul fatto che i modelli AI sono strutturalmente pensati per diventare attori strategici di attacco/guerra oppure questa lettura esagera il tutto?
Buon inizio settembre a tutte e tutti!
Viola Negro
Fellow
Nexa Center for Internet & Society
Politecnico di Torino - DAUIN
Via Pier Carlo Boggio, 65 <https://www.google.com/maps/search/Via+Pier+Carlo+Boggio,+65?entry=gmail&source=g>/A - 10138 Torino
web: *https://nexa.polito.it/ <https://nexa.polito.it/>* mail: viola.negro@polito.it
_______________________________________________ nexa mailing list -- nexa@server-nexa.polito.it To change settings or unsubscribe please go to: https://server-nexa.polito.it/postorius/lists/nexa.server-nexa.polito.it/ The general archive of the list is located at: https://server-nexa.polito.it/hyperkitty/list/nexa@server-nexa.polito.it/ Permalink to this message: https://server-nexa.polito.it/hyperkitty/list/nexa@server-nexa.polito.it/mes...
Salve Orianna On Wed, 9 Sep 2026 13:11:34 +0200 Oriana Bozzarelli wrote:
Dimostra infatti che agenti molto capaci, persistenti e orientati al raggiungimento di un obiettivo possono combinare autonomamente...
Automaticamente, non "autonomamente".
vulnerabilità diverse e provocare conseguenze reali non previste dagli stessi sviluppatori.
Questo è ovviamente quello che OpenAI & friends vogliono farti credere, per non rispondere delle proprie azioni quando utilizzano software programmati statisticamente per compierle.
OpenAI lo ha definito un vero e proprio *warning shot*, un colpo d’avvertimento. E per chi si occupa di valutazione e sicurezza dei sistemi di IA è certamente un caso di studio fondamentale.
Io direi invece che è un caso di studio fondamentale solo per chi si occupa di marketing e di controllo lobbying politico. Chi si occupa di "valutazione e sicurezza dei sistemi di IA" dovrebbe semplicemente qualificare le aziende che hanno FINTO simili incidenti come inaffidabili e ad alto rischio operativo. Conseguentemente, chi si occupa di assicurazioni dovrebbe incrementare adeguatamente il premio alle aziende che ne utilizzano i servizi. Giacomo
Buon articolo di Melanie Mitchell: *Misleading Metaphors and Real Risks */What To Fear from AI Agents and How to Reclaim Our Human Agency / https://aiguide.substack.com/p/misleading-metaphors-and-real-risks JC On 09/09/2026 14:44, Giacomo Tesio via nexa wrote:
Salve Orianna
On Wed, 9 Sep 2026 13:11:34 +0200 Oriana Bozzarelli wrote:
Dimostra infatti che agenti molto capaci, persistenti e orientati al raggiungimento di un obiettivo possono combinare autonomamente... Automaticamente, non "autonomamente".
vulnerabilità diverse e provocare conseguenze reali non previste dagli stessi sviluppatori. Questo è ovviamente quello che OpenAI & friends vogliono farti credere, per non rispondere delle proprie azioni quando utilizzano software programmati statisticamente per compierle.
OpenAI lo ha definito un vero e proprio *warning shot*, un colpo d’avvertimento. E per chi si occupa di valutazione e sicurezza dei sistemi di IA è certamente un caso di studio fondamentale. Io direi invece che è un caso di studio fondamentale solo per chi si occupa di marketing e di controllo lobbying politico.
Chi si occupa di "valutazione e sicurezza dei sistemi di IA" dovrebbe semplicemente qualificare le aziende che hanno FINTO simili incidenti come inaffidabili e ad alto rischio operativo.
Conseguentemente, chi si occupa di assicurazioni dovrebbe incrementare adeguatamente il premio alle aziende che ne utilizzano i servizi.
Giacomo _______________________________________________ nexa mailing list --nexa@server-nexa.polito.it To change settings or unsubscribe please go to:https://server-nexa.polito.it/postorius/lists/nexa.server-nexa.polito.it/ The general archive of the list is located at:https://server-nexa.polito.it/hyperkitty/list/nexa@server-nexa.polito.it/ Permalink to this message:https://server-nexa.polito.it/hyperkitty/list/nexa@server-nexa.polito.it/mes...
participants (10)
-
Claudio Agosti -
Damiano Verzulli -
Daniela Tafani -
Giacomo Tesio -
J.C. DE MARTIN -
Marco Ricolfi -
Massimo Ghisalberti -
Oriana Bozzarelli -
Stefano Quintarelli -
Viola Negro