Che cosa ne pensate di questo fatto?
Che quando hai un mucchio di potenza di calcolo da sprecare, puoi trovare modi molto creativi per sprecarla.
È davvero così “sensazionale” come alcuni articoli riportano o uno dei tanti incidenti di percorso?
Secondo me è sensazionale perché l'automatismo genera sorpresa, stupore, ammirazione. ma consideriamo che la sicurezza informatica (e.s. capire la propria infrastruttura e scrivere codice sicuro e includere solo fornitori e terze parti sicure) è molto complessa. l'attacco informatico può essere ugualmente complesso OPPURE diventare straordinariamente semplice se alcune debolezze possono essere sfruttate ri-eseguendo degli script. e così anche la catena di attacco, è qualcosa di molto descritto: prendi controllo di un'applicazione, da lì fai movimenti laterali, analizza i nuovi privilegi, continua l'attacco. essendo azioni automatizzabili, un LLM ce la fa bene.
E' sensazionale? sì. C'è da aspettarselo? sì, ma perché le infrastrutture non sono mai disegnate per essere sicure, ma per essere scalabili, flessibili, gestite da consulenti usa-e-getta, integrabili con N terze parti, etc... se la priorità è quella, delle falle ci sono, e l'automatismo le può trovare.
Ogni grande azienda ha anche un SOC: Security Operation Center. tecnici e altri automatismi sollevano allarmi perché si possa intervenire. c'era un attacco in corso, ma se ne sono accorti dopo giorni. Io lì vedrei il problema. l'attacco automatico di openAI poteva anche essere fatto da un gruppo di esseri umani.
Ci dice qualcosa sul fatto che i modelli AI sono strutturalmente pensati per diventare attori strategici
di attacco/guerra oppure questa lettura esagera il tutto?
Non direi che sono strutturalmente, ma direi che tanti ci speravano, e questo ha indirizzato lo sviluppo. e poi, visto che gli LLM non possono avere molto impatto nel mondo reale, se non hai persone che si fanno guidare da loro, di contro possono avere molto impatto nel mondo digitale.. quindi è in qualche modo naturale che tra le loro applicazioni meglio riuscite ci siano queste.
saranno attori strategici quanto lo sono i gruppi di attaccanti. solo che ora alcune di queste capacità sono acquisibili se hai GPU e il modello e gli ingegneri giusti, e non per forza anni di attacchi informatici alle spalle di formazione.
per concludere, mi piace la storia di come gli agenti abbiano "lasciato note per altre istanze" per comunicare tra loro. non è un segno di insubordinazione volontaria, ma è quello che avrebbero fatto anche delle persone che si trovano con simili limitazioni. è la parte più interessante, e fa sempre ritornare alla domanda "Pappagalli stocastici, o intelligenze aliene" titolo dell'episodio pubblicato ieri
https://radoxo.com/it/podcasts/21079-crash-la-chiave-per-il-digitale
ciao,
Claudio