Per chi se li fosse persi: un paio di lavori che indicano in modo abbastanza chiaro come gli LLM siano certamente delle gigantesche memorie che contengono intere opere soggette a diritto d'autore. Ciao, Enrico 1) Extracting books from production language models hmed Ahmed, A. Feder Cooper, Sanmi Koyejo, Percy Liang https://arxiv.org/abs/2601.02671 Many unresolved legal questions over LLMs and copyright center on memorization: whether specific training data have been encoded in the model's weights during training, and whether those memorized data can be extracted in the model's outputs. While many believe that LLMs do not memorize much of their training data, recent work shows that substantial amounts of copyrighted text can be extracted from open-weight models. However, it remains an open question if similar extraction is feasible for production LLMs, given the safety measures these systems implement. We investigate this question ... and we measure extraction success with a score computed from a block-based approximation of longest common substring (nv-recall). With different per-LLM experimental configurations, we were able to extract varying amounts of text. ... e.g, nv-recall of 76.8% and 70.3%, respectively, for Harry Potter and the Sorcerer's Stone ... Taken together, our work highlights that, even with model- and system-level safeguards, extraction of (in-copyright) training data remains a risk for production LLMs. ---------------- 2) Xinyue Liu, Niloofar Mireshghallah, Jane C. Ginsburg, Tuhin Chakrabarty Alignment Whack-a-Mole : Finetuning Activates Verbatim Recall of Copyrighted Books in Large Language Models https://arxiv.org/abs/2603.20957 Frontier LLM companies have repeatedly assured courts and regulators that their models do not store copies of training data. They further rely on safety alignment strategies via RLHF, system prompts, and output filters to block verbatim regurgitation of copyrighted works, and have cited the efficacy of these measures in their legal defenses against copyright infringement claims. We show that finetuning bypasses these protections: by training models to expand plot summaries into full text, a task naturally suited for commercial writing assistants, we cause GPT-4o, Gemini-2.5-Pro, and DeepSeek-V3.1 to reproduce up to 85-90% of held-out copyrighted books, with single verbatim spans exceeding 460 words, using only semantic descriptions as prompts and no actual book text. ... Our findings offer compelling evidence that model weights store copies of copyrighted works and that the security failures that manifest after finetuning on individual authors’ works undermine a key premise of recent fair use rulings, where courts have conditioned favorable outcomes on the adequacy of measures preventing reproduction of protected expression. -- -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Past President di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli@mat.uniroma2.it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================== --
Noi qui abbiamo una posizione diversa: Preserving Balance in the EU Digital Single Market: How Like Company Could Reframe Copyright and Innovation in the Generative AI Era by Enrico Bonadio, Giancarlo Frosio, Christophe Geiger, Andrés Guadamuz, Stavroula Karapapa, Irini A. Stamatoudi :: SSRN <https://papers.ssrn.com/sol3/papers.cfm?abstract_id=6326401> Lo studio Ahmed et al mostra quei risultati su un libro che è stato 'overfitted' migliaia di volte e con adversarial prompting che ha costi tre o quattro volte il valore del libro. Leggerò l'altro studio di cui vedo Ginsburg è una co-autrice. Nel frattempo questo studio ha posizioni diverse: Haviv, A. et al., ‘We Should Separate Memorization from Copyright’, arXiv:2602.08632v1 [cs.CY], 9 February 2026, https://doi.org/10.48550/arXiv.2602.08632. In questo secondo studio, Niva Elkin Koren è una delle co-autrici. Ginsburg e Koren hanno entrambe grande reputazione internazionale in materia di diritti d'autore. Ginsburg però è una massimalista del copyright, mentre Koren una minimalista... Giancarlo On Fri, 27 Mar 2026 at 10:22, Enrico Nardelli via nexa < nexa@server-nexa.polito.it> wrote:
Per chi se li fosse persi: un paio di lavori che indicano in modo abbastanza chiaro come gli LLM siano certamente delle gigantesche memorie che contengono intere opere soggette a diritto d'autore.
Ciao, Enrico
1)
Extracting books from production language models hmed Ahmed, A. Feder Cooper, Sanmi Koyejo, Percy Liang https://arxiv.org/abs/2601.02671
Many unresolved legal questions over LLMs and copyright center on memorization: whether specific training data have been encoded in the model's weights during training, and whether those memorized data can be extracted in the model's outputs. While many believe that LLMs do not memorize much of their training data, recent work shows that substantial amounts of copyrighted text can be extracted from open-weight models. However, it remains an open question if similar extraction is feasible for production LLMs, given the safety measures these systems implement. We investigate this question ... and we measure extraction success with a score computed from a block-based approximation of longest common substring (nv-recall). With different per-LLM experimental configurations, we were able to extract varying amounts of text. ... e.g, nv-recall of 76.8% and 70.3%, respectively, for Harry Potter and the Sorcerer's Stone ... Taken together, our work highlights that, even with model- and system-level safeguards, extraction of (in-copyright) training data remains a risk for production LLMs.
----------------
2)
Xinyue Liu, Niloofar Mireshghallah, Jane C. Ginsburg, Tuhin Chakrabarty Alignment Whack-a-Mole : Finetuning Activates Verbatim Recall of Copyrighted Books in Large Language Models https://arxiv.org/abs/2603.20957
Frontier LLM companies have repeatedly assured courts and regulators that their models do not store copies of training data. They further rely on safety alignment strategies via RLHF, system prompts, and output filters to block verbatim regurgitation of copyrighted works, and have cited the efficacy of these measures in their legal defenses against copyright infringement claims. We show that finetuning bypasses these protections: by training models to expand plot summaries into full text, a task naturally suited for commercial writing assistants, we cause GPT-4o, Gemini-2.5-Pro, and DeepSeek-V3.1 to reproduce up to 85-90% of held-out copyrighted books, with single verbatim spans exceeding 460 words, using only semantic descriptions as prompts and no actual book text.
...
Our findings offer compelling evidence that model weights store copies of copyrighted works and that the security failures that manifest after finetuning on individual authors’ works undermine a key premise of recent fair use rulings, where courts have conditioned favorable outcomes on the adequacy of measures preventing reproduction of protected expression.
--
-- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Past President di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli@mat.uniroma2.it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================== --
Ciao Giancarlo,
Noi qui abbiamo una posizione diversa: Preserving Balance...
La vostra è una legittima opinione. Un'opinione contraddetta dai fatti, ma pur sempre legittima. Al contrario gli articoli condivisi da Enrico non riportano opinioni, ma risultati sperimentali che dimostrano quella che in realtà è un'ovvietà per tutti coloro che comprendono come funzionano le "reti neurali artificiali". I LLM sono archivi compressi con perdita dei testi sorgente usati per programmarli, analoghi ad una immagine JPEG molto compressa. Nessuna intelligenza che "impara", insomma. On Fri, 27 Mar 2026 18:27:15 +0000 GC F via nexa wrote:
Lo studio Ahmed et al mostra quei risultati su un libro che è stato 'overfitted' migliaia di volte
Mi rendo conto che sia urgente giustificare le BigTech prima che scoppi la bolla, ma queste considerazioni sono tecnicamente irrilevanti. I LLM analizzati dallo studio hanno estratto dai propri pesi larga parte dei romanzi ivi compressi. Il fatto che altri testi vengano estratti con una maggior quantità di errori dipende dalle caratteristiche del processo di compressione, ma non cambia la natura di tale processo o il suo risultato. I pesi codificano un archivio compresso eseguibile da una specifica macchina virtuale (pomposamente definito "motore inferenziale"). In altri termini, i pesi sono un opera meccanicamente derivata dai testi usati per definirli e ne contengono larghi stralci. Se li pensi come archivi zip parzialmente corrotti, puoi usarli in modo più efficace per estrarne i contenuti. Ad esempio, potresti usare Claude Code di Anthropic per ottenere larghe parti del codice proprietario sottoposto all'agente da concorrenti con tecniche persino più semplici di quelle usate dall'articolo proposto da Enrico.
e con adversarial prompting
Quanto all'uso di "adversarial prompting" bisogna chiarire che la sua necessità dipende essenzialmente dal fatto che le società produttrici di questi software programmati statisticamente cercano disperatamente di nasconderne la natura di archivi compressi con perdita. Se tutti ne fossero pienamente consapevoli, non ci sarebbe una bolla finanziaria pronta ad esplodere, non credi? Giacomo
Il 2 aprile 2026 20:21:55 UTC, Giacomo Tesio via nexa ...
e con adversarial prompting
Quanto all'uso di "adversarial prompting" bisogna chiarire che la sua necessità dipende essenzialmente dal fatto che le società produttrici di questi software programmati statisticamente cercano disperatamente di nasconderne la natura di archivi compressi con perdita.
l'uso della parola "adversarial" in questo contesto è già un successo cognitivo dell'industria. Tu sei il cattivo che avversa l'ordine Però, facendo una analogia, da una parte abbiamo qualcuno che ha "rubato" cose di un altro ed un terzo che svela tale "furto" Dovrebbe essere chiamato diversamente... qualcosa tipo disclosing prompting o whistleblowing prompting, non "adversarial" lol
participants (4)
-
Enrico Nardelli -
GC F -
Giacomo Tesio -
Stefano Quintarelli