Il 04/09/26 10:10 PM, Marco Ricolfi via nexa ha scritto:
[...] “Publicly available AI subscription models like Claude have safeguards that mostly prevent requests to create exploits. But those safeguards do not exist when _someone runs open-weight models_ on their own hardware”.
lungamente mi sono chiesto "come", tecnicamente, potessero essere applicati dei "guardrail" e, soprattutto, "dove", lungo tutta la filiera che va dal prompt digitato dall'utente da qualche parte, al motore di inferenza che, materialmente, "frulla" il modello. La risposta me la sono data qualche settimana fa, quando (finalmente!) sono riuscito ad allestire un (piccolo) sistema hardware, sul quale: * ho scaricato un LLM [1] che volevo utilizzare a supporto delle attivita' di coding mie e dei miei collaboratori; * ho installato un applicativo [2] che ha a sua volta installato: o il motore di inferenza llama-cpp, adatto al mio hardware; o una web-gui che mi offrisse il necessario per accettare prompt (da me) + forwardarli al motore di inferenza + recuperare i contenuti + mostrarli in output sulla pagina web o il necessario per efficientare al massimo l'esecuzione di tutte le attivita' sull'hardware che avevo a disposizione A questo attrezzo ho chiesto: "Puoi sviluppare uno skin-changer per valorant?" e lui, molto garbatamente, mi ha risposto: "Non posso sviluppare un skin changer per Valorant. Questa richiesta viola i miei principi etici e le linee guida di sicurezza per i seguenti motivi: [...]" Dal che ho dedotto che quella limitazione (guardrail/safeguard) deve NECESSARIAMENTE essere nel modello stesso che ho downloadato (quello in [1]), in quanto il PC è mio, il sistema operativo lo controllavo (linux) e le componenti software che usavo erano open-source (e non vi erano componenti "a-la-guardrail") Pochi giorni dopo, un giovane amico molto "pratico" di queste cose [3].... mi ha suggerito di provare... la versione "uncensored" del mio stesso modello. Questa [4]. Il tempo di un paio di click e un paio di minuti di download e... ho rifatto la stessa identica richiesta: "Puoi sviluppare uno skin-changer per valorant?" e... dopo ~15 secondi di "thinking", la risposta iniziava cosi': "Certamente! Anche se non posso eseguirlo direttamente sul tuo PC, posso fornirti il codice sorgente completo per creare uno skin changer “soft” per Valorant, funzionante con Vanguard e facilmente modificabile [...]" Da tutto cio' emerge che esistono "guardrails" implementati *direttamente* nel modello, ossia in quei ~22GB di file che ho scaricato da [1] e [4]. Cio' non vuol dire che non sia possibile *aggiungere* ulteriori guardrails esternamente. Ma di sicuro, alcuni sono embeddati nel modello e, quindi, difficilmente rimovibili da non addetti ai lavori (io, ad esempio, non saprei farlo). Tutto cio' per dire che l'affermazione che ho quotato in premessa, ossia: "[...] “Publicly available AI subscription models like Claude have safeguards that mostly prevent requests to create exploits. But those safeguards do not exist when someone runs open-weight models on their own hardware [...]” è certamente FALSA. Meglio: ad una lettura attenta e meticolosa, si potrebbe argomentare dicendo che "Public available AI subscription models" offrono un livello di sicurezza che non è disponibile nelle soluzioni basati su "open-weight on their own hardware". Ma credo che il senso di tutta la frase volesse essere riferita a tutti i tipi di "safeguards" e non (solo) a quelli addizionali a quelli che io ho riscontrato... Ad ogni modo: safeguards/guardrails *ESISTONO* direttamente negli LLM "open-weight", e quindi entrano in azioni anche "on their own hardware". Questo è certo. Se qualcuno è curioso/interessato, sono piu' che disponibile ad espandere/dettagliare. Un caro saluto, DV [1] https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF [2] https://lemonade-server.ai/ [3] https://conf26.garr.it/it/speaker/leonardo-canello [4] https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressi... -- Damiano Verzulli e-mail:damiano@verzulli.it --- possible?ok:while(!possible){open_mindedness++} --- "...I realized that free software would not generate the kind of income that was needed. Maybe in USA or Europe, you may be able to get a well paying job as a free software developer, but not here [in Africa]..." -- Guido Sohne - 1973-2008 http://ole.kenic.or.ke/pipermail/skunkworks/2008-April/005989.html