Re: [nexa] ChatGPT disabled for users in Italy (Marco A. Calamari)
Il 05/04/23 10:33, nexa-request@server-nexa.polito.it ha scritto:
Send nexa mailing list submissions to
Message: 1 Date: Wed, 5 Apr 2023 06:58:04 +0200 From: Guido Vetere <vetere.guido@gmail.com> To: Nexa <nexa@server-nexa.polito.it>
Aveva proprio ragione quel filosofo viennese che diceva che i problemi filosofici sono problemi linguistici, e in particolare perché il linguaggio suggestiona, come la musica.
Tutte le tecnologie hanno un padrone, tutti i padroni sono cattivi, quindi tutte le tecnologie sono cattive, no?
Buongiorno, quel filosofo aveva senz'altro ragione nel ristretto mondo dei suoi problemi filosofici, che non sono TUTTI i problemi filosofici. ad esempio il problema filosofico di chi debba (ammesso che debba...) governare e in che modo non è un problema linguistico. così come il problema filosofico di chi abbia il diritto o meno di far qualcosa: non è un problema linguistico. IMHO. non mi risulta di aver scritto qualcosa del genere. ad ogni modo, no. un sillogismo del genere non lo sottoscriverei. Non tutti i padroni sono cattivi. alcuni sono semplicemente padroni. non tutte le tecnologie hanno un padrone: il software libero, per esempio, non ne ha. Se ne ha, non è più libero. Non tutte le tecnologie sono cattive: alcune sono semplicemente inutili sprechi di risorse, altre sono nocive (iatrogene, per esempio, avrebbe detto Illich); alcune sono pensate, modificate, messe a punto ed evolute per sostenere la convivialità, il benessere personale e collettivo. insomma direi che la questione è un attimo più complessa, e non mi pare saggio ricorrere ai sillogismi. no, nemmeno alla filosofia analitica, ce n'è fin troppa in giro fatta maluccio e, appunto, il mondo non si risolve tutto in giochi linguistici. opinione mia, s'intende. talmente minoritaria che trovo curiosa la reazione, il mondo va in tutt'altra direzione mi pare. Quello che ho cercato di sottolineare è che queste tecnologie non solo non sono affatto neutre (Latour ecc ecc ecc ecc), ma incarnano e promuovono delle ideologie. il fatto di non dichiararlo e di far finta che no, non sono mosse ideologicamente fondate, rende, questo sì, il "dibattito" grottescamente orientato. dalla parte della *tecnocrazia*, che è l'ideologia dominante (sempre opinione mia) di questi attori che propongono ChatGPT et similia. OpenAI è un nome senza riferimenti ideologici? Aver raccontato la favoletta della ricerca disinteressata non a fini di lucro è un approccio non ideologico? Chiedere una "moratoria" adesso è una mossa non ideologicamente fondata? Direi l'opposto, porta l'acqua a un certo mulino, quello della concentrazione di potere tecnico nelle mani di pochi, sempre più pochi e sempre più ricchi. sempre più nella posizione di non rendere mai conto a nessuno di quel che fanno. questo intendevo dire: che ogni uso di questi sistemi si scontra inevitabilmente con il modo industriale gerarchizzato di produzione, ecc ecc con cui sono strutturati. non ho alternative da proporre a ChatGPT - non ne vedo la necessità, è un giocattolo più nocivo che inutile. opinione mia. l'ho detto senz'altro rozzamente, ma purtroppo mi esprimo da hacker rozzo, senza la chiarezza telegrafica dei sillogismi analitici; e sono senz'altro animato da un'ideologia chiara, libertaria, cioè l'idea che la libertà è questione di relazione, e quindi di relazioni di potere, perciò non si compra e non si vende, né si può garantire per decreto, così come l'uguaglianza. Avere a che fare con ChatGPT comporta accettare una serie di dati di fatto rispetto a come quel sistema è stato concepito e messo in funzione, che ci piaccia o meno, e che NON dipendono solo da noi e dalle leggi che potremo o vorremo far rispettare. a me sembra che un approccio laico sia un approccio ideologico, e non c'è nulla di male in questo. un approccio religioso è altrettanto ideologico: diversa ideologia, certo. le ideologie si evolvono, insieme ai loro elementi costituivi (Freeden mi pare un buon punto di partenza in merito). la scienza, in questo senso, è una forma di ideologia... poi ci si può, volendo, accordare sui termini. intendo con ideologia una cosa diversa, non necessariamente malvagia. la democrazia liberale è un'ideologia, per intenderci. le decisioni equilibrate e corrette, nella mia visione ideologica del mondo, difficilmente verranno implementate se si lascia campo libero ai padroni delle tecnologie di cui sopra. questi fenomeni tipo IA distraggono l'attenzione dal mondo stesso, ma non sono certo la "fine del mondo". solo tasselli di un sistema sempre più polarizzato e sbilanciato. grazie per l'occasione di chiarimento! k.
Per quanto mi riguarda questo thread finisce qui, ho imparato tante cose e ho le idee più chiare. Grazie!
-- "tecnologie appropriate - https://alekos.net" "pedagogia hacker - https://circex.org"
On 05/04/23 14:24, karlessi wrote:
non mi risulta di aver scritto qualcosa del genere. ad ogni modo, no. un sillogismo del genere non lo sottoscriverei. Non tutti i padroni sono cattivi. alcuni sono semplicemente padroni. non tutte le tecnologie hanno un padrone: il software libero, per esempio, non ne ha. Se ne ha, non è più libero. Non tutte le tecnologie sono cattive: alcune sono semplicemente inutili sprechi di risorse, altre sono nocive (iatrogene, per esempio, avrebbe detto Illich); alcune sono pensate, modificate, messe a punto ed evolute per sostenere la convivialità, il benessere personale e collettivo.
Anche questo è un dibattito che è già avvenuto. È vero: il problema non è se i padroni siano buoni o cattivi, ma il fatto che siano padroni e il grado di dipendenza degli altri dalla loro benevolenza, cioè dal loro *eventuale* buon cuore. Non occorre essere socialisti per temere questa dipendenza. Ecco che cosa diceva il citatissimo teorico liberale senza neo Adam Smith. In un mercato non monopolistico (https://globalreports.columbia.edu/books/the-curse-of-bigness/): It is not from the benevolence of the butcher, the brewer, or the baker, that we expect our dinner, but from their regard to their own interest. We address ourselves, not to their humanity but to their self-love, and never talk to them of our own necessities but of their advantages. ***Nobody but a beggar chuses to depend chiefly upon the benevolence of his fellow-citizens.*** [https://www.marxists.org/reference/archive/smith-adam/works/wealth-of-nation... fine secondo capoverso] Quando dobbiamo preoccuparci della qualità etica del birraio, probabilmente è perché siamo in una situazione in cui non abbiamo fornitori alternativi se è tossica la birra che ci mesce e, come mendicanti, dobbiamo appellarci al suo buon cuore - così come quando dobbiamo preoccuparci della bontà o cattiveria di chi ci governa, è perché viviamo in un sistema dispotico in cui il potere politico si sottrae ai limiti del diritto. (*) Queste cose si scrivevano nel XVIII secolo, alla vigilia e nel corso della Rivoluzione francese. Un saluto, MCP (*) Lo suggeriva Kant in una nota alla Pace perpetua (https://btfp.sp.unipi.it/dida/kant_7/ar01s10.xhtml#ftn.dupan), riferendosi a Marco Aurelio e Commodo, ma avendo probabilmente in mente monarchi assoluti prussiani di cui si trovava ad essere suddito.
Victorian mayor readies defamation lawsuit over ChatGPT content Byron Kaye Apr 5, 2023 – 5.37pm <https://subscribe.afr.com/?promote_channel=HI_HL_GNL&utm_source=afr.com&utm_...> A Victorian mayor said he may sue OpenAI if it does not correct ChatGPT’s false claims that he had served time in prison for bribery, in what would likely be the first defamation lawsuit against the automated text service. Brian Hood, who was elected mayor of Hepburn Shire, 120 kilometres north-west of Melbourne, last November, became concerned about his reputation when members of the public told him ChatGPT had falsely named him as a guilty party in a foreign bribery scandal involving a subsidiary of the Reserve Bank of Australia<https://www.afr.com/politics/federal/no-rba-cover-up-on-corruption-stevens-2...> in the early 2000s. Mr Hood did work for the subsidiary, Note Printing Australia, but was the person who notified authorities about payment of bribes to foreign officials<https://www.afr.com/companies/former-npa-cfo-asks-why-asic-hasn-t-investigat...> to win currency printing contracts, and was never charged with a crime, lawyers representing him said. The lawyers said they sent a letter of concern to ChatGPT owner OpenAI on March 21, which gave OpenAI 28 days to fix the errors about their client or face a possible defamation lawsuit. OpenAI, which is based in San Francisco, had not yet responded to Mr Hood’s legal letter, the lawyers said. OpenAI did not respond to a Reuters email out of business hours. If Mr Hood sues, it would likely be the first time a person has sued the owner of ChatGPT for claims made by the automated language product that has become wildly popular since its launch last year. Microsoft Corp integrated ChatGPT into its search engine Bing in February. A Microsoft spokesperson was not immediately available for comment. “It would potentially be a landmark moment in the sense that it’s applying this defamation law to a new area of artificial intelligence and publication in the IT space,” James Naughton, a partner at Mr Hood’s law firm, Gordon Legal, said. “He’s an elected official, his reputation is central to his role,” Mr Naughton said. Mr Hood relied on a public record of shining a light on corporate misconduct, “so it makes a difference to him if people in his community are accessing this material”. Australian defamation damages payouts are generally capped around $400,000. Mr Hood did not know the exact number of people who had accessed the false information about him – a determinant of the payout size – but the nature of the defamatory statements was serious enough that he may claim more than $200,000, Mr Naughton said. If Mr Hood files a lawsuit, it would accuse ChatGPT of giving users a false sense of accuracy by failing to include footnotes, Mr Naughton said. “It’s very difficult for somebody to look behind that to say ‘how does the algorithm come up with that answer?’” said Mr Naughton. “It’s very opaque.” <https://www.afr.com/technology/victorian-mayor-readies-defamation-lawsuit-ov...>
Samsung workers have unwittingly leaked top secret data whilst using ChatGPT to help them with tasks. The company allowed engineers at its semiconductor arm to use the AI writer<https://www.techradar.com/best/ai-writer> to help fix problems with their source code. But in doing so, the workers inputted confidential data, such as the source code itself for a new program, internal meeting notes data relating to their hardware. The upshot is that in just under a month, there were three recorded incidences of employees leaking sensitive information via ChatGPT. Since ChatGPT retains user input data to further train itself, these trade secrets from Samsung are now effectively in the hands of OpenAI, the company behind the AI service. In response, Samsung Semiconductor is now developing its own inhouse AI for internal use by employees, but they can only use prompts that are limited to 1024 bytes in size. In one of the aforementioned cases, an employee asked ChatGPT to optimize test sequences for identifying faults in chips, which is confidential - however, making this process as efficient as possible has the potential to save chip firms considerable time in testing and verifying processors, leading to reductions in cost too. In another case, an employee used ChatGPT to convert meeting notes into a presentation, the contents of which were obviously not something Samsung would have liked external third parties to have known. Samsung Electronics sent out a warning to its workers on the potential dangers of leaking confidential information in the wake of the incidences, saying that such data is impossible to retrieve as it is now stored on the servers belonging to OpenAI. In the semiconductor industry, where competition is fierce, any sort of data leak could spell disaster for the company in question. It doesn't seem as if Samsung has any recourse to request the retrieval or deletion of the sensitive data OpenAI now holds. Some have argued<https://www.sydney.edu.au/news-opinion/news/2023/02/08/chatgpt-is-a-data-pri...> that this very fact makes ChatGPT non-compliant with the EU's GDPR, as this is one of the core tenants of the law governing how companies collect and use data. It is also one of the reasons why why Italy has now banned the use of ChatGPT nationwide<https://www.bbc.co.uk/news/technology-65139406> . https://www.techradar.com/news/samsung-workers-leaked-company-secrets-by-usi...
La stessa cosa potrebbe accadere postando codice 'sensibile' su piattaforme di supporto alla programmazione come stackoverflow <https://stackoverflow.com/>, con la differenza che da lì si possono rimuovere (non prima ovviamente che il codice in questione sia stato sniffato da qualche migliaio di crawler). Non sappiamo bene come OpenAI usi i dati di conversazione, ma a occhio mi sembra difficile che un utente 'terzo' potrebbe far uscire parti significative di quel codice con qualche prompt. Nello sperimentare ChatGPT come generatore di codice, mi sono accorto che in effetti la sua 'conoscenza' è ferma a un paio di anni fa. Mentre stiamo tutti impegnati nella battaglia sulla riservatezza, da cui OpenAI uscirà indenne, ci sfugge vero il problema: il costituirsi, sotto i nostri occhi, del monopolio della conoscenza. Se ci fosse un Garante del Pluralismo, questo sì che potrebbe far chiudere ChatGPT. G. On Wed, 5 Apr 2023 at 16:09, Daniela Tafani <daniela.tafani@unipi.it> wrote:
Samsung workers have unwittingly leaked top secret data whilst using ChatGPT to help them with tasks.
The company allowed engineers at its semiconductor arm to use the AI writer <https://www.techradar.com/best/ai-writer> to help fix problems with their source code. But in doing so, the workers inputted confidential data, such as the source code itself for a new program, internal meeting notes data relating to their hardware.
The upshot is that in just under a month, there were three recorded incidences of employees leaking sensitive information via ChatGPT. Since ChatGPT retains user input data to further train itself, these trade secrets from Samsung are now effectively in the hands of OpenAI, the company behind the AI service.
In response, Samsung Semiconductor is now developing its own inhouse AI for internal use by employees, but they can only use prompts that are limited to 1024 bytes in size.
In one of the aforementioned cases, an employee asked ChatGPT to optimize test sequences for identifying faults in chips, which is confidential - however, making this process as efficient as possible has the potential to save chip firms considerable time in testing and verifying processors, leading to reductions in cost too.
In another case, an employee used ChatGPT to convert meeting notes into a presentation, the contents of which were obviously not something Samsung would have liked external third parties to have known.
Samsung Electronics sent out a warning to its workers on the potential dangers of leaking confidential information in the wake of the incidences, saying that such data is impossible to retrieve as it is now stored on the servers belonging to OpenAI. In the semiconductor industry, where competition is fierce, any sort of data leak could spell disaster for the company in question.
It doesn't seem as if Samsung has any recourse to request the retrieval or deletion of the sensitive data OpenAI now holds. Some have argued <https://www.sydney.edu.au/news-opinion/news/2023/02/08/chatgpt-is-a-data-pri...> that this very fact makes ChatGPT non-compliant with the EU's GDPR, as this is one of the core tenants of the law governing how companies collect and use data. It is also one of the reasons why why Italy has now banned the use of ChatGPT nationwide <https://www.bbc.co.uk/news/technology-65139406> .
https://www.techradar.com/news/samsung-workers-leaked-company-secrets-by-usi...
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Il 06/04/23 07:00, Guido Vetere ha scritto:
[...], ci sfugge vero il problema: il costituirsi, sotto i nostri occhi, del monopolio della conoscenza.
mi sfuggono i caratteri di questo "monopolio della conoscenza". Posso chiedere --quando e se possibile-- di dettagliare? Se "osservo" con occhi Italiani o Europei il panorama globale ICT, vedo diverse e numerose forme di "concentrazione" della conoscenza, tutte extra UE. Ma (fortunatamente?) non vedo un unico monopolio (in termini strettamente aziendali). Vedo anche la totale assenza di sforzi nel nostro Paese per prendere coscienza di questo scenario, e provare a mettere in piedi qualche forma di contrasto. È in questo senso che chiedevo di dettagliare. Grazie in anticipo. Un saluto, DV -- Damiano Verzulli e-mail: damiano@verzulli.it --- possible?ok:while(!possible){open_mindedness++} --- "...I realized that free software would not generate the kind of income that was needed. Maybe in USA or Europe, you may be able to get a well paying job as a free software developer, but not here [in Africa]..." -- Guido Sohne - 1973-2008 http://ole.kenic.or.ke/pipermail/skunkworks/2008-April/005989.html
Grazie per la segnalazione. Osservo che questo passaggio: On Wed, Apr 05, 2023 at 02:09:26PM +0000, Daniela Tafani wrote:
The upshot is that in just under a month, there were three recorded incidences of employees leaking sensitive information via ChatGPT. Since ChatGPT retains user input data to further train itself, these trade secrets from Samsung are now effectively in the hands of OpenAI, the company behind the AI service.
smentisce alcuni delle ipotesi che sono circolate qui in lista nei giorni scorsi, sul fatto che ChatGPT *non* usasse gli input per il (re)training futuro. (Personalmente lo trovo poco sorprendente: non si capisce perché dovrebbero rinunciare ad utilizzare dati "gentilmente offerti" dagli utenti del servizio...) A presto -- Stefano Zacchiroli . zack@upsilon.cc . https://upsilon.cc/zack _. ^ ._ Full professor of Computer Science o o o \/|V|\/ Télécom Paris, Polytechnic Institute of Paris o o o </> <\> Co-founder & CTO Software Heritage o o o o /\|^|/\ https://twitter.com/zacchiro . https://mastodon.xyz/@zacchiro '" V "'
On gio, 2023-04-06 at 09:13 +0200, Stefano Zacchiroli wrote:
Grazie per la segnalazione. Osservo che questo passaggio:
On Wed, Apr 05, 2023 at 02:09:26PM +0000, Daniela Tafani wrote:
The upshot is that in just under a month, there were three recorded incidences of employees leaking sensitive information via ChatGPT. Since ChatGPT retains user input data to further train itself, these trade secrets from Samsung are now effectively in the hands of OpenAI, the company behind the AI service.
smentisce alcuni delle ipotesi che sono circolate qui in lista nei giorni scorsi, sul fatto che ChatGPT *non* usasse gli input per il (re)training futuro. (Personalmente lo trovo poco sorprendente: non si capisce perché dovrebbero rinunciare ad utilizzare dati "gentilmente offerti" dagli utenti del servizio...)
Pur senza avere certezze, non credo che sia possibile effettuare un retraining incrementale di un LLM. Penso piuttosto che vengano "riprogrammati" filtraggi" digitali od umani (sfruttati) per modificare/censurare le risposte di GPT-3 in fase di input o dopo l'output. Nessun retraining. GTP continua, come tutti gli LLC a sparare output cinofallici (come direbbe Flora) per sua natura e progetto. JM2EC. Marco
A presto
On Thu, Apr 06, 2023 at 10:14:37AM +0200, Marco A. Calamari wrote:
Pur senza avere certezze, non credo che sia possibile effettuare un retraining incrementale di un LLM.
Non conosco il caso specifico di ChatGPT, ma conosco abbastanza bene quello dei large language models (LLMs) per il solo codice sorgente, dei quali ChatGPT è un sovrainsieme. Nello stato dell'arte nessuno fa retraining incrementale di LLM per il codice, anche se è tecnicamente fattibile, perché è troppo costoso in relazione a quanto ci si guadagna in termini di miglioramento dei risultati. Ciò che si fa invece è periodicamente rifare l'addresstamento di tutto il modello da zero, solitamente su dataset che nel frattempo sono molto aumentati di volume (e potenzialmente qualità), e usando pipeline di addestramento che sono anch'esse evolute rispetto alla generazione precedente del LLM. Da un punto di vista di politiche pubbliche, però, trovo che sia assolutamente irrilevante se il (re)training di ChatGPT sia incrementale o rifatto ogni volta a partire da zero. Il punto importante è che OpenAI può tecnicamente stoccare e utilizzare in futuro gli input degli utenti e quindi molto probabilmente lo farà --- nel modo tecnico che trova più adeguato ai bisogni dell'azienda e fino a quando qualcuno, ad esempio un regolatore pubblico, non impedirà loro di farlo. Saluti -- Stefano Zacchiroli . zack@upsilon.cc . https://upsilon.cc/zack _. ^ ._ Full professor of Computer Science o o o \/|V|\/ Télécom Paris, Polytechnic Institute of Paris o o o </> <\> Co-founder & CTO Software Heritage o o o o /\|^|/\ https://twitter.com/zacchiro . https://mastodon.xyz/@zacchiro '" V "'
participants (7)
-
Damiano Verzulli -
Daniela Tafani -
Guido Vetere -
karlessi -
Marco A. Calamari -
Maria Chiara Pievatolo -
Stefano Zacchiroli