- nexa - server-nexa.polito.it

Re: [nexa] "AI" (LLM, GPT) sparaballe

by 380°

Buongiorno Andrea, io auspico l'esplosione /incontrollabile/ delle macchine sparaballe, così, mentre le persone assistono a chi la spara più grossa tra umani e macchine, *magari* sono costrette ad accendere il cervello. ...ma anche una messa al bando della pratica di sparar balle non sarebbe male :-D Piuttosto, mi piacerebbe proprio tanto avere notizia di spot /analoghi/, ma _verticalizzati_, proiettati all'inizio di _ogni_ convegno di medici, giuristi, forze dell'ordine... perché la spararaballe fa _molti_ più danni alla scienza e alla "gestione sociale" :-O. Andrea Bolioli <andrea.bolioli(a)gmail.com> writes: > ho visto per caso in TV Rai questo spot: > > https://www.raiplay.it/video/2023/08/Pillole-contro-la-disinformazione-Spar… > > Si tratta di una delle "Pillole contro la disinformazione". > Non sapevo di questa iniziativa dell'IDMO: > https://www.idmo.it/2023/08/31/fake-news-rai-idmo/ > Non male, "sparaballe" :-) Per i professionisti dell'informazione, quelli che pretendono di essere i soli a raccontarci ciò che è vero e ciò che è falso (fake), che a seconda delle circostanze chiamano anche disinformazione, propaganda, complottismo, ecc., ogni occasione è buona per ribadire che "l'uomo qualunque" deve stare attento e non fidarsi di questi delinquenti sparaballe, soprattutto ora che sono /automatici/, come le mitragliatrici, e che per essere adegatamente informati devono ascoltare _solo_ loro, altrimenti sono dei collaborazionisti o peggio degli idioti. Se, dopo diverse recenti evidenze, il tutto non fosse ridicolo, ci sarebbe da preoccuparsi sul serio :-D. In questa lista sono già stati segnalati articoli in merito alla capziosità di iniziative come questa, il fatto che vengano sostenute attraverso slogan simpatici che richiamano rischi reali semmai rende la capziosità ancora più pericolosa. Ci sono intere catene montuose di documenti che dimostrano quanto nel lontano e recente passato siamo stati vittime di sofisticate campagne di disinformazione (veri e propri complotti) da parte di nemici e amici, ma qui è ovviamnete OT. Mi limito a segnalare il saggio «Sotto la notizia niente» di Claudio Fracassi edito la prima volta nel 1994 e uscito come inserto del settimanale Avvenimenti [1], di cui Fracassi era direttore; inizia, NON a caso, con il finto massacro di Timisoara del Dicembre 1989 [2], che ancor oggi _pochi_ sanno fu una messa in scena, accertata a partire dal 1990... ne facciamo uno spot?!? B-D Buona giornata, 380° [...] [1] https://it.wikipedia.org/wiki/Avvenimenti [2] https://www.ariannaeditrice.it/articolo.php?id_articolo=1555 «Ricordando la strage di Timisoara, un impressionante esempio di falso giornalistico», di Simona Tratzi - 29/12/2005 http://www.instoria.it/home/Massacro_timisoara.htm «FALSI STORICI: IL FALSO MASSACRO DI TIMISOARA - Come i media creano la realtà», di Andrea Laruffa 8/1/2006 -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 3, 2023

Re: [nexa] ‘Biggest act of copyright theft in history’: thousands of Australian books allegedly used to train AI model | Australia news | The Guardian

by Giacomo Tesio

Sicuro sicuro? :-D Il 2 Ottobre 2023 14:50:55 UTC, Antonio ha scritto: > > Ogni token può rappresentare anche più di una parola > > No, i token sono fissi e possono (oppure no) iniziare con lo spazio. Quindi non ci > possono essere token con lo spazio in mezzo, ovvero formati da più di una parola. L'insieme dei token è fisso a valle del processo di programmazione statistica ma è determinato durante tale processo. [1] La dimensione del token può variare a seconda del processo di tokenizzazione (variando di conseguenza i diversi grafi di frequenze relative individuate nei testi "sorgente") La tokenizzazione MWU (multi words unit) è più recente e meno usata, ma parlando in generale di LLM invece di una specifica implementazione non vedo perché ignorarla. Trovi una buona introduzione al riguardo qui https://journals.openedition.org/lexis/6231 D'altronde se ci pensi qualsiasi LLM programmato su sorgenti software potrebbe ragionevolmente trattare keyword costituite da sequenze di caratteri contenenti spazi come singolo token. È il caso, ad esempio, di POINTER TO o ARRAY OF in Oberon-07. A presto! Giacomo [1] potenzialmente, nulla vieta di modificare i vettori associati ai token disponibili a posteriori, ad esempio sulla base degli input forniti dagli utenti, per dare l'impressione che il software "impari".

Oct. 2, 2023

Uno su mille ce la fa (o della polizia predittiva)

by Daniela Tafani

Predictive Policing Software Terrible At Predicting Crimes A software company sold a New Jersey police department an algorithm that was right less than 1% of the time By Aaron Sankin<https://themarkup.org/people/aaron-sankin/> and Surya Mattu<https://themarkup.org/people/surya-mattu/> [...] We examined 23,631 predictions generated by Geolitica between Feb. 25 to Dec. 18, 2018 for the Plainfield Police Department (PD). Each prediction we analyzed from the company’s algorithm indicated that one type of crime was likely to occur in a location not patrolled by Plainfield PD. In the end, the success rate was less than half a percentage point. Fewer than 100 of the predictions lined up with a crime in the predicted category, that was also later reported to police. Diving deeper, we looked at predictions specifically for robberies or aggravated assaults that were likely to occur in Plainfield and found a similarly low success rate: 0.6 percent. The pattern was even worse when we looked at burglary predictions, which had a success rate of 0.1 percent. [...] https://themarkup.org/prediction-bias/2023/10/02/predictive-policing-softwa… <https://themarkup.org/prediction-bias/2023/10/02/predictive-policing-softwa…>

Oct. 2, 2023

Re: [nexa] ‘Biggest act of copyright theft in history’: thousands of Australian books allegedly used to train AI model | Australia news | The Guardian

by Stefano Quintarelli

> forma di compressione, allora bisogna sostenere che lo stesso avviene > durante l'apprendimento umano: gli umani nient'altro fanno, quando > apprendono, che formare nuove connessioni neurali, che i pesi nelle > reti neurali sono volti a simulare. beh, non proprio. questa e' una schematizzazione di meta' del secolo scorso, AFAIK un amico fisico e neurologo mi diceva che, semplificando, ogni singolo neurone si potrebbe interpretare come un computer analogico; anche il meccanismo con cui intervengono i gangli della base e lo striato sono ancora ignoti, AFAIK. "oltre i pesi c'e' di piu'..." (semicit. J. Squillo) :-)

Oct. 2, 2023

Madrid Health Service, a pioneer in applying Generative Artificial Intelligence to improve diagnosis for patients with rare diseases

by Daniela Tafani

* The project, the first in Spain and across the world in this area, stems from a collaboration agreement between the Community of Madrid (Department of Digitalization), Fundación 29 and Microsoft, to develop and implement innovative technological solutions that improve patient care and facilitate the work of healthcare professionals. * As a pilot project, this web application will be accessible at Primary Care centers in the Community of Madrid from the end of September. It is based on OpenAI’s Artificial Intelligence language model, GPT-4, with Microsoft’s Azure OpenAI Service and is backed by full security and ethical development standards. * It will enable Primary Care medical professionals in the Community of Madrid to improve their skills and diagnose patients with rare diseases more accurately and quickly, expediting patient referrals to the appropriate specialists for the right treatment. * This agreement also opens up future routes for AI application to improve healthcare service delivery, optimizing the resources available in the Community of Madrid. Madrid Healthcare Service (SERMAS)<https://www.comunidad.madrid/servicios/salud> will be a pioneer in Spain and across the world in applying Generative Artificial Intelligence (AI) for the clinical diagnosis of rare diseases. Through a collaboration agreement signed today by the Community of Madrid’s Department of Digitalization, Microsoft and its partner, Fundación 29<https://www.foundation29.org/>, a pilot project will be launched at the end of September, providing Primary Care medical professionals in the Community of Madrid with a Generative AI-based application included into their IT platform. On average, it takes patients with rare diseases at least five years to receive an accurate diagnosis and they have to visit up to seven specialists to reach this point. Despite this long process, more than half of these patients remain undiagnosed or are misdiagnosed. This can result in them receiving the wrong treatment that could be harmful and even aggravate their condition. With the support of the Generative AI application, DxGPT, from Fundación 29 and Microsoft, medical professionals can reduce the time this takes to minutes using an enterprise grade diagnostic process support tool. This web application does not replace physicians, but it does enhance their capabilities and helps them work faster. Miguel López Valverde, Community of Madrid Head of Digitalization, said: «Artificial Intelligence, used with all the standards of responsibility and safety, is driving significant advances in Madrid healthcare. Projects like this demonstrate the advantages that new technologies are delivering in early detection processes, which are particularly useful for diagnosing rare diseases.» «We are excited about this groundbreaking project using generative Artificial Intelligence to improve the diagnosis of rare diseases. This technology has great potential to support the work of healthcare professionals, reducing diagnostic times and improving accuracy, especially in complex cases. This pilot project will lay the groundwork for exploring new AI applications to improve patient care. We are grateful for the vision and support of the Department of Digitalization in implementing this initiative that will place the Community of Madrid at the forefront of digital transformation in healthcare,» stated Julián Isla, Head of Fundación 29. «Artificial Intelligence is generating unprecedented opportunities for organizations of all sizes and from all industries. The healthcare sector is one where its application can bring the greatest benefits. We are delighted to collaborate with organizations such as the Community of Madrid’s Department of Digitalization and Fundación 29 to enable medical professionals from Madrid Health Service to provide a better service to patients,» stated Alberto Granados, President of Microsoft Spain. IA always under medical supervision The application, which functions as a conversational assistant, is based on AI Large Language Model developed by OpenAI with Microsoft’s Azure OpenAI Service, which helps leverage the capacity of the most advanced AI systems (including OpenAI’s GPT-4 and GPT-3.5), combined with Azure’s enterprise services and Microsoft’s AI-optimized infrastructure. The process starts with a short clinical description of the patient that the physician enters into the tool. Based on this input and using GPT-4, DxGPT suggests a series of possible pathologies. Once the list of diseases is generated, more information can be added to fine tune the diagnosis, such as data sets and medical history or laboratory test results. This will help physicians make a more informed decision and refer patients to the appropriate specialists to expedite their treatment. https://news.microsoft.com/es-es/2023/09/15/madrid-health-service-a-pioneer…

Oct. 2, 2023

Re: [nexa] ‘Biggest act of copyright theft in history’: thousands of Australian books allegedly used to train AI model | Australia news | The Guardian

by Antonio

> Ogni token può rappresentare anche più di una parola No, i token sono fissi e possono (oppure no) iniziare con lo spazio. Quindi non ci possono essere token con lo spazio in mezzo, ovvero formati da più di una parola. La grandezza del vocabolario di GPT[1-3] è 50256 token, quella di LLaMA di 32000, GPT4 ha 100256 token [1], ecc. A meno che non intendiamo cose diverse ;) A. [1] https://github.com/kaisugi/gpt4_vocab_list/blob/main/cl100k_base_vocab_list…

Oct. 2, 2023

Re: [nexa] ‘Biggest act of copyright theft in history’: thousands of Australian books allegedly used to train AI model | Australia news | The Guardian

by Antonio

> non 8118? :-) (non è fondamentale, eh!) [Gi] => 33704 [ĠGi] => 8118 Nel dizionario di GPT, lo spazio è identificato con: [Ġ] Nella domanda: "Quante lune ha Giove?", il token è [spazio]Gi, quindi [ĠGi], quindi 8118. Nella risposta: "Giove ha ...", non c'è nessuno spazio prima di [Gi], quindi [Gi] ha un'altra posizione, 33704 A.

Oct. 2, 2023

Re: [nexa] la lingua batte dove il dente duole (antropomorfizzazione linguistica)

by Stefano Borroni Barale

Buongiorno! Questo passaggio: >> nessuno ha perso il controllo delle macchine! > > Il rischio che vedo è il controllo da parte di qualcuno, con parole diverse è quello che scrivi tu (semprechè abbia capito bene). > Mantengo dubbi sull'esclusività umana nelle qualità che ci affascinano e che non sappiamo definire - coscienza ecc ecc - e timori che la nuova era aumenti il dominio di uomini su altri uomini. > Continua a preoccuparti per le tue figlie, alle quali vanno tutti i miei auguri. > 'notte. Mi rammenta tanto un passaggio di N. Wiener, da "the human use of human beings" che ho recentemente riletto nella sua bella biografia edita da Codice: > "La macchina automatizzata non è spaventosa per il rischio che assuma il controllo autonomo sull'umanità. [...] Il suo pericolo reale [...] è piuttosto diverso: queste macchine, per quanto di per sé inermi, possono essere usate da un essere umano o da un blocco di esseri umani per aumentare il loro controllo sul resto della razza umana [...] non per mezzo delle macchine stesse, ma attraverso [...] tecniche talmente restrittive e indifferenti agli esseri umani da poter, di fatto, essere state concepite meccanicamente. Per evitare questi pericoli, esterni e interni [...] dobbiamo sapere [...] qual è la natura umana e quali sono i suoi innati propositi" Insomma... la situazione in cui ci troviamo era prevedibile. La speranza è che sia anche risolvibile. Chiamare le cose con nomi che ne riflettono le proprietà fattuali rilevate sperimentalmente, invece che con appellativi tecno-magici (buzzwords), penso possa essere un buon punto di partenza. SBB >

Oct. 2, 2023

Io credo...

by 380°

Buongiorno Fabio, Fabio Alemagna <falemagn(a)gmail.com> writes: [...] > A me pare che si sia sviluppato un certo "credo" tra gli avventori di > questa lista, Tu di che "credo" sei? > che si disinteressa completamente dello stato dell'arte e delle > definizioni su cui c'è consenso, e finisce con il creare dogmi > inscalfibili ai quali o si aderisce, o ci si becca papelli scritti con > toni misti tra l'evangelizzazione e il perculamento. > > Se si vuole sostenere che il processo trasformativo attraverso il > quale, partendo da dei testi o delle immagini, si finisce con il > generare una serie di pesi all'interno di una rete neurale, è una > forma di compressione, allora bisogna sostenere che lo stesso avviene > durante l'apprendimento umano Non vorrei suonare evangelizzatore e men che meno perculante, ma non c'era bisogno di fare ulteriore confuZione con questo fuorviante parallelo. Che il processo di machine learning, in generale e non solo per le reti neurali, sia una forma di compressione è descritto (anche) in questo saggio: «The Nooscope Manifested - AI as Instrument of Knowledge Extractivism» By Vladan Joler and Matteo Pasquinelli (2020) --8<---------------cut here---------------start------------->8--- This is unsurprising, since machine learning algorithms are the most powerful algorithms for information compression. [...] The problem of bias has mostly originated from the fact that machine learning algorithms are among the most efficient for information compression, which engenders issues of information resolution, diffraction and loss. [Footnote: Computer scientists argue that AI belongs to a subfield of signal processing, that is data compression.] --8<---------------cut here---------------end--------------->8--- Sottolineo «subfield of signal processing» Tra l'altro, nel saggio in questione ci sono anche molti riferimenti a ricerche di terzi. Se questo è un "credo", ti sarei grato se mi indicassi qualche saggio dello stesso livello attraverso il quale io possa avere la possibilità di /ricredermi/. Infine, nella tua foga di dimostrare che si tratti di un "credo", non ti sei nemmeno accorto (anzi sì ma hai sorvolato, secondo me) che quello che ha sommariamente descritto Antonio è _precisamente_ un algoritmo di compressione dell'informazione. [...] > Pertanto, a me pare evidente che ogni tentativo si qui messo in atto > da alcuni altri avventori della lista di "denigrare" l'apprendimento > dei modelli di machine learning, fino a sostenere che non si tratta di > "vero" apprendimento, in realtà finisce con l'inciampare sui suoi > stessi antropocentrici piedi. Invece, a me pare evidente che ogni tentativo di sostenere che il processo di machine learning sia del tutto analogo al processo di apprendimento umano - cioè che l'apprendimento umano è (anche) una forma di *compressione* dell'informazione del tutto analoga a quella usata nel machine learning, ovvero la riduzione dell'uomo a /automa/ - corrisponda più o meno a perculare quello che in questa lista e _fuori_ da questa lista molte persone informate sui fatti sostengono da molti anni; uno tra i moltissimi, a caso: Joseph Weizenbaum. Così è, a _me_ /pare/. [...] Cordiali saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 2, 2023

Re: [nexa] ‘Biggest act of copyright theft in history’: thousands of Australian books allegedly used to train AI model | Australia news | The Guardian

by Giacomo Tesio

Concordo Damiano, Il giorno Mon, 2 Oct 2023 13:43:35 +0200 Damiano Verzulli ha scritto: > Nella sua mail, Luigi segnalava questo link: > > https://ig.ft.com/generative-ai/ > > che, fra tutto quello che ho letto e visto finora, in giro, on-line > (e off-line), ritengo sia la migliore presentazione al riguardo. è sicuramente un buon testo divulgativo su come può funzionare un LLM a runtime. Mancano purtroppo alcuni dettagli rilevanti che, oltre ad essere complessi da rappresentare, avrebbero definitivamente abbattuto qualsiasi parvenza di intelligenza. Primo fra tutti, l'utilizzo di sorgenti casuali (o pseudo-casuali) per selezionare di volta in volta percorsi diversi fra quelli più probabilmente vicini al vettore in input. Tali sorgenti (pseudo?)casuali arricchiscono l'input dell'utente facendo sì che il LLM possa fornire output diversi a fronte dello stesso input fornito dall'utente stesso dandogli l'illusione di comunicare con un essere intelligente ed autonomo. Fra i limiti di quella presentazione c'è anche la totale assenza di qualsiasi spiegazione sul processo di programmazione statistica necessario alla creazione di quel software o sui suoi componenti. Anche qui la complessità della materia giustifica la sua assenza. Purtroppo ciò non aiuta a comprendere la natura del LLM come opera inevitabilmente derivata dai testi usati per la sua programmazione statistica. O l'influenza delle sorgenti casuali nelle fasi di inizializzazione di alcuni suoi componenti e l'arbitrio che questa influenza fornisce ai programmatori. Può forse aiutare in questo senso considerare come il disegno delle parole sulla pagina non costituisca il lavoro dello scrittore. L'opera creativa dello scrittore consiste proprio nella scelta della relazione fra le parole nella sequenza che costituisce il testo, relazione funzionale all'interpretazione che l'autore spera di indurre nel lettore. Il linguaggio infatti non è altro che un protocollo di sincronizzazione fra le menti umane adeguatamente efficace (a seconda del contesto): non ci scambiamo informazioni, ma dati che una volta interpretati riproducono (più o meno) nella mente del ricevente l'informazione che il mittente intendeva comunicare. Il diritto d'autore riconosce (pur intuitivamente) questa dinamica: la traduzione di un romanzo è ancora sottoposta ai diritti dell'autore originale cui si aggiungono quelli del traduttore. Quando l'opera dello scrittore viene usata per programmare statisticamente un LLM questa relazione fra le parole viene salvata dentro le matrici numeriche del LLM a prescindere dal proprio significato. Ad ogni prompt, il LLM percorre questa intricata foresta statistica di parole, percorrendo più spesso le strade più battute ma usando le sorgenti randomiche per non ripetere sempre pedissequamente la più frequente per ingannare la mente dell'utente evolutasi in un ambiente in cui determinate sequenza di simboli avevano un significato impresso da un altro mittente umano. Purtuttavia, se la traduzione di un testo è sottoposta al diritto dell'autore originale, allo stesso modo un LLM dovrebbe essere sottoposto al diritto d'autore di tutti gli autori originali. Giacomo

Oct. 2, 2023