- nexa - server-nexa.polito.it

Re: [nexa] IA, lavoro, immaginari

by Giuseppe Attardi

I word embedding sono molto diversi dai co-occurrence counts, simili a quelle dei tuoi esempi. I co-occuurrence count non funzionano affatto come rappresentazione del significato delle parole. I word embedding vengono ottenuti come effetto secondario dell’allenamento di un Language Model, come i vettori nascosti che consentono al modello di stimare la probabilità di una parola in un contesto. La dimensione dei word embeddings è un valore costante prefissato, indipendente dalla lunghezza del vocabolario, com nella tua versione. Ci vorrebbero diverse lezioni per spiegare come si calcolano i word embedding e perché funzionino in modo talmente efficace, come quelle che trovi qui: https://elearning.di.unipi.it/course/view.php?id=438 I word embedding sono composi di centinaia di dimensioni e non è ricostruibile cosa rappresenti ciascuna: sono le centinaia di sfumature/sfaccettature che tratteggiano le caratteristiche di una parola, sia semantiche che sintattiche o chissà che altro. Con l’attention dei transformer, gli embeddings vengono calcolati in modo contestuale frase per frase, per tenere conto della polisemia delle parole in contesti diversi. > Ora il significato del termine "leggere" è leggere: l'azione che stai Questa è l’accezione di “significato” denotazionale che filosofi hanno proposto dai tempi di Platone, ma appunto non risolve il problema perché poi dovresti definire cosa sia questa denotazione e riapriremmo una discussione che in 2000 anni non sono stati in grado di risolvere. Cos’è un tavolo? Cos’è la tavolinità che distingue un tavolo da altri oggetti: avere 4 gambe, o tre, o una? E cos'è una gamba? Avere un piano: cos'è un piano? E così a ritroso. — Beppe > On 12 Oct 2023, at 18:43, Giacomo Tesio <giacomo(a)tesio.it> wrote: > > Salve Giuseppe, > > Il giorno Thu, 12 Oct 2023 10:26:32 +0200 Giuseppe Attardi ha scritto: > >> alla base dei LLMs ci sono i word embedding, un modo per assegnare un >> significato alle parole > > non mi è chiaro come i word embedding possano catturare il significato. > > > Per chi non lo sapesse, un word embeeding è un vettore N-dimensionale > (una sequenza di N numeri) che approssima la posizione di un termine > in uno spazio euclideo progettato per massimizzare la vicinanza con > i termini usati in modo simile in contesti simili. > > Un modo per calcolarlo, consiste nell'associare ad ogni elemento del > vettore una misura (tipicamente la frequenza) di una relazione con > cui quel termime appare associato agli altri termini nel "corpus" > sorgente. > > Immagina un dataset sorgente composto da tre frasi: > > - Giuseppe scrive. > - Giuseppe legge. > - Giuseppe legge o scrive. > > Abbiamo 4 parole: "Giuseppe" alla prima posizione, "scrive" alla > seconda e "legge" alla terza, "o" alla quarta. > > I rispettivi word embedding potrebbero essere > > - Giuseppe [0, 0.5, 0.5, 0] > - scrive [1, 0, 0, 0.5] > - legge [1, 0, 0, 0.5] > - o [0, 0.5, 0.5, 0] > > All'aumentare della dimensione del dataset sorgente (il "corpus") e del > vocabolario, aumenta il numero di dimensioni dello spazio euclideo in > questione (ovvero la lunghezza di ciascun vettore) e con tecniche più > avanzate può variare la semantica degli elementi del vettore... ma la > sostanza è questa: il vettore cattura la relazione di un termine con > gli altri presenti nel vocabolario estraendola da misure estratte dal > dataset sorgente. > > > Ora il significato del termine "leggere" è leggere: l'azione che stai > compiendo (spero) mentre guardi su uno schermo la rappresentazione di > questo mio messaggio. > > Quel significato è una esperienza soggettiva complessa ed unica della > tua mente, legata alle diverse altre esperienze e riflessioni della tua > vita. > > > Analogamente le parole "amare" o "morte" non derivano il proprio > significato dalla relazione che hanno con altre parole, ma dalle > esperienze umane che convenzionalmente esprimono. > > Anche parole come "zero" o "spin" (quantistico), pur non derivando > direttamente da esperienze fisiche, derivano il proprio significato da > esperienze soggettive di pensiero comunicabile (aka le "informazioni" > che cerchiamo di esprimere attraverso di esse). > > > In nessun caso la relazione fra le parole ne costituisce il senso. > > Infatti possiamo facilmente definire nuove parole per riferirci ad una > qualsiasi esperienza condivisa, senza nemmeno condividere una > definizione e ci capiremo benissimo. > > Se andiamo a prenderci un caffé e ci diciamo "da adesso in poi questa > azione la chiamiamo 'fefare'", potremo fefare periodicamente o > discutere dove fefare meglio senza alcun bisogno di analizzare la > frequenza del termine in relazione agli altri termini del nostro > vocabolario per dedurre il significato della parola stessa. > > > Dunque i word embedding non rappresentano alcun significato, ma > al massimo relazioni statistiche fra significanti. > > > Il "significato" può esistere solo nelle menti di noi esseri umani, come > esperienza soggettiva di pensiero comunicabile (l'informazione, appunto) > > >> ...the huge number of features interacting in very complicated way to >> predict the features of the next word and from that make a prediction >> about the probability of the next word, the point is that is >> understanding, at least I believe that is understanding. >> I believe that is what our brains are doing. > > "I believe". > > Mulder con più onestà intellettuale avrebbe detto "I WANT to believe". > > >> È tratto da una conversazione con Andrew Ng, che si dichiara >> d’accordo. > > Ma dai? il gatto e la volpe... :-) > > Potremmo considerarlo un corollario della nota osservazione di Upton > Sinclair [1] > > "It's straightforward to get a man to believe something when his salary > and status depend on spreading such belief." > > > Giacomo > > [1] "It is difficult to get a man to understand something, when his > salary depends on his not understanding it."

Oct. 12, 2023

Can Large Language Models reason?

by Giuseppe Attardi

Secondo Peter Norvig stanno addirittura raggiungendo la AGI: https://www.noemamag.com/artificial-general-intelligence-is-already-here/ — Beppe > On 12 Oct 2023, at 15:00, nexa-request(a)server-nexa.polito.it wrote: > > From: Daniela Tafani <daniela.tafani(a)unipi.it <mailto:daniela.tafani@unipi.it>> > To: "nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>" <nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>> > Subject: [nexa] Can Large Language Models reason? > Message-ID: <c57ae4ebaa76494ea2f7ec1ef19b3646(a)unipi.it <mailto:c57ae4ebaa76494ea2f7ec1ef19b3646@unipi.it>> > Content-Type: text/plain; charset="iso-8859-1" > > Melanie Mitchell, Can Large Language Models reason? > > https://aiguide.substack.com/p/can-large-language-models-reason > > (non lo copio di seguito perchè immagini e formattazione servono) >

Oct. 12, 2023

Even Google Insiders Are Questioning Bard AI Chatbot’s Usefulness (una soluzione in cerca di un problema)

by Daniela Tafani

https://www.bloomberg.com/news/articles/2023-10-11/google-insiders-question… Domanda: qual è la sfida più grande per la vostra azienda, riguardo a questo prodotto? Risposta: capire a cosa serva "can you tell us whats one of the biggest challenges the team is trying to tackle? perhaps a feature that you want to roll out some" CathyfromGoogle: “I think form the biggest challenge I’m still thinking of: what are LLMs truly useful for, in terms of helpfulness? Like really making a difference. TBD!” J. Weizenbaum, 1985: "the computer has almost since its beginning been basically a solution looking for a problem".

Oct. 12, 2023

Re: [nexa] IA, lavoro, immaginari

by Giacomo Tesio

Salve Giuseppe, Il giorno Thu, 12 Oct 2023 10:26:32 +0200 Giuseppe Attardi ha scritto: > alla base dei LLMs ci sono i word embedding, un modo per assegnare un > significato alle parole non mi è chiaro come i word embedding possano catturare il significato. Per chi non lo sapesse, un word embeeding è un vettore N-dimensionale (una sequenza di N numeri) che approssima la posizione di un termine in uno spazio euclideo progettato per massimizzare la vicinanza con i termini usati in modo simile in contesti simili. Un modo per calcolarlo, consiste nell'associare ad ogni elemento del vettore una misura (tipicamente la frequenza) di una relazione con cui quel termime appare associato agli altri termini nel "corpus" sorgente. Immagina un dataset sorgente composto da tre frasi: - Giuseppe scrive. - Giuseppe legge. - Giuseppe legge o scrive. Abbiamo 4 parole: "Giuseppe" alla prima posizione, "scrive" alla seconda e "legge" alla terza, "o" alla quarta. I rispettivi word embedding potrebbero essere - Giuseppe [0, 0.5, 0.5, 0] - scrive [1, 0, 0, 0.5] - legge [1, 0, 0, 0.5] - o [0, 0.5, 0.5, 0] All'aumentare della dimensione del dataset sorgente (il "corpus") e del vocabolario, aumenta il numero di dimensioni dello spazio euclideo in questione (ovvero la lunghezza di ciascun vettore) e con tecniche più avanzate può variare la semantica degli elementi del vettore... ma la sostanza è questa: il vettore cattura la relazione di un termine con gli altri presenti nel vocabolario estraendola da misure estratte dal dataset sorgente. Ora il significato del termine "leggere" è leggere: l'azione che stai compiendo (spero) mentre guardi su uno schermo la rappresentazione di questo mio messaggio. Quel significato è una esperienza soggettiva complessa ed unica della tua mente, legata alle diverse altre esperienze e riflessioni della tua vita. Analogamente le parole "amare" o "morte" non derivano il proprio significato dalla relazione che hanno con altre parole, ma dalle esperienze umane che convenzionalmente esprimono. Anche parole come "zero" o "spin" (quantistico), pur non derivando direttamente da esperienze fisiche, derivano il proprio significato da esperienze soggettive di pensiero comunicabile (aka le "informazioni" che cerchiamo di esprimere attraverso di esse). In nessun caso la relazione fra le parole ne costituisce il senso. Infatti possiamo facilmente definire nuove parole per riferirci ad una qualsiasi esperienza condivisa, senza nemmeno condividere una definizione e ci capiremo benissimo. Se andiamo a prenderci un caffé e ci diciamo "da adesso in poi questa azione la chiamiamo 'fefare'", potremo fefare periodicamente o discutere dove fefare meglio senza alcun bisogno di analizzare la frequenza del termine in relazione agli altri termini del nostro vocabolario per dedurre il significato della parola stessa. Dunque i word embedding non rappresentano alcun significato, ma al massimo relazioni statistiche fra significanti. Il "significato" può esistere solo nelle menti di noi esseri umani, come esperienza soggettiva di pensiero comunicabile (l'informazione, appunto) > ...the huge number of features interacting in very complicated way to > predict the features of the next word and from that make a prediction > about the probability of the next word, the point is that is > understanding, at least I believe that is understanding. > I believe that is what our brains are doing. "I believe". Mulder con più onestà intellettuale avrebbe detto "I WANT to believe". > È tratto da una conversazione con Andrew Ng, che si dichiara > d’accordo. Ma dai? il gatto e la volpe... :-) Potremmo considerarlo un corollario della nota osservazione di Upton Sinclair [1] "It's straightforward to get a man to believe something when his salary and status depend on spreading such belief." Giacomo [1] "It is difficult to get a man to understand something, when his salary depends on his not understanding it."

Oct. 12, 2023

Can Large Language Models reason?

by Daniela Tafani

Melanie Mitchell, Can Large Language Models reason? https://aiguide.substack.com/p/can-large-language-models-reason (non lo copio di seguito perchè immagini e formattazione servono)

Oct. 12, 2023

Re: [nexa] IA, lavoro, immaginari

by Giuseppe Attardi

> On 12 Oct 2023, at 12:00, <nexa-request(a)server-nexa.polito.it> <nexa-request(a)server-nexa.polito.it> wrote: > > From: "M. Fioretti" <mfioretti(a)nexaima.net <mailto:mfioretti@nexaima.net>> > To: nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > Subject: Re: [nexa] IA, lavoro, immaginari > Message-ID: <ZSe3bmA66wUNz5Zr(a)nexaima.net <mailto:ZSe3bmA66wUNz5Zr@nexaima.net>> > Content-Type: text/plain; charset=utf-8 > > On Thu, Oct 12, 2023 10:26:32 AM +0200, Giuseppe Attardi wrote: > >> il termine spregiativo di “stochastic parrot” che è stato affibbiato >> ai LLM da Timnit Gebru e colleghi. L’articolo è molto controverso ed >> è costato a Gebru il posto a Google. Nell’articolo si sostiene che: >> >> An LM is a system for haphazardly stitching together sequences of linguistic >> forms it has observed in its vast training data, according to probabilistic >> information about how they combine, but without any reference to meaning: a >> stochastic parrot. >> >> Questa affermazione è superficiale e inesatta, perché non tiene conto di alcune >> cose: >> >> 1. Alla base dei LLMs ci sono i word embedding, un modo per assegnare un >> significato alle parole, un problema che ha eluso la filosofia e la linguistica >> per due millenni e che il Deep Learning ha risolto. Questo è quanto afferma >> Hinton in proposito: >> “Many people who think it’s just statistics are thinking in terms of program >> models or counting the co-occurrence frequencies of words. We think this >> process of creating features of the embeddings and then interactions between >> features is actually understanding. Once you’ve taken the raw data of symbol >> strings and you can now predict the next symbol not by things like trigrams, >> but the huge number of features interacting in very complicated way to predict >> the features of the next word and from that make a prediction about the >> probability of the next word, the point is that is understanding, at least I >> believe that is understanding. I believe that is what our brains are doing. But >> that’s an issue to be discussed by the research community and it would be great >> if we could convince people that they are not just stochastic parrots.” > > questa cosa mi confonde un po': a chi/a chi sta parlando Hinton? È tratto da una conversazione con Andrew Ng, che si dichiara d’accordo. > > Perche' le critiche a certi discorsi vengono da quelli che non hanno > alcun bisogno di essere convinti di non essere semplici pappagalli, ma > sono LORO a dire di essere molto di piu'. A dire che il cervello umano > e' solo un'altra macchina sono altri. E dimostrare che gli esseri > umani non sono pappagalli stocastici mica esclude che lo siano gli > LLM. Ambiguità della lingua: “they” in “they are not just stochastic parrots” non si riferisce a “people”, ma ai LLM. — Beppe > > Sicuramente questo sara' piu' chiaro nel dibattito. Ne sara' > disponibile una trascrizione? > > Grazie, > Marco > -- > https://mfioretti.substack.com <https://mfioretti.substack.com/>

Oct. 12, 2023

Re: [nexa] IA, lavoro, immaginari

by M. Fioretti

On Thu, Oct 12, 2023 10:26:32 AM +0200, Giuseppe Attardi wrote: > il termine spregiativo di “stochastic parrot” che è stato affibbiato > ai LLM da Timnit Gebru e colleghi. L’articolo è molto controverso ed > è costato a Gebru il posto a Google. Nell’articolo si sostiene che: > > An LM is a system for haphazardly stitching together sequences of linguistic > forms it has observed in its vast training data, according to probabilistic > information about how they combine, but without any reference to meaning: a > stochastic parrot. > > Questa affermazione è superficiale e inesatta, perché non tiene conto di alcune > cose: > > 1. Alla base dei LLMs ci sono i word embedding, un modo per assegnare un > significato alle parole, un problema che ha eluso la filosofia e la linguistica > per due millenni e che il Deep Learning ha risolto. Questo è quanto afferma > Hinton in proposito: > “Many people who think it’s just statistics are thinking in terms of program > models or counting the co-occurrence frequencies of words. We think this > process of creating features of the embeddings and then interactions between > features is actually understanding. Once you’ve taken the raw data of symbol > strings and you can now predict the next symbol not by things like trigrams, > but the huge number of features interacting in very complicated way to predict > the features of the next word and from that make a prediction about the > probability of the next word, the point is that is understanding, at least I > believe that is understanding. I believe that is what our brains are doing. But > that’s an issue to be discussed by the research community and it would be great > if we could convince people that they are not just stochastic parrots.” questa cosa mi confonde un po': a chi/a chi sta parlando Hinton? Perche' le critiche a certi discorsi vengono da quelli che non hanno alcun bisogno di essere convinti di non essere semplici pappagalli, ma sono LORO a dire di essere molto di piu'. A dire che il cervello umano e' solo un'altra macchina sono altri. E dimostrare che gli esseri umani non sono pappagalli stocastici mica esclude che lo siano gli LLM. Sicuramente questo sara' piu' chiaro nel dibattito. Ne sara' disponibile una trascrizione? Grazie, Marco -- https://mfioretti.substack.com

Oct. 12, 2023

Re: [nexa] IA, lavoro, immaginari

by M. Fioretti

On Wed, Oct 11, 2023 21:16:58 PM +0000, Daniela Tafani wrote: > - siamo ancora in un sistema capitalistico o le rendite hanno > - raggiunto dimensioni e proporzioni che giustificano l'uso del > - termine "tecnofeudalesimo"? direi la seconda: https://stop.zona-m.net/2020/12/big-tech-feudalism-animal-farm-digitized.-v… > Quanto alla famiglia di ideologie TESCREAL, a me paiono centrali gli > elementi eugenetici e quelli religiosi. Donde, tra gli altri, l'IA > fisiognomica e il messianesimo d'accatto. Se ne occupa Emile Torres > (5). Per completezza, l'eugenetica c'e' pure, ma autoimposta, dal basso, in tutto il mondo del dating via app. Ma proprio bello il pezzo di Torres, mi era sfuggito, grazie! Marco -- https:mfioretti.substack.com

Oct. 12, 2023

Re: [nexa] IA, lavoro, immaginari

by Giuseppe Attardi

Scusate se riprendo questo tema dall’inizio, in quanto finora sono stato impegnato ad organizzare questo dibattito, che affronta alcuni delle questioni di fondo sulle capacità dell’AI di avere impatti sulla società: https://sites.google.com/view/ellisfms2023/program/debate-ai-societal-impact e a cui parteciperanno alcuni tra i principali esperti al mondo, tra cui Yoshua Bengio, Moshe Vardi, Ricardo Baeza-Yates, Gary Marcus, Geoff Hinton. Gli ultimi due si confronteranno proprio sulla questione se i LLM siano in grado di comprendere. Daniele Gambetta riporta il termine spregiativo di “stochastic parrot” che è stato affibbiato ai LLM da Timnit Gebru e colleghi. L’articolo è molto controverso ed è costato a Gebru il posto a Google. Nell’articolo si sostiene che: An LM is a system for haphazardly stitching together sequences of linguistic forms it has observed in its vast training data, according to probabilistic information about how they combine, but without any reference to meaning: a stochastic parrot. Questa affermazione è superficiale e inesatta, perché non tiene conto di alcune cose: 1. Alla base dei LLMs ci sono i word embedding, un modo per assegnare un significato alle parole, un problema che ha eluso la filosofia e la linguistica per due millenni e che il Deep Learning ha risolto. Questo è quanto afferma Hinton in proposito: “Many people who think it’s just statistics are thinking in terms of program models or counting the co-occurrence frequencies of words. We think this process of creating features of the embeddings and then interactions between features is actually understanding. Once you’ve taken the raw data of symbol strings and you can now predict the next symbol not by things like trigrams, but the huge number of features interacting in very complicated way to predict the features of the next word and from that make a prediction about the probability of the next word, the point is that is understanding, at least I believe that is understanding. I believe that is what our brains are doing. But that’s an issue to be discussed by the research community and it would be great if we could convince people that they are not just stochastic parrots.” 2. I LLM sono evoluti dai tempi dell’articolo, in particolare, ChatGPT e successivi sono stati allenati a interagire in conversazioni con il fine-tuning e quindi a tenere conto del contesto della discussione 3. La capacità di “comprendere” è difficile da definire, almeno in termini umani. L’unico modo che abbiamo per stabilire se uno studente ha “capito” una certa materia, è di sottoporlo a domande di verifica di comprensione. Ma in gran parte di tali test, GPT-4 supera il livello medio umano. Quindi, a tutti gli effetti pratici, capisce non solo una, ma molte materie. Lo “capisce” in una qualche forma diversa dalla nostra, ma pur sempre verificabile. 4. Le sorprendenti abilità dei LLM (perché hanno sorpreso tutti, compresi i loro sviluppatori), derivano dal fenomeno denominato “emergent abilities”, che appiano solo quando i modelli superano una certa scala. Per ora si tratta di un'osservazione empirica, iniziata con gli esperimenti di Jason Wei sul Chain-of-Thought, ma che si sta cercando di approfondire con una serie di spunti. Uno di questi si lega alla teoria dei sistemi complessi di Giorgio Parisi, che spiega il loro comportamento come dovuto all’applicazione su larga scala di semplici leggi probabilistiche. Ho suggerito a Parisi che sia proprio questo ciò che avviene nei LLM, che applicano su larga scala, in modelli di centinaia di miliardi di parametri, la semplice probabilità stimata della prossima parola. Parisi mi ha confermato di persona che l’ipotesi è alquanto plausibile. Questa stessa ipotesi spiega perché molti si rifiutano di riconoscere queste capacità: la mente umana è abituata a comprendere i fenomeni, scomponendoli in poche parti funzionali, che si combinano in modo deterministico. Nei fenomeni complessi questo non è possibile farlo. Nel frattempo stanno uscendo diversi lavori scientifici, che cercano di dare una base scientifica al fenomeno: 1. Ekin Akyürek, Dale Schuurmans, Jacob Andreas, Tengyu Ma, and Denny Zhou. What learning algorithm is in-context learning? Investigations with linear models <https://openreview.net/forum?id=0g0X4H8yN4I>. ICLR 2023 (Oral) 2. Guhao Feng, Bohang Zhang, Yuntian Gu, Haotian Ye, Di He, Liwei Wang. Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective <https://arxiv.org/abs/2305.15408>. NeurIPS 2023 (Oral). 3. Angeliki Giannou, Shashank Rajput, Jy-yong Sohn, Kangwook Lee, Jason D Lee, Dimitris Papailiopoulos. Looped Transformers as Programmable Computers <https://arxiv.org/abs/2301.13196>. ICML 2023. 4. Ruiqi Zhang, Spencer Frei, Peter L Bartlett. Trained Transformers Learn Linear Models In-Context <https://scholar.google.com/citations?view_op=view_citation&hl=en&user=uErE2…>. arXiv preprint arXiv:2306.09927, 2023. Segnalo anche questo video di una presentazione di Sanjeev Arora su A Theory of Emergence of Complex Skills in Language Models (https://www.youtube.com/live/0D23NeBjCeQ?si=Trtt160lkXCgFEa6) In sostanza, siamo di fronte a questioni scientifiche articolate e complesse, e suggerisco che vengano affrontate basandosi su studi scientifici, di cui c’è molto bisogno. Per uno studente del Dottorato Nazionale in Intelligenza Artificiale (che ho contribuito a far nascere) dovrebbe essere una grande opportunità. — Beppe > On 6 Oct 2023, at 23:30, <nexa-request(a)server-nexa.polito.it> <nexa-request(a)server-nexa.polito.it> wrote: > > From: Daniele Gambetta <daniele.gambetta7(a)gmail.com <mailto:daniele.gambetta7@gmail.com>> > To: nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > Subject: [nexa] IA, lavoro, immaginari > Message-ID: > <CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA(a)mail.gmail.com <mailto:CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA@mail.gmail.com>> > Content-Type: text/plain; charset="utf-8" > > Ciao a tutte/i, > seguo da tempo questa mailing list con interesse anche se scrivo poco. > Volevo segnalarvi un articolo che ho scritto di recente su temi legati > all'IA, pubblicato in due parti su DinamoPress. > Mi farebbe piacere avere feedback e pareri o avviare una discussione. > > 1) > https://www.dinamopress.it/news/al-di-la-del-faust-e-dellhype-appunti-su-in… > 2) > https://www.dinamopress.it/news/technic-and-magic-animismo-di-piattaforma-e… > > Saluti e buon we. > Daniele

Oct. 12, 2023

perdere il controllo dei "propri" device [CDT:L3]

by Andrea Trentini

1) 'I was kidnapped by my runaway electric car' - BBC News https://www.bbc.com/news/uk-scotland-67005620 2) https://www.lealternative.net/2023/10/12/il-televisore-nottambulo-una-stori… -- Andrea Trentini ⠠⠵ http://atrent.it public key ID: 0xA7A91E3B Dip.to di Informatica Università degli Studi di Milano

Oct. 12, 2023