July 2024 - nexa - server-nexa.polito.it

Re: [nexa] i language model alle prove INVALSI

by Antonio

> ci sono le bugie, le maledette bugie, e i benchmark .. :-) > comunque quando i modelli multilingua di Meta, DeepMind e Mistral sui > benchmark italiani vanno al doppio di quelli 'autarchici', qualcosa dovrà > pur dire Se per questo vanno anche venti volte meglio [1], ma è un numero che non vale nulla. Stiamo confrontando mele con pere. Alcuni sono Base model, altri SFT (Supervised Finetuning), RM (Reward Modeling), RL (Reinforcement Learning) model. I Base model (come Minerva-3B-base) non sono assolutamente adatti per questo tipo di confronti. Oltre, ovviamente, al fatto che 3B è un tantino meno di 405B. Lungi da me parteggiare per i modelli autarchici per amor patriae, sul Modello Italia non credo di esserci andato leggero [2], ma da qui a dire che i modelli multilingua sono migliori a prescindere non mi trova d'accordo. I modelli multilingua sono solo un enorme spreco per l'ambiente. Prendiamo un Minerva-3B-base, gli diamo in pasto qualche centinaio di migliaia di prompt di buona qualità (sono sufficienti un centinaio di GPU/days per il reinforcement learning) e poi rifacciamo girare lo script di benchmark. Scommettiamo che il divario diminuisce? A. [1] claude-3.5-sonnet: 92.2 Meta-Llama-3.1-405B-Instruct: 86.1 gpt-4-turbo: 86 gemini-pro-1.5: 81.2 ... Minerva-3B-base-v1.0: 4.9 [2] https://www.saela.eu/modelloitalia/

July 31, 2024

Progress and trends in OSS policies | Open Source Observatory (OSOR)

by Antonio Vetro'

A new report<https://joinup.ec.europa.eu/sites/default/files/news/2024-07/SC32_D04.03_Pa…> from the European Commission's Open Source Observatory provides an in-depth qualitative analysis of open source policy across 15 European and non-European countries. It is based on the research carried out for the series of Open Source Country Intelligence Reports<https://joinup.ec.europa.eu/collection/open-source-observatory-osor/open-so…> by the OSOR team. Highlighting the increasing importance of open source technologies in the public sector, the report offers valuable insights for policymakers, public administration officials, and the open source community. Key findings reveal that governments, including those in the EU, are adopting open source to enhance digital sovereignty, data privacy, and control over digital infrastructures. Open source has proven crucial during crises like the COVID-19 pandemic, improving transparency and accelerating the rollout of essential digital services. The report underscores the role of cities, regions, and municipalities in driving open source adoption due to its cost-effectiveness and local adaptability. Collaborative efforts among these entities and regional IT providers are essential for implementing regional digital services. [….] https://joinup.ec.europa.eu/collection/open-source-observatory-osor/news/ne…

July 31, 2024

Fwd: [hackademia] An Activist’s Guide to Defeating Disinformation

by J.C. DE MARTIN

-------- Forwarded Message -------- Subject: [hackademia] An Activist’s Guide to Defeating Disinformation Date: Wed, 31 Jul 2024 09:26:00 +0200 From: Simona Levi Xnet (via hackademia Mailing List) <hackademia(a)lists.riseup.net> Reply-To: simona(a)xnet-x.net To: hackademia(a)lists.riseup.net Dear colleagues, I hope this email finds you well. I’m writing just to let you know that we have released a new book in English: Simona Levi et al. *Fake You - An Activist’s Guide to Defeating Disinformation  Don't blame the people, don't blame the Internet. Blame the power. * /Governments, political parties, mass media, large corporations and fortunes: the monopolies of information manipulation and the threats to freedom of expression./ Free download here: https://xnet-x.net/en/fakeyou-disinformation-free-download/ Please upload it and share it by all means :). Any help for comms is much appreciated, too: Twitter: https://x.com/X_net_/status/1818228721544786020 Mastodon: https://mastodon.social/@X_net/112874993349946855 Linkedin: https://www.linkedin.com/posts/xnet-instituto-digitalizaci%C3%B3n-democr%C3… Facebook: https://www.facebook.com/RedX.Net/posts/pfbid02YTyMs2moHVwUE4HHy8iaT1djiYLE… Have a lovely summer! Simona and Xnet -- Simona Levi https://Xnet-x.net <https://Xnet-X.net> _PGP Fingerprint _98E3 4906 5CFE EB34 A5F6 _193C 9A41 8EB1 A2EE 48AF [PGP] <https://keys.openpgp.org/vks/v1/by-fingerprint/98E349065CFEEB34A5F6193C9A41…>

July 31, 2024

Re: [nexa] i language model alle prove INVALSI

by Giacomo Tesio

Certo Guido, On Tue, 30 Jul 2024 12:00:05 Guido Vetere wrote: > quando i modelli multilingua di Meta, DeepMind e Mistral sui > benchmark italiani vanno al doppio di quelli 'autarchici', > qualcosa dovrà pur dire vuol semplicemente dire che Meta, DeepMind e Mistral hanno incluso migliaia di quiz e test a risposta multipla nella base dati utilizzata per programmare statisticamente i propri software. La cosa ti sorprende? E' da un po' che va avanti: https://www.businessinsider.com/list-here-are-the-exams-chatgpt-has-passed-… https://www.ama-assn.org/practice-management/digital/chatgpt-passed-usmle-w… https://edition.cnn.com/2023/01/26/tech/chatgpt-passes-exams/index.html Ora, per quanto restii a smettere di parlare di "intelligenza artificiale" e stronzate simili, i ricercatori che hanno programmato i "modelli" che tu chiami "autarchici" non hanno come obbiettivo primario buttare fumo negli occhi agli sprovveduti che non sanno come funziona un LLM ed è dunque prevedibile che non avranno ottimizzato particolarmente simili "imitation games". Giacomo

July 30, 2024

Re: [nexa] i language model alle prove INVALSI

by Guido Vetere

ci sono le bugie, le maledette bugie, e i benchmark .. :-) comunque quando i modelli multilingua di Meta, DeepMind e Mistral sui benchmark italiani vanno al doppio di quelli 'autarchici', qualcosa dovrà pur dire G. On Tue, 30 Jul 2024 at 11:44, Giacomo Tesio <giacomo(a)tesio.it> wrote: > On Mon, 29 Jul 2024 15:27:34 Stefano Quintarelli wrote: > > > On 29/07/24 11:35, Antonio wrote: > > > C'entra poco con l'oggetto ma un paio di giorni fa Trump ha tenuto > > > un discorso ad una conferenza sui Bitcoin. [...] "Sono qui davanti > > > a gente dal QI altissimo, i moderni Edison, i fratelli Wright, i > > > Carnegie e gli Henry Ford [...]" > > > > tanto alto, che molti gli manderanno soldi. > > Ma soldi... o token? :-D > > > Giacomo >

July 30, 2024

Re: [nexa] i language model alle prove INVALSI

by Giacomo Tesio

On Mon, 29 Jul 2024 15:27:34 Stefano Quintarelli wrote: > On 29/07/24 11:35, Antonio wrote: > > C'entra poco con l'oggetto ma un paio di giorni fa Trump ha tenuto > > un discorso ad una conferenza sui Bitcoin. [...] "Sono qui davanti > > a gente dal QI altissimo, i moderni Edison, i fratelli Wright, i > > Carnegie e gli Henry Ford [...]" > > tanto alto, che molti gli manderanno soldi. Ma soldi... o token? :-D Giacomo

July 30, 2024

Re: [nexa] SearchGPT: OpenAI sfida Google

by maurizio lana

a parte i loro piani , io vedo due problemi enormi in un 'searchGPT' e cugini (searchClaude, searchLlama, ecc.): 1) il costo energetico che per una ricerca fatta con LLM è calcolato nell'ordine di 10 volte quello di una normale ricerca con search engine*; 2) che si consolida una dimensione oracolare della ricerca di informazioni: si va in pellegrinaggio dal LLM, si fa una domanda e si torna a casa con una risposta. fine di quel casino di 347.223 esiti per una banale domanda! evviva!! già con i search engine occorreva essere consapevoli di una serie di bias e limiti, ma almeno era evidente che era necessario un lavoro di analisi e e scelta, che era necessario guardare un po' di esiti prime di trarre delle conclusioni Maurizio * sul tema del consumo energetico si possono vedere fra altri questi articoli; il confronto fra il vecchio Google search e le innovazioni basate su LLM è nell'articolo di De Vries: Catena, Matteo, e Nicola Tonellotto. «A study on query energy consumption in web search engines». /CEUR Workshop Proceedings/ 1404 (gennaio 2015). De Vries, Alex. «The Growing Energy Footprint of Artificial Intelligence». /Joule/ 7, fasc. 10 (ottobre 2023): 2191–94. https://doi.org/10.1016/j.joule.2023.09.004. Heikkilä, Melissa. «Making an image with generative AI uses as much energy as charging your phone». /MIT Technology Review/, 1 dicembre 2023. https://www.technologyreview.com/2023/12/01/1084189/making-an-image-with-ge…. Henderson, Peter, Jieru Hu, Joshua Romoff, Emma Brunskill, Dan Jurafsky, e Joelle Pineau. «Towards the systematic reporting of the energy and carbon footprints of machine learning». /The Journal of Machine Learning Research/ 21, fasc. 1 (Gennaio 2020): 248:10039-248:10081. Milmo, Dan, Alex Hern, e Jillian Ambrose. «Can the Climate Survive the Insatiable Energy Demands of the AI Arms Race?» /The Guardian/, 4 luglio 2024, sez. Business. https://www.theguardian.com/business/article/2024/jul/04/can-the-climate-su…. Strubell, Emma, Ananya Ganesh, e Andrew McCallum. «Energy and Policy Considerations for Deep Learning in NLP». In /Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics/, 3645–50. Florence, Italy: Association for Computational Linguistics, 2019. https://doi.org/10.18653/v1/P19-1355. Il 29/07/24 12:11, Antonio ha scritto: > Della serie, il "piano B". Se non riusciamo a "piazzare" il prodotto, quanto meno cerchiamo di scalzare Google dal trono della "search", forse sarà più facile in questo modo rientrare dagli investimenti. > Se non ricordo male era Maurizio Lana che in questa lista sosteneva per primo quale fosse il "vero" obiettivo di OpenAI/Microsoft. > > Su Search GPT ci sono diversi articoli, uno a caso,https://www.futuroprossimo.it/2024/07/searchgpt-openai-sfida-google-con-il-suo-motore-di-ricerca-ai/ . > > A. ------------------------------------------------------------------------ if we spent on prosecuting the rich just one-tenth of the effort we spend prosecuting the poor it would be a very different world bruce schneier ------------------------------------------------------------------------ Maurizio Lana Università del Piemonte Orientale Dipartimento di Studi Umanistici Piazza Roma 36 - 13100 Vercelli

July 29, 2024

Re: [nexa] [Junk released by Allowed List] Re: Upwork Study Finds Employee Workloads Rising Despite Increased C-Suite Investment in Artificial Intelligence

by Daniela Tafani

Ciao, Enrico, Il 29/07/24 17:23, Enrico Nardelli ha scritto: > Estremizzando la sintesi mi pare si possa dire che la situazione è questa: > - i capi hanno aderito all'assioma mediatico che con l'IA il dipendente debba essere più produttivo, ma metà dei dipendenti non ha idea di come fare; > - per qualche motivo i consulenti sembrano invece non avere problemi ad essere più produttivi > - quindi i capi esternalizzano il lavoro. Cory Doctorow propone questa sintesi: lavorare in un posto di lavoro dotato di IA è come essere il genitore di un bambino bizzoso, che ha comprato un milione di allevamenti di scimmie di mare dall'ultima pagina di un fumetto (acquistandoli da un noto negazionista dell'Olocausto) e ti rovina la vita chiedendoti di capire come far indossare a quei minuscoli animaletti delle coroncine, come fanno nella pubblicità. When I took my kid to New Zealand with me on a book-tour, I was delighted to learn that grocery stores had special aisles where all the kids'-eye-level candy had been removed, to minimize nagging. What a great idea! Related: countries around the world limit advertising to children, for two reasons: 1) Kids may not be stupid, but they are inexperienced, and that makes them gullible; and 2) Kids don't have money of their own, so their path to getting the stuff they see in ads is nagging their parents, which creates a natural constituency to support limits on kids' advertising (nagged parents). There's something especially annoying about ads targeted at getting credulous people to coerce or torment other people on behalf of the advertiser. For example, AI companies spent millions targeting your boss in an effort to convince them that you can be replaced with a chatbot that absolutely, positively cannot do your job. Your boss has no idea what your job entails, and is (not so) secretly convinced that you're a featherbedding parasite who only shows up for work because you fear the breadline, and not because your job is a) challenging, or b) rewarding: <https://pluralistic.net/2024/04/19/make-them-afraid/#fear-is-their-mind-kil…> That makes them prime marks for chatbot-peddling AI pitchmen. Your boss would love to fire you and replace you with a chatbot. Chatbots don't unionize, they don't backtalk about stupid orders, and they don't experience any inconvenient moral injury when ordered to enshittify the product: <https://pluralistic.net/2023/11/25/moral-injury/#enshittification> Bosses are Bizarro-world Marxists. Like Marxists, your boss's worldview is organized around the principle that every dollar you take home in wages is a dollar that isn't available for executive bonuses, stock buybacks or dividends. That's why you boss is insatiably horny for firing you and replacing you with software. Software is cheaper, and it doesn't advocate for higher wages. That makes your boss such an easy mark for AI pitchmen, which explains the vast gap between the valuation of AI companies and the utility of AI to the customers that buy those companies' products. As an investor, buying shares in AI might represent a bet the usefulness of AI – but for many of those investors, backing an AI company is actually a bet on your boss's credulity and contempt for you and your job. But bosses' resemblance to toddlers doesn't end with their credulity. A toddler's path to getting that eye-height candy-bar goes through their exhausted parents. Your boss's path to realizing the productivity gains promised by an AI salesman runs through you. Continua qui: <https://pluralistic.net/2024/07/25/accountability-sinks/#work-harder-not-sm…>

July 29, 2024

Re: [nexa] Upwork Study Finds Employee Workloads Rising Despite Increased C-Suite Investment in Artificial Intelligence

by Enrico Nardelli

Estremizzando la sintesi mi pare si possa dire che la situazione è questa: - i capi hanno aderito all'assioma mediatico che con l'IA il dipendente debba essere più produttivo, ma metà dei dipendenti non ha idea di come fare; - per qualche motivo i consulenti sembrano invece non avere problemi ad essere più produttivi - quindi i capi esternalizzano il lavoro. Se non esagero, la storia ricorda quella dei primi anni 2000 in cui tutti facevano outsourcing pensando di risparmiare e si sono poi ricreduti di brutto. Ciao, Enrico ------ Messaggio originale ------ Da "Daniela Tafani" <daniela.tafani(a)unipi.it> A "nexa(a)server-nexa.polito.it" <nexa(a)server-nexa.polito.it> Data 28/07/2024 23:38:48 Oggetto [nexa] Upwork Study Finds Employee Workloads Rising Despite Increased C-Suite Investment in Artificial Intelligence >Data reveals 96% of C-suite leaders expect AI to boost worker productivity, but 77% of employees report AI has increased their workload > >SAN FRANCISCO, July 23, 2024 (GLOBE NEWSWIRE) -- Upwork Inc. (Nasdaq: UPWK), the world’s work marketplace that connects businesses with independent talent, today released a new study from The Upwork Research Institute revealing that AI is increasing the workloads of full-time employees, hampering productivity, and contributing to employee burnout. > >While business leaders are investing heavily in AI, the study shows that most organizations are currently failing to unlock the full productivity value of the technology. Despite 96% of C-suite leaders expressing high expectations that AI will enhance productivity, 77% of employees using AI say these tools have added to their workload, and nearly half (47%) of employees using AI report they do not know how to achieve the expected productivity gains. > >Key findings from the report include: > > Workers are feeling the strain from rising productivity demands, with 1 in 3 full-time employees saying they will likely quit their jobs in the next six months: 81% of global C-suite leaders acknowledge they have increased demands on their workers in the past year. Consequently, 71% of full-time employees are burned out, and 65% report struggling with their employer’s demands on their productivity. Alarmingly, 1 in 3 employees say they will likely quit their jobs in the next six months due to burnout or being overworked. > C-suite leaders have high hopes that AI will help boost productivity, but employees are experiencing the opposite, with AI making their jobs harder: 96% of C-suite leaders expect the use of AI tools to increase their company’s overall productivity levels. Already, 85% of companies are using AI, including 39% mandating the use of AI tools and 46% encouraging their use. However, 77% of employees report that these tools have added to their workload. Employees report spending more time reviewing or moderating AI-generated content (39%), investing more time learning how to use these tools (23%), and being asked to do more work as a direct result of AI (21%). > > For many workers, the path to achieving the productivity gains that employers expect is not clear: Nearly half (47%) of employees using AI say they have no idea how to achieve the productivity gains their employers expect, and 40% feel their company is asking too much of them when it comes to AI. > Freelancers unlock productivity with AI, outpacing full-time employees: Nearly half (48%) of freelancers say they’re “somewhat” or “highly” skilled at using AI, and over a third (34%) use AI tools at least 1-2 days per week. Additionally, more than half (56%) of freelancers say they do not experience struggles keeping pace with productivity demands of clients, as compared to just 35% of their full-time employee counterparts. > > Many C-suite leaders have doubled organizational agility as well as well-being and engagement among full-time employees as a result of bringing in freelance talent: C-suite leaders leveraging freelancers say they have at least doubled the following outcomes for their business: organizational agility (45%), quality of work being produced (40%), innovation (39%), scalability (39%), revenue and bottom line (36%), and efficiency (34%). More than a third (35%) report also doubling the level of well-being and engagement among their full-time employees as a result of bringing in freelance talent. Nearly half (48%) of C-suite executives even report hiring freelancers to execute delayed AI projects over the past year. > >“In order to reap the full productivity value of AI, leaders need to create an AI-enhanced work model,” Monahan continued. “This includes leveraging alternative talent pools that are AI-ready, co-creating measures of productivity with their workforces, and developing a deep understanding of and proficiency in implementing a skills-based approach to hiring and talent development. Only then will leaders be able to avoid the risk of losing critical workers and advance their innovation agenda.” > >For full study findings and insights, visit: <https://www.upwork.com/research/ai-enhanced-work-models> > ><https://investors.upwork.com/news-releases/news-release-details/upwork-stud…> -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Past President di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Universit� di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli(a)mat.uniroma2.it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================== --

July 29, 2024

Re: [nexa] i language model alle prove INVALSI

by Stefano Quintarelli

tanto alto, che molti gli manderanno soldi. On 29/07/24 11:35, Antonio wrote: >> l'Università di Milano-Bicocca ha avuto l'idea di ricavare un benchmark >> dalle prove INVALSI per valutare come se la cavano i language model con >> italiano. > > Quando sento parlare di benchmark mi vengono in mente le parole di Erich Fromm: > "Per intelligenza intendo la capacità di servirsi dei concetti, ma senza penetrare oltre la superficie dei fenomeni fino all'essenza della cose. L'intelligenza preferisce manipolare la realtà anziché comprenderla. La capacità di comprendere è l'opposto dell'intelligenza manipolatrice. La prima presuppone sempre un rapporto con l'oggetto delle nostre riflessioni. Se non c'è rapporto, possiamo soltanto manipolare la realtà. Possiamo *pesarla, misurarla e calcolarla", e confrontare i diversi fattori tra di loro ma un pensiero meramente intellettuale, superficiale, non andando mai dentro le cose, non potrà capirle e modificarle." > > Lo diceva settanta anni fa e si riferiva ovviamente all'intelligenza umana, ma il ragionamento è valido perfettamente anche oggi. C'è tanta (presunta) intelligenza ma è solo manipolazione, pesi, misure, calcoli. Nei pochissimi casi in cui si fa a fondo ed entra, quindi, in gioco, la "reason", non c'è nulla. > > C'entra poco con l'oggetto ma un paio di giorni fa Trump ha tenuto un discorso ad una conferenza sui Bitcoin. Pare che qualcuno l'abbiamo convinto che per il bene dell'America (guidata da lui ovviamente), gli USA devono diventare la "capitale mondiale" del Bitcoin. Davanti alla platea, tra le tante "...esserie" che ha detto, una mi ha colpito. "Sono qui davanti a gente dal QI altissimo, i moderni Edison, i fratelli Wright, i Carnegie e gli Henry Ford, io sto correndo contro un individuo con un QI basso, lei, non sto nemmeno parlando di lui, lei" > > A. -- You can reach me on Signal: @quinta.01 (no Whatsapp)

July 29, 2024