Commentavi questo articolo: https://arxiv.org/pdf/2301.13867
Leggiamo come è composto il dataset con cui hanno testato le
"competenze matematiche" dei LLM di OpenAI (pagina 4):
- books that are widely used in universities to teach upper
undergraduate or first-year graduate courses in a degree in
mathematics
- math.stackexchange.com, a collection of books, and the
MATH dataset
- the book Problem-Solving Strategies, that is often used
to prepare for mathematical competitions
- il dataset di https://arxiv.org/abs/1912.01412 che contiene
decine di esercizi... e le soluzioni.
Leggi con calma e rifletti: non noti niente?
Questi ricercatori NON hanno sottoposto a ChatGPT e GPT-4 problemi
inediti, ma problemi tratti da eserciziari disponibili in rete.
Ora, se immagini una qualche "intelligenza artificiale" alle prese con
tutti questi problemi, è ragionevole trovare i risultati sintetizzati
nell'abstract che avevo citato "strabilianti" [1].
Ma se hai chiaro il processo di compilazione / compressione dei testi
sorgente che produce il LLM, trovi quei risultati piuttosto ovvi: il
LLM ha prodotto in output le soluzioni codificate nelle matrici
eseguibili.
ritengo utile segnalare quanto ha scritto
recentemente Francois Chollet in una serie di post su X (a partire
da qua
https://x.com/fchollet/status/1800577565717148143)
Here's the thing: what current AI (e.g. LLMs) is really doing is
memorizing millions of patterns seen in human-generated data, and
reapplying them on new inputs. That works great when you're
dealing with a well-known problem – until you introduce any amount
of novelty.
But the nature of intelligence is precisely to adapt to things you
don't expect. To figure out what to do when you don't have a
solution already memorized.
If your AI can't adapt to novelty, it will never be able to deal
with the variability and fluidity of the real world.
And that's why LLMs aren't on the path to AGI. They cannot reason
– they recite. They by-pass the need for intelligence by
leveraging memorization instead – on a scale that boggles the
mind.
Come "palestra" per misurare davvero l'intelligenza Chollet ha
proposto lo "ARC Prize"
http://arcprize.org cioè la risoluzione di
problemi che sono semplici per gli esseri umani ma sono resistenti
alla memorizzazione (quindi difficili per le LLM). Con le sue
parole (
https://x.com/fchollet/status/1800577423853195451)
ARC tasks are easy for humans. They aren't complex. They don't
require specialized knowledge – a child can solve them. But modern
AI struggles with them.
Because they have one very important property: they're designed to
be resistant to memorization.
And ARC is like a flashing red light reminding you that we're
missing something (intende per l'AGI = Artificial General
Intelligence)