Grazie Giacomo
per il riferimento a questo studio di Antrhopic, che non
conoscevo quando avevo scritto il mio pezzo di un paio di mesi fa
us IAgen e sviluppo software
https://www.startmag.it/innovazione/iagen-lavoro-sviluppo-software/
È molto interessante, perché condotto seguendo gli approcci usati
nella ricerca in didattica dell'informatica (o computer science
education che dir si voglia):
We found that using AI assistance led to a statistically
significant decrease in mastery. On a quiz that covered
concepts they’d used just a few minutes before, participants in
the AI group scored 17% lower than those who coded by hand, or
the equivalent of nearly two letter grades. Using AI sped up the
task slightly, but this didn’t reach the threshold of
statistical significance.
Questo risultato ribatte quello in molti altri settori sta
emergendo rispetto all'uso dell'IA nel settore educativo, che è
esemplificato da questo studio massiccio (di cui forse si è già
parlato qui in mailing list) sul cosiddetto "Debito Cognitivo".
Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using
an AI Assistant for Essay Writing Task
https://arxiv.org/pdf/2506.08872v2
As the educational impact of LLM use only begins to settle
with the general population, in this study we demonstrate the
pressing matter of a likely decrease in learning skills based on
the results of our study. The use of LLM had a measurable
impact on participants, and while the benefits were
initially apparent, as we demonstrated over the course of 4
months, the LLM group's participants performed worse than
their counterparts in the Brain-only group at all levels:
neural, linguistic, scoring
Ciao, Enrico
NB: il grassetto delle citazioni è mio
Il 08/05/2026 19:57, Giacomo Tesio via
nexa ha scritto:
Suvvia Enrico, non te la prendere: non è nulla di personale.
On Fri, 8 May 2026 17:43:17 +0200 Enrico Nardelli wrote:
Guido, io ho scritto:
[...]
tu mi replichi
[...]
NO! Se io avessi scritto
[...]
Ma siccome ho scritto una cosa diversa, [...]
Sono certo che Guido non abbia usato un agente automatico per ottenere
un riassunto della tua mail perché sa che sarebbe un'enorme mancanza di
rispetto per il tempo che hai dedicato a scrivergli.
Semplicemente, leggere fischi per fiaschi è un effetto collaterale
comunissimo dell'uso intensivo di riassunti prodotti da software
programmati statisticamente.
Come ogni altra facoltà intellettiva, l'attenzione richiede costante
allenamento. Nemmeno Anthropic ha il coraggio di negarlo [1][2]:
https://www.anthropic.com/research/AI-assistance-coding-skills
"""
On average, participants in the AI group finished about two minutes
faster, although the difference was not statistically significant.
There was, however, a significant difference in test scores: the AI
group averaged 50% on the quiz, compared to 67% in the hand-coding
group—or the equivalent of nearly two letter grades (Cohen's d=0.738,
p=0.01). The largest gap in scores between the two groups was on
debugging questions, suggesting that the ability to understand when
code is incorrect and why it fails may be a particular area of concern
if AI impedes coding development.
"""
Un effetto collaterale che tende a vanificare persino l'utilità dei
"riassunti automatici" per chi, come suggerivo in altra mail, legge
comunque i documenti da riassumere.
Giacomo
[1] pur argomentato che dipende da come le usi, per cui se
rincretinisci, è solo colpa tua... ;-)
[2] Per altro, ben 2 minuti in meno nel completare lo sviluppo con un AI
(a pagamento) per diverse ore in più a debuggarlo: che affarone! :-D