Buonasera.

Credo sia sufficiente ricordare che non sta fornendo informazioni e non commette alcun errore.
Sta producendo la successione più probabile di stringhe di testo
(probabile non rispetto a fatti reali, ma alla distribuzione delle stringhe di testo nei dati di preaddestramento

e nella fase di reinforcement learning with human feedback)

A fronte di un caso analogo, generato a partire dall'input di un mio studente,

gli altri studenti trovarono la "risposta" di chatGPT (che copio di seguito) perfettamente spiegabile:

il genere letterario "biografia" prevede che si cominci con la nascita e si concluda con la morte

e quindi chatGPT faceva morire Pelé in una certa data (malgrado allora fosse ancora vivo).

Detto altrimenti: statisticamente, una biografia può finire solo in un modo.