Large language models reduce public knowledge sharing on online Q&A platforms
Large language models (LLMs) are a potential substitute for human-generated data and knowledge resources. This substitution, however, can present a significant problem for the training data needed to develop future models if it leads to a reduction of human-generated content. In this work, we document a reduction in activity on Stack Overflow coinciding with the release of ChatGPT, a popular LLM. To test whether this reduction in activity is specific to the introduction of this LLM, we use counterfactuals involving similar human-generated knowledge resources that should not be affected by the introduction of ChatGPT to such extent. Within 6 months of ChatGPT’s release, activity on Stack Overflow decreased by 25% relative to its Russian and Chinese counterparts, where access to ChatGPT is limited, and to similar forums for mathematics, where ChatGPT is less capable. We interpret this estimate as a lower bound of the true impact of ChatGPT on Stack Overflow. The decline is larger for posts related to the most widely used programming languages. We find no significant change in post quality, measured by peer feedback, and observe similar decreases in content creation by more and less experienced users alike. Thus, LLMs are not only displacing duplicate, low-quality, or beginner-level content. Our findings suggest that the rapid adoption of LLMs reduces the production of public data needed to train them, with significant consequences. https://academic.oup.com/pnasnexus/article/3/9/pgae400/7754871 Com'era la favoletta che i LLM non competono sul mercato con i contenuti usati per programmarli statisticamente? Giacomo
la spiegazione in questo caso è semplice: i programmatori non cercano più le soluzioni ai loro problemi su stackoverflow, perché le ottengono più facilmente dai LLM se ne discute anche su quella piattaforma [link <https://meta.stackoverflow.com/questions/422392/chatgpt-seems-to-be-better-t...> ] chi mette contenuto su stackoverflow, lo fa perché le soluzioni migliori vengono votate, e il ranking che uno sviluppatore ottiene su quella piattaforma è un'ottima referenza professionale venendo meno il meccanismo di rewarding, viene meno il motivo di fornire contenuti alla piattaforma per cui sì, gli LLM 'uccidono' alcuni business, ma caso per caso, in relazione a specifici business model: la generalizzazione è indebita non è chiaro se prosciugando la 'sorgente umana' delle soluzioni di programmazione, i co-programmatori automatici stanno in realtà segando il ramo sul quale sono seduti, o se riusciranno ad auto-alimentarsi, o impareranno in qualche misura a ragionare con la testa loro - almeno sugli if-then-else, perbacco! buona giornata, G. On Mon, 14 Oct 2024 at 23:57, Giacomo Tesio <giacomo@tesio.it> wrote:
Large language models (LLMs) are a potential substitute for human-generated data and knowledge resources. This substitution, however, can present a significant problem for the training data needed to develop future models if it leads to a reduction of human-generated content. In this work, we document a reduction in activity on Stack Overflow coinciding with the release of ChatGPT, a popular LLM. To test whether this reduction in activity is specific to the introduction of this LLM, we use counterfactuals involving similar human-generated knowledge resources that should not be affected by the introduction of ChatGPT to such extent. Within 6 months of ChatGPT’s release, activity on Stack Overflow decreased by 25% relative to its Russian and Chinese counterparts, where access to ChatGPT is limited, and to similar forums for mathematics, where ChatGPT is less capable. We interpret this estimate as a lower bound of the true impact of ChatGPT on Stack Overflow. The decline is larger for posts related to the most widely used programming languages. We find no significant change in post quality, measured by peer feedback, and observe similar decreases in content creation by more and less experienced users alike. Thus, LLMs are not only displacing duplicate, low-quality, or beginner-level content. Our findings suggest that the rapid adoption of LLMs reduces the production of public data needed to train them, with significant consequences.
https://academic.oup.com/pnasnexus/article/3/9/pgae400/7754871
Com'era la favoletta che i LLM non competono sul mercato con i contenuti usati per programmarli statisticamente?
Giacomo
Volevo condividere con voi, che a differenza mia siete esperti del tema, come ho deciso di utilizzare ChatGPT e l'IA per la didattica. Ai miei corsi di laurea magistrale, quindi con 30/40 studenti, da sempre riesco a farli lavorare per task su un paper scientifico: 1. descrizione, 2. punti di forza, 3. punti di debolezza, 4. implicazioni applicative. Con queste indicazioni devono preparare un breve doc e un ppt da presentare in aula. Nel farlo, devono attingere ai temi del corso e alla letteratura. L'avvento di ChatGPT et similia cambia le regole del gioco. Ho quindi deciso di introdurre questi strumenti in modo esplicito nel corso: i 4 task di cui sopra vengono chiesti anche a ChatGPT e ad altri tools (da me), per ogni paper distribuito ai singoli gruppi di lavoro. Il risultato viene poi condiviso in anticipo con gli studenti e rappresenta il... 18/30, quindi la baseline. Condivido così in modo esplicito una base comune e loro devono dimostrare, come in effetti è, di apportare un valore aggiunto e specifico rispetto al machine learning. ciao fb Il giorno mar 15 ott 2024 alle ore 07:19 Guido Vetere < vetere.guido@gmail.com> ha scritto:
la spiegazione in questo caso è semplice: i programmatori non cercano più le soluzioni ai loro problemi su stackoverflow, perché le ottengono più facilmente dai LLM se ne discute anche su quella piattaforma [link <https://meta.stackoverflow.com/questions/422392/chatgpt-seems-to-be-better-t...> ] chi mette contenuto su stackoverflow, lo fa perché le soluzioni migliori vengono votate, e il ranking che uno sviluppatore ottiene su quella piattaforma è un'ottima referenza professionale venendo meno il meccanismo di rewarding, viene meno il motivo di fornire contenuti alla piattaforma per cui sì, gli LLM 'uccidono' alcuni business, ma caso per caso, in relazione a specifici business model: la generalizzazione è indebita non è chiaro se prosciugando la 'sorgente umana' delle soluzioni di programmazione, i co-programmatori automatici stanno in realtà segando il ramo sul quale sono seduti, o se riusciranno ad auto-alimentarsi, o impareranno in qualche misura a ragionare con la testa loro - almeno sugli if-then-else, perbacco!
buona giornata, G.
On Mon, 14 Oct 2024 at 23:57, Giacomo Tesio <giacomo@tesio.it> wrote:
Large language models (LLMs) are a potential substitute for human-generated data and knowledge resources. This substitution, however, can present a significant problem for the training data needed to develop future models if it leads to a reduction of human-generated content. In this work, we document a reduction in activity on Stack Overflow coinciding with the release of ChatGPT, a popular LLM. To test whether this reduction in activity is specific to the introduction of this LLM, we use counterfactuals involving similar human-generated knowledge resources that should not be affected by the introduction of ChatGPT to such extent. Within 6 months of ChatGPT’s release, activity on Stack Overflow decreased by 25% relative to its Russian and Chinese counterparts, where access to ChatGPT is limited, and to similar forums for mathematics, where ChatGPT is less capable. We interpret this estimate as a lower bound of the true impact of ChatGPT on Stack Overflow. The decline is larger for posts related to the most widely used programming languages. We find no significant change in post quality, measured by peer feedback, and observe similar decreases in content creation by more and less experienced users alike. Thus, LLMs are not only displacing duplicate, low-quality, or beginner-level content. Our findings suggest that the rapid adoption of LLMs reduces the production of public data needed to train them, with significant consequences.
https://academic.oup.com/pnasnexus/article/3/9/pgae400/7754871
Com'era la favoletta che i LLM non competono sul mercato con i contenuti usati per programmarli statisticamente?
Giacomo
-- Professor of Economic Sociology CPS Department University of Torino https://unito.webex.com/meet/filippo.barbera NEW!!!! 2023 Le piazza vuote. Riprendiamo gli spazi della politica, Bari, Laterza
Salve Filippo, lavoro interessante. A me sembra tutto ragionevole fino qui: On Tue, 15 Oct 2024 07:28:04 +0200 Filippo Barbera wrote:
lavorare per task su un paper scientifico: 1. descrizione, 2. punti di forza, 3. punti di debolezza, 4. implicazioni applicative. [...]
[l'output dei LLM] rappresenta il... 18/30, quindi la baseline.
se fossi uno dei tuoi studenti, mi sentirei profondamente offeso di essere confrontato con una macchina. Sarebbe alienante e aberrante. Il fatto che l'output di un software programmato statisticamente che contiene una compressione lossy della letteratura corrisponda alla sufficienza per il tuo esame, squalificherebbe istantaneamente il tuo corso agli occhi di chiunque comprenda come funzioni un LLM. Probabilmente, se costretto a frequentarlo, farei tutto il possibile per prendere esattamente 18/30, come forma di protesta. Il che peraltro sarebbe molto facile: basterebbe riproporre verbatim gli output che tu stesso hai fornito in anticipo, senza nemmeno iscrivermi ad uno dei sistemi di sorveglianza che hai scelto. Mi troveresti lì, con aria vagamente sprezzante, a pretendere l'applicazione meccanica ed alienante (per te) della baseline meccanica ed alientante che proponi ai tuoi studenti. Diverso sarebbe se usassi l'output dei LLM (senza condividerlo in anticipo) per TOGLIERE punti a chi ne riporta gli argomenti per i punti 2, 3 e 4. Questa sarebbe una verifica con utile: misureresti quanto i tuoi studenti hanno imparato a produrre osservazioni intelligenti. Giacomo
Grazie ggiacomo per il commento Che però non trova riscontro nella reazione degli studenti, che è stata esattamente l’opposto di quella ipotizzata nella tua mail. Perché proprio messi esplicitamente a confronto con una macchina, hanno manifestato il bisogno di marcare la loro differenza. L’idea è proprio quella di introdurre i sistemi di intelligenza artificiale in un patto formativo ex ante, piuttosto che usarli ex post come dici tu. Oltre al vantaggio della negoziazione trasparente, l’uso ex ante minimizza i costi di controllo che invece l’ex post potrebbe far esplodere facilmente. Senza contare i rischi di errore. Comunque questa è solo la reazione degli studenti alla proposta, per il risultato devo ovviamente aspettare l’esame Ciao Filippo Il giorno martedì 15 ottobre 2024, Giacomo Tesio <giacomo@tesio.it> ha scritto:
Salve Filippo, lavoro interessante.
A me sembra tutto ragionevole fino qui:
On Tue, 15 Oct 2024 07:28:04 +0200 Filippo Barbera wrote:
lavorare per task su un paper scientifico: 1. descrizione, 2. punti di forza, 3. punti di debolezza, 4. implicazioni applicative. [...]
[l'output dei LLM] rappresenta il... 18/30, quindi la baseline.
se fossi uno dei tuoi studenti, mi sentirei profondamente offeso di essere confrontato con una macchina. Sarebbe alienante e aberrante.
Il fatto che l'output di un software programmato statisticamente che contiene una compressione lossy della letteratura corrisponda alla sufficienza per il tuo esame, squalificherebbe istantaneamente il tuo corso agli occhi di chiunque comprenda come funzioni un LLM.
Probabilmente, se costretto a frequentarlo, farei tutto il possibile per prendere esattamente 18/30, come forma di protesta. Il che peraltro sarebbe molto facile: basterebbe riproporre verbatim gli output che tu stesso hai fornito in anticipo, senza nemmeno iscrivermi ad uno dei sistemi di sorveglianza che hai scelto.
Mi troveresti lì, con aria vagamente sprezzante, a pretendere l'applicazione meccanica ed alienante (per te) della baseline meccanica ed alientante che proponi ai tuoi studenti.
Diverso sarebbe se usassi l'output dei LLM (senza condividerlo in anticipo) per TOGLIERE punti a chi ne riporta gli argomenti per i punti 2, 3 e 4.
Questa sarebbe una verifica con utile: misureresti quanto i tuoi studenti hanno imparato a produrre osservazioni intelligenti.
Giacomo
-- Professor of Economic Sociology CPS Department University of Torino https://unito.webex.com/meet/filippo.barbera NEW!!!! 2023 Le piazza vuote. Riprendiamo gli spazi della politica, Bari, Laterza
Ciao Filippo, scusa non devo essere stato particolarmente chiaro. On Tue, 15 Oct 2024 10:26:09 +0200 Filippo Barbera <filippo.barbera@unito.it> wrote:
L’idea è proprio quella di introdurre i sistemi di intelligenza artificiale in un patto formativo ex ante, piuttosto che usarli ex post come dici tu.
Ho effettivamente dato per scontato il fatto che gli studenti fossero informati prima che il loro lavoro sarebbe stato valutato ANCHE sulla base della presenza di argomenti forniti dalle macchine. Sottolineo ora "ANCHE", per chiarire che il compito e la responsabilità di valutare il loro operato deve comunque restare ai docenti. Cosa che però, a ben guardare, non è necessaria nel caso del tuo corso: se una macchina può valutare la sufficienza (confrontandola con una baseline prodotta da un LLM) non vedo perché non possa attribuire gli altri voti, sulla base delle deviazioni statistiche rispetto alla baseline. E chissà che non possa essere affidato allora ad un LLM il lavoro del docente universitario stesso, virtualizzato e comodamente fruibile da casa sul proprio tablet. Pensa ai risparmi per l'università! E per gli studenti, che non avrebbero bisogno di affittare nei dintorni. E poi è green: meno spostamenti! Win-win, giusto?
Che però non trova riscontro nella reazione degli studenti, che è stata esattamente l’opposto di quella ipotizzata nella tua mail.
Beh, non gliene farei una colpa: sono giovani, devono ancora imparare come riconoscere e resistere a certe dinamiche oppressive.
Perché proprio messi esplicitamente a confronto con una macchina, hanno manifestato il bisogno di marcare la loro differenza.
E in quale mondo distopico tale "bisogno" è un successo educativo?
Comunque questa è solo la reazione degli studenti alla proposta, per il risultato devo ovviamente aspettare l’esame
Tienici aggiornati. Così sapremo se sei riuscito a renderli... macchine migliori. Giacomo
Buongiorno, mi sembra un ottimo esempio, a riprova che, chi si ritiene "non esperto" su una tecnologia, in realtà, se conosce il contesto al quale poterla applicare, pensa a nuovi casi d'uso e a come impiegarla per aumentare il valore di quel che ha fatto finora ;-) P Da "nexa" nexa-bounces@server-nexa.polito.it A "Guido Vetere" vetere.guido@gmail.com Cc nexa@server-nexa.polito.it Data Tue, 15 Oct 2024 07:28:04 +0200 Oggetto Re: [nexa] Large language models reduce public knowledge sharing on online Q&A platforms Volevo condividere con voi, che a differenza mia siete esperti del tema, come ho deciso di utilizzare ChatGPT e l'IA per la didattica. Ai miei corsi di laurea magistrale, quindi con 30/40 studenti, da sempre riesco a farli lavorare per task su un paper scientifico: 1. descrizione, 2. punti di forza, 3. punti di debolezza, 4. implicazioni applicative. Con queste indicazioni devono preparare un breve doc e un ppt da presentare in aula. Nel farlo, devono attingere ai temi del corso e alla letteratura. L'avvento di ChatGPT et similia cambia le regole del gioco. Ho quindi deciso di introdurre questi strumenti in modo esplicito nel corso: i 4 task di cui sopra vengono chiesti anche a ChatGPT e ad altri tools (da me), per ogni paper distribuito ai singoli gruppi di lavoro. Il risultato viene poi condiviso in anticipo con gli studenti e rappresenta il... 18/30, quindi la baseline. Condivido così in modo esplicito una base comune e loro devono dimostrare, come in effetti è, di apportare un valore aggiunto e specifico rispetto al machine learning. ciao fb Il giorno mar 15 ott 2024 alle ore 07:19 Guido Vetere <vetere.guido@gmail.com> ha scritto: la spiegazione in questo caso è semplice: i programmatori non cercano più le soluzioni ai loro problemi su stackoverflow, perché le ottengono più facilmente dai LLM se ne discute anche su quella piattaforma [link] chi mette contenuto su stackoverflow, lo fa perché le soluzioni migliori vengono votate, e il ranking che uno sviluppatore ottiene su quella piattaforma è un'ottima referenza professionale venendo meno il meccanismo di rewarding, viene meno il motivo di fornire contenuti alla piattaforma per cui sì, gli LLM 'uccidono' alcuni business, ma caso per caso, in relazione a specifici business model: la generalizzazione è indebita non è chiaro se prosciugando la 'sorgente umana' delle soluzioni di programmazione, i co-programmatori automatici stanno in realtà segando il ramo sul quale sono seduti, o se riusciranno ad auto-alimentarsi, o impareranno in qualche misura a ragionare con la testa loro - almeno sugli if-then-else, perbacco! buona giornata, G. On Mon, 14 Oct 2024 at 23:57, Giacomo Tesio <giacomo@tesio.it> wrote: Large language models (LLMs) are a potential substitute for human-generated data and knowledge resources. This substitution, however, can present a significant problem for the training data needed to develop future models if it leads to a reduction of human-generated content. In this work, we document a reduction in activity on Stack Overflow coinciding with the release of ChatGPT, a popular LLM. To test whether this reduction in activity is specific to the introduction of this LLM, we use counterfactuals involving similar human-generated knowledge resources that should not be affected by the introduction of ChatGPT to such extent. Within 6 months of ChatGPT’s release, activity on Stack Overflow decreased by 25% relative to its Russian and Chinese counterparts, where access to ChatGPT is limited, and to similar forums for mathematics, where ChatGPT is less capable. We interpret this estimate as a lower bound of the true impact of ChatGPT on Stack Overflow. The decline is larger for posts related to the most widely used programming languages. We find no significant change in post quality, measured by peer feedback, and observe similar decreases in content creation by more and less experienced users alike. Thus, LLMs are not only displacing duplicate, low-quality, or beginner-level content. Our findings suggest that the rapid adoption of LLMs reduces the production of public data needed to train them, with significant consequences. https://academic.oup.com/pnasnexus/article/3/9/pgae400/7754871 Com'era la favoletta che i LLM non competono sul mercato con i contenuti usati per programmarli statisticamente? Giacomo -- Professor of Economic Sociology CPS Department University of Torino https://unito.webex.com/meet/filippo.barbera NEW!!!! 2023 Le piazza vuote. Riprendiamo gli spazi della politica, Bari, Laterza
Grazie Guido, On Tue, 15 Oct 2024 07:19:16 +0200 Guido Vetere wrote:
se ne discute anche su quella piattaforma [link <https://meta.stackoverflow.com/questions/422392/chatgpt-seems-to-be-better-t...>
una lettura davvero interessante... e a suo modo divertente.
i programmatori non cercano più le soluzioni ai loro problemi su stackoverflow, perché le ottengono più facilmente dai LLM
Peccato che siano spesso sbagliate... Spero solo non capiti mai a me o alle persone che amo di doverne subire il software. Sono già abbastanza sfigato da incappare sistematicamente in corner case bacati quando il codice lo scrivono persone intelligenti... ok, a volte c'è un compilatore di mezzo, ma per quanto pedante, è improbabile che riesca a beccare qualsiasi baco che un LLM (che non comprende né il prompt, né l'output) possa introdurre. Giacomo
Peccato che siano spesso sbagliate...
peccato che Don Knuth abbia superato l'ottantina - che Iddio lo preservi - e non possiamo mandargli gli snippet :-) è inutile stare qui a fare aneddotica, sono le masse (di programmatori) che decideranno per loro. se non sono cretini (e mediamente non lo sono) giudicheranno pros e cons a loro discrezione e piacimento, in fondo è gente che lavora G. On Tue, 15 Oct 2024 at 09:50, Giacomo Tesio <giacomo@tesio.it> wrote:
Grazie Guido,
On Tue, 15 Oct 2024 07:19:16 +0200 Guido Vetere wrote:
se ne discute anche su quella piattaforma [link < https://meta.stackoverflow.com/questions/422392/chatgpt-seems-to-be-better-t...
una lettura davvero interessante... e a suo modo divertente.
i programmatori non cercano più le soluzioni ai loro problemi su stackoverflow, perché le ottengono più facilmente dai LLM
Peccato che siano spesso sbagliate...
Spero solo non capiti mai a me o alle persone che amo di doverne subire il software. Sono già abbastanza sfigato da incappare sistematicamente in corner case bacati quando il codice lo scrivono persone intelligenti... ok, a volte c'è un compilatore di mezzo, ma per quanto pedante, è improbabile che riesca a beccare qualsiasi baco che un LLM (che non comprende né il prompt, né l'output) possa introdurre.
Giacomo
Eh, Guido... come vorrei avere il tuo ottimismo! On Tue, 15 Oct 2024 10:54:15 +0200 Guido Vetere wrote:
è inutile stare qui a fare aneddotica, sono le masse (di programmatori) che decideranno per loro.
se non sono cretini (e mediamente non lo sono) giudicheranno pros e cons a loro discrezione e piacimento, in fondo è gente che lavora
Io che ci lavoro ancora nell'informatica, purtroppo so bene che una gran parte di coloro che lavorano come programmatori ha enormi problemi a implementare da sé anche gli algoritmi più semplici. Ricordo ad esempio che non sono capaci a fare un left-pad: https://www.theregister.com/2016/03/23/npm_left_pad_chaos/ Ah se potessi dimenticarmene anche io... sarei molto più ottimista! Purtroppo per me la pensione è ancora così lontana... :°°°( Giacomo
La discussione su SO è interessante, anche se non chiaro come il primo post abbia un ranking di -21. A testimonianza che anche SO (e affiliati) possono essere degli aiuti o indicazioni, ma possono anche contenere risposte errate o fuorvianti. Oppure risposte che sono corrette in un dato contesto non sempre esplicito (es. versione di un linguaggio, data di pubblicazione), ma che al momento della fruizione potrebbero non più esserlo. On Tuesday, 15 October 2024 at 07:19, Guido Vetere <vetere.guido@gmail.com> wrote:
la spiegazione in questo caso è semplice: i programmatori non cercano più le soluzioni ai loro problemi su stackoverflow, perché le ottengono più facilmente dai LLM se ne discute anche su quella piattaforma [link] chi mette contenuto su stackoverflow, lo fa perché le soluzioni migliori vengono votate, e il ranking che uno sviluppatore ottiene su quella piattaforma è un'ottima referenza professionale venendo meno il meccanismo di rewarding, viene meno il motivo di fornire contenuti alla piattaforma per cui sì, gli LLM 'uccidono' alcuni business, ma caso per caso, in relazione a specifici business model: la generalizzazione è indebita non è chiaro se prosciugando la 'sorgente umana' delle soluzioni di programmazione, i co-programmatori automatici stanno in realtà segando il ramo sul quale sono seduti, o se riusciranno ad auto-alimentarsi, o impareranno in qualche misura a ragionare con la testa loro - almeno sugli if-then-else, perbacco!
buona giornata, G.
On Mon, 14 Oct 2024 at 23:57, Giacomo Tesio <giacomo@tesio.it> wrote:
Large language models (LLMs) are a potential substitute for human-generated data and knowledge resources. This substitution, however, can present a significant problem for the training data needed to develop future models if it leads to a reduction of human-generated content. In this work, we document a reduction in activity on Stack Overflow coinciding with the release of ChatGPT, a popular LLM. To test whether this reduction in activity is specific to the introduction of this LLM, we use counterfactuals involving similar human-generated knowledge resources that should not be affected by the introduction of ChatGPT to such extent. Within 6 months of ChatGPT’s release, activity on Stack Overflow decreased by 25% relative to its Russian and Chinese counterparts, where access to ChatGPT is limited, and to similar forums for mathematics, where ChatGPT is less capable. We interpret this estimate as a lower bound of the true impact of ChatGPT on Stack Overflow. The decline is larger for posts related to the most widely used programming languages. We find no significant change in post quality, measured by peer feedback, and observe similar decreases in content creation by more and less experienced users alike. Thus, LLMs are not only displacing duplicate, low-quality, or beginner-level content. Our findings suggest that the rapid adoption of LLMs reduces the production of public data needed to train them, with significant consequences.
https://academic.oup.com/pnasnexus/article/3/9/pgae400/7754871
Com'era la favoletta che i LLM non competono sul mercato con i contenuti usati per programmarli statisticamente?
Giacomo
participants (5)
-
B. J. -
Filippo Barbera -
Giacomo Tesio -
Guido Vetere -
Paolo Caressa