Sept. 6, 2024
6:48 a.m.
D'accordo su tutto, ma io sono ancora più "critico"
Even if the weights are handy to modify an AI system, they are in no way enough to study it.
No, i pesi non sono sufficienti per modificare (e ovviamente creare qualcosa di sensato). A questo sono arrivato solo costruendomi, l'anno scorso, un microLM. https://github.com/opensignature/stories/tree/main I pesi, tutti nel file story.h, sono poco più di 250000, niente a confronto dei miliardi degli LLM. Eppure dubito che si riesca a modificarli per ottenere qualcosa di altrettanto funzionante. Il "peso" è il risultato di una serie di operazioni matematiche irreversibili, se li modifichi ottieni frasi senza senso, parole (composte da token) senza senso, ecc. A.