July 24, 2023
6:31 p.m.
La stima di 10^23 FLOPS, come qualcuno ha capito, è il conto totale dei FLOPS necessari per allenare GPT-3. Si tratta di stime, riportate ad esempio su https://www.hyro.ai/glossary/gpt-3/#:~:text=To%20be%20exact%2C%20GPT%2D3,amo...., e riguardano le risorse necessarie per UN SINGOLO run. I costi complessivi delle risorse sono stimati in diverse centinaia di milioni di $, in quanto occorrono diversi run ...
Il link purtroppo non aiuta (conferma solo il 10^23 moltiplicandolo per 3,14), ma, quanti sarebbero questi "training run" ? 10/100/1000 ? Vengono eseguite in parallelo? Una di seguito all'altra? E se fosse così, perché non indicare il totale generale? Sarebbe un numero ancora maggiore, 10^24, 10^25 ... Antonio