On Sat, Jun 08, 2019 at 09:26:34PM +0200, Giacomo Tesio wrote:
Scusate, ma solo a me 8 milioni di pagine web sembrano un po' poco calibrare per 1.5 miliardi di parametri?
Non conosco la topologia della rete in questione, ma in generale non c'è correlazione, dato che la maggior parte dei parametri vengono calibrati in parallelo (e quindi ognuno --- 1 parametro --- su 8 milioni di pagine). Il "tanto" o "poco" relativo alla dimensione del campione di allenamento è comunque fuorviante; il punto è se la capacità di "memoria" della rete (semplifico) è sufficiente per catturare l'informazione estraibile dal campione usato per il training o meno. -- Stefano Zacchiroli . zack@upsilon.cc . upsilon.cc/zack . . o . . . o . o Computer Science Professor . CTO Software Heritage . . . . . o . . . o o Former Debian Project Leader & OSI Board Director . . . o o o . . . o . « the first rule of tautology club is the first rule of tautology club »