C’è tutta un’area di ricerca, che passa sotto il nome di BERTology, che analizza la questione e si dimostra ad esempio che dalle relazioni presenti nella matrici di attention delle frasi, si può ricavare l’intero albero sintattico della frase: https://aclanthology.org/N19-1419.pdf Le relazioni sintattiche sono anche più semplici, basta guardare nell’intorno dello spazio di termini che hanno solo funzioni sintattiche, come preposizioni o avverbi. Anche di questo parlo nel mio corso, — Beppe
On 13 Oct 2023, at 17:04, Giacomo Tesio <giacomo@tesio.it> wrote:
sono le centinaia di sfumature/sfaccettature che tratteggiano le caratteristiche di una parola, sia semantiche che sintattiche o chissà che altro.
Un interpretazione molto romantica... ma priva di fondamento.
Per poter affermare che si tratti di "sfumature/sfaccettature che tratteggiano le caratteristiche di una parola, sia semantiche che sintattiche" devi essere in grado di spiegare a QUALE sfumatura/sfaccettatura semantica/grammaticale ciascun numero di ciascun vettore (word embedding) corrisponde.
Insomma... dei far sparire quel "chissà che altro" ;-)