C’è tutta un’area di ricerca, che passa sotto il nome di BERTology, che analizza la questione e si dimostra ad esempio che dalle relazioni presenti nella matrici di attention delle frasi, si può ricavare l’intero albero sintattico della frase:
https://aclanthology.org/N19-1419.pdf

Le relazioni sintattiche sono anche più semplici, basta guardare nell’intorno dello spazio di termini che hanno solo funzioni sintattiche, come preposizioni o avverbi.

Anche di questo parlo nel mio corso,

— Beppe

On 13 Oct 2023, at 17:04, Giacomo Tesio <giacomo@tesio.it> wrote:


sono le centinaia di sfumature/sfaccettature che tratteggiano le
caratteristiche di una parola, sia semantiche che sintattiche o
chissà che altro.

Un interpretazione molto romantica... ma priva di fondamento.

Per poter affermare che si tratti di "sfumature/sfaccettature che
tratteggiano le caratteristiche di una parola, sia semantiche che
sintattiche" devi essere in grado di spiegare a QUALE
sfumatura/sfaccettatura semantica/grammaticale ciascun
numero di ciascun vettore (word embedding) corrisponde.

Insomma... dei far sparire quel "chissà che altro"   ;-)