Transformers
trasformatori, un'architettura di rete neurale che ha rivoluzionato l'elaborazione del linguaggio naturale (NLP) e altre applicazioni.
Meccanismo di autoattenzione
I trasformatori utilizzano un meccanismo di autoattenzione per elaborare i dati testuali, che include la generazione di vettori di query, chiave e valore (Q, K, V).
I punteggi di attenzione vengono calcolati confrontando i vettori di query e chiave, permettendo al modello di pesare l'importanza di diverse parti della sequenza di input.
Meccanismo di attenzione incrociata
Per la generazione di immagini a partire da testo, i trasformatori impiegano un meccanismo di attenzione incrociata, dove le informazioni testuali influenzano la generazione di dati visivi.
Questo approccio consente di creare immagini originali basate su descrizioni testuali, come un "casa a due piani con un tetto rosso".
Vantaggi e limitazioni dei trasformatori
I trasformatori possono elaborare i dati in parallelo, accelerando notevolmente il processo di addestramento rispetto alle reti neurali ricorrenti (RNN).
Tuttavia, richiedono grandi quantità di dati per l'addestramento e possono ereditare i bias presenti nei dati di addestramento, rappresentando una delle loro principali limitazioni.
Laboratorio: Transformer con Keras
Last updated