MLP dans les Transformers — où sont stockés les faits

Bienvenue dans le chapitre 9 ! Au chapitre 8, tu as vu comment l'attention permet aux vecteurs des mots de communiquer. Ici, on ouvre l'autre grande partie du Transformer : les MLP (Multi-Layer Perceptrons). C'est là que réside la majorité des paramètres du modèle et une grande partie de sa capacité à « stocker » des faits (par exemple associer une personne à son métier). Avec les chapitres 6 à 8, tu as maintenant une vue complète du Transformer. Le chapitre 10 change de domaine : on y parle d’IA images et vidéos (texte → image ou vidéo).

Le Transformer enchaîne un grand nombre de blocs. Chaque bloc contient d'abord un bloc d'attention (chapitre 8), puis un MLP. L'entrée du MLP est la séquence de vecteurs déjà enrichie par l'attention (E' = E + ΔE). Le MLP applique à chaque vecteur, en parallèle, la même séquence d'opérations (W↑, biais, ReLU, W↓, biais), puis ajoute le résultat au vecteur. La sortie du bloc est donc E' + sortie_MLP.

L'attention permet aux vecteurs de communiquer entre eux (contexte). Les blocs MLP, eux, traitent chaque vecteur indépendamment : aucun échange d'information entre les vecteurs à l'intérieur du MLP. Chaque vecteur traverse les mêmes opérations (W↑, ReLU, W↓) en parallèle, mais sans recevoir d'info des autres positions. C'est une capacité de stockage pur : le modèle peut y encoder des associations du type « cette personne → ce métier » (ex. Thomas Pesquet → astronaute).

Pour l'exemple « Thomas Pesquet », on suppose qu'un bloc d'attention en amont a déjà transmis l'info au token « Pesquet » pour que son vecteur encode les deux noms ; le MLP peut alors « reconnaître » ce vecteur et y ajouter la direction « astronaute ».

Le vecteur d'entrée E est multiplié par une grande matrice, notée W↑ (projection vers le haut), puis on ajoute un vecteur biais B↑. Chaque ligne de W↑ peut être vue comme une « question » : le produit scalaire entre cette ligne et E donne un nombre. Si une ligne vaut la direction « Thomas » + « Pesquet », alors pour un vecteur qui encode Thomas Pesquet, le produit scalaire vaut 2 (1+1) ; pour « Thomas » seul ou « Pesquet » seul, il vaut au plus 1. En ajoutant un biais de −1 sur cette composante, on obtient 1 uniquement pour « Thomas Pesquet », et 0 ou moins sinon. Cela prépare le « oui/non » pour la ReLU.

Après W↑ + B↑, on obtient un grand vecteur. Pour avoir un vrai « oui/non » (et éviter que « Thomas » seul ou « Pesquet » seul déclenche le même effet que « Thomas Pesquet »), on applique la ReLU : toute valeur négative devient 0, toute valeur positive reste inchangée. C'est une porte logique « ET » en quelque sorte : il faut que la somme (produit scalaire − biais) soit positive. La ReLU n'a aucun paramètre (0). Les valeurs en sortie de la ReLU sont ce qu'on appelle les neurones : un neurone est actif si sa valeur est positive, inactif si elle est nulle. Les modèles utilisent parfois GELU, une variante plus lisse.

Le vecteur de neurones (après ReLU) est multiplié par une deuxième matrice, W↓ (projection vers le bas), qui ramène à la dimension de l'embedding. On peut voir les colonnes de W↓ comme des directions dans l'espace des embeddings. Si le neurone i est actif (valeur > 0), on ajoute la colonne i (éventuellement pondérée) au résultat ; s'il est inactif (0), cette colonne ne contribue pas. Ainsi, pour « Thomas Pesquet », si le premier neurone est actif, la première colonne (qui peut coder la direction « astronaute ») est ajoutée au vecteur. Les autres colonnes codent d'autres associations (ex. ISS, Proxima).

Le résultat de la dernière étape (W↓ + B↓) n'est pas envoyé seul vers la suite : il est additionné au vecteur E qui était entré dans le MLP. La sortie du bloc MLP est donc E + (résultat des 3 étapes). C'est la connexion résiduelle (residual connection). Ainsi, si le vecteur encodait « Thomas Pesquet », après le MLP il encode « Thomas Pesquet » + direction « astronaute » (et éventuellement d'autres directions selon les neurones actifs).

Pour GPT-3, la matrice W↑ a environ 50 000 lignes et 12 288 colonnes (taille de l'embedding), soit environ 604 millions de paramètres. La matrice W↓ a la forme transposée : environ 604 millions aussi. Par bloc MLP, on a donc environ 1,2 milliard de paramètres. Il y a 96 blocs dans GPT-3, donc environ 116 milliards de paramètres dans tous les MLP, soit environ deux tiers du total (175 milliards). Les étapes de normalisation (LayerNorm) ajoutent quelques dizaines de milliers de paramètres, négligeables. Le nombre d'activations de neurones par bloc est 50 000 × (nombre de tokens), le tout en parallèle.

En géométrie, dans un espace à n dimensions on ne peut placer au plus n vecteurs parfaitement perpendiculaires. Mais si on accepte des directions presque perpendiculaires (par ex. à 85° l'une de l'autre), en haute dimension on peut en placer beaucoup plus — la capacité croît de façon exponentielle avec le nombre de dimensions (lemme de Johnson-Lindenstrauss). Les LLM exploitent cette idée : les « neurones » du MLP ne correspondent donc pas chacun à un concept unique et lisible (comme « Thomas Pesquet »). Les concepts sont en superposition : plusieurs concepts partagent les mêmes neurones. C'est pourquoi l'interprétabilité est difficile et pourquoi les modèles « scale » si bien : un espace un peu plus grand peut stocker bien plus que proportionnellement plus de concepts.

Tu as vu comment fonctionne un bloc MLP dans un Transformer : (1) Projection vers le haut : E × W↑ + B↑, chaque ligne = une « question » ; (2) ReLU : négatif → 0, positif inchangé, comportement type ET, 0 paramètre ; (3) Projection vers le bas : × W↓ + B↓, chaque colonne = une direction à ajouter si le neurone est actif. Le résultat est ajouté à E (connexion résiduelle). Les vecteurs ne s'échangent pas d'information dans le MLP ; c'est une capacité de stockage massive. La majorité des paramètres de GPT-3 sont dans les MLP (~116 milliards). La superposition permet d'encoder bien plus de concepts que de dimensions, au prix d'une interprétabilité difficile.