🧠 Comment fonctionnent les IA ?

Bienvenue dans le chapitre 6 ! C'est à la fois la suite des chapitres précédents — même site, même façon d'expliquer comment une machine apprend en ajustant des paramètres (comme au chapitre 1 à 5) — et une partie à part : on entre dans le monde des grands modèles de langage (LLM), ceux qui pilotent les chatbots. Ici, plus d'images ni de pixels : un LLM travaille uniquement sur du texte. Il reçoit une séquence de mots (ou de tokens, les unités de base du texte pour le modèle), et il prédit le mot — ou token — suivant. Les chatbots répètent cette prédiction encore et encore pour générer des réponses.

Pour obtenir un chatbot, on commence par fixer un texte qui décrit l'interaction entre un utilisateur et un assistant IA fictif. On y ajoute la question que tape l'utilisateur. Puis le modèle prédit mot après mot (token après token) ce que cet assistant fictif répondrait — et c'est cette suite qui s'affiche à l'écran. Quand tu discutes avec un chatbot, c'est exactement ce qui se passe. Comment le texte devient des nombres (tokens, embedding) et comment on obtient les probabilités ? On en reparlera plus en détail au chapitre 7. L’attention et les MLP seront détaillés aux chapitres 8 et 9.

Un LLM ne travaille pas sur des images. Son entrée est toujours du texte : une séquence de tokens (mots ou parties de mots) convertis en nombres par le modèle. Son sortie est une distribution de probabilités : pour chaque token possible, le modèle indique à quel point il est probable comme suite du texte. On choisit un token (souvent en tirant au sort selon ces probabilités), on l'ajoute au texte, et on recommence. C'est ainsi que le chatbot « écrit » sa réponse, token après token.

Comme dans les chapitres 1 à 5, le modèle « apprend » en ajustant des paramètres (rétropropagation, descente de gradient, etc.). La différence : ici tout se fait sur du langage — entrée et sortie sont du texte (tokens), pas des pixels ni des chiffres écrits à la main.

Malgré l'apparente intelligence de ses réponses, un LLM ne « comprend » pas ta question au sens humain. C'est une fonction statistique monumentale.

« Un grand modèle de langage (LLM) est une fonction mathématique sophistiquée qui prédit le mot suivant pour n'importe quel morceau de texte. »

Plutôt que de choisir un seul mot avec une certitude absolue, le modèle attribue une probabilité à tous les mots possibles. Par exemple, après avoir reçu « Peux-tu expliquer... un semi-conducteur... », la machine peut calculer que le mot « utilisé » est une suite très probable. En répétant ce processus de prédiction sur chaque nouveau mot généré, elle construit des paragraphes entiers qui semblent rédigés par un humain.

Si l'on s'en tenait strictement aux mathématiques, la machine devrait toujours choisir le mot ayant le score de probabilité le plus élevé. Mais le résultat serait souvent rigide et mécanique. Pour que le langage paraisse plus fluide et organique, les modèles sont configurés pour sélectionner parfois, de manière aléatoire, des mots dont la probabilité est un peu plus faible.

C'est ce qui crée un pont entre la rigueur mathématique et la fluidité humaine : bien que le modèle lui-même soit déterministe, cette sélection aléatoire fait qu'un même prompt donnera généralement une réponse différente à chaque exécution. C'est cette part d'aléa contrôlé qui évite à l'IA de paraître trop prévisible.

L'adjectif « Large » (grand) dans LLM n'est pas une figure de style. Il décrit une démesure de données et de calculs qui échappe à l'intuition humaine. Pour GPT-3 et ses successeurs comme GPT-4, les ordres de grandeur sont vertigineux :

• L'échelle de lecture : Pour qu'un humain puisse lire la quantité de texte utilisée pour entraîner GPT-3, il lui faudrait lire 24 h/24 sans interruption pendant plus de 2 600 ans.
• L'échelle de calcul : Si tu pouvais effectuer un milliard d'opérations mathématiques (additions et multiplications) chaque seconde, il te faudrait plus de 100 millions d'années pour réaliser l'ensemble des calculs nécessaires à l'entraînement des plus grands modèles actuels.

Cette puissance sert à ajuster des centaines de milliards de paramètres (poids), qu'on peut imaginer comme autant de curseurs sur une machine géante définissant les probabilités de chaque mot. Une telle quantité de calculs n'est possible que grâce à des puces spécialisées optimisées pour effectuer des millions d'opérations en parallèle : les GPU (processeurs graphiques), qui permettent d'entraîner les plus grands modèles en un temps réaliste.

Avant 2017, les modèles traitaient le texte mot après mot. Tout a changé avec l'invention du Transformer par des chercheurs de Google. Contrairement à leurs prédécesseurs, les Transformers absorbent l'intégralité d'un texte d'un seul coup, en parallèle.

Le processus commence par une étape cruciale : chaque mot est associé à une longue liste de nombres (des vecteurs). C'est indispensable, car l'entraînement mathématique ne peut travailler qu'avec des valeurs continues. Ensuite, deux opérations majeures entrent en jeu :

• L'Attention : Elle permet à ces listes de nombres de « communiquer » entre elles pour affiner leur sens selon le contexte. Par exemple, le mot « banque » verra sa représentation numérique modifiée si les mots environnants sont « rivière » et « sauter dans », pour encoder la notion de rive.
• Le réseau à propagation avant (feed-forward / MLP) : Il offre au modèle une capacité supplémentaire pour stocker les motifs linguistiques complexes appris durant l'entraînement.

Les données parcourent de nombreuses fois ces deux opérations. À la fin, une dernière fonction est appliquée au dernier vecteur de la séquence (enrichi par tout le contexte et tout ce que le modèle a appris) pour produire la prédiction : une probabilité pour chaque mot suivant possible.

L'aspect le plus fascinant des LLM est qu'aucun programmeur ne dicte les règles de grammaire ou de logique au modèle. Au début, les paramètres sont réglés au hasard et la machine ne produit que du charabia.

L'apprentissage se fait via un algorithme appelé rétropropagation (backpropagation). La machine tente de deviner le mot suivant d'un texte d'exemple, compare sa prédiction au vrai dernier mot du texte, puis ajuste ses milliards de curseurs pour réduire l'erreur. Après des trillions d'essais, des comportements sophistiqués « émergent ».

Comme ces réglages résultent de calculs massifs et non d'une programmation logique directe, il est devenu presque impossible pour les chercheurs de comprendre précisément pourquoi une prédiction spécifique est faite. Nous maîtrisons l'architecture, mais le résultat final reste, par bien des aspects, une boîte noire.

Derrière la fluidité de ton chatbot se cachent des trillions d'opérations mathématiques et un processus de finition appelé RLHF (Apprentissage par renforcement avec rétroaction humaine), où des opérateurs humains signalent les prédictions inutiles ou problématiques pour affiner le comportement du modèle.

Si une simple fonction mathématique visant à prédire statistiquement la suite d'un texte peut simuler la pensée et l'empathie, une question demeure : que reste-t-il de spécifiquement humain dans notre propre usage du langage ?

Le chatbot ne pense pas — il calcule la suite logique de ton histoire.