🧠 Comment fonctionnent les IA ?

Bienvenue dans le chapitre approfondi 6. Tu as vu dans les chapitres précédents comment les réseaux profonds sont puissants mais difficiles à entraîner. Ici, on découvre des techniques qui permettent de les faire apprendre : les réseaux convolutionnels pour les images, puis la pratique (ReLU, données augmentées, dropout, ensembles), les idées de code, les progrès en reconnaissance d’images et d’autres modèles (réseaux récurrents, etc.).

Dans le chapitre approfondi 5, tu as vu que les réseaux très profonds sont difficiles à entraîner (gradients qui disparaissent ou explosent). Pourtant, on a de bonnes raisons de vouloir des réseaux avec plusieurs couches : ils peuvent apprendre des hiérarchies de concepts (pixels → traits → formes → objets). Ce chapitre présente des techniques qui rendent l’entraînement possible : les réseaux convolutionnels pour les images, l’utilisation de ReLU, la régularisation (dropout), l’augmentation des données et plus de calcul (GPU). Sur l’exemple MNIST, on peut atteindre une précision d’environ 99,6 % avec un ConvNet bien réglé.

Jusqu’ici, on a souvent représenté l’entrée comme une longue liste de neurones (ex. 784 pour une image 28×28). Chaque neurone de la couche cachée était connecté à tous les pixels. Du coup, le réseau ne « sait » pas que deux pixels voisins sur l’image sont proches : il traite un pixel en haut à gauche et un en bas à droite exactement de la même façon. Or, pour reconnaître des formes, les voisinages comptent (un trait, une boucle, un bord). Une architecture qui tient compte de cette structure spatiale peut apprendre plus efficacement. C’est ce que font les réseaux convolutionnels.

Au lieu de connecter chaque neurone caché à tous les pixels, on le connecte à une petite région de l’image, par exemple un carré 5×5. Cette région s’appelle le champ récepteur local du neurone. On fait ensuite glisser cette fenêtre sur toute l’image : à chaque position, il y a un neurone différent. Pour une image 28×28 et une fenêtre 5×5, avec un déplacement d’un pixel à chaque fois (stride 1), on obtient (28 − 5 + 1) × (28 − 5 + 1) = 24×24 neurones dans cette couche cachée.

On va encore simplifier : au lieu d’avoir des poids différents pour chaque position de la fenêtre, on utilise les mêmes poids (et le même biais) pour tous les 24×24 neurones. Ainsi, chaque neurone détecte le même type de motif (par exemple un bord vertical), mais à des endroits différents. L’ensemble des sorties forme une feature map (carte de traits). On peut avoir plusieurs feature maps (plusieurs filtres) pour détecter des bords, des courbes, etc. Un énorme avantage : au lieu de 24×24×26 paramètres pour cette couche, on n’a que 5×5+1 = 26 paramètres par filtre (plus quelques filtres). Beaucoup moins de paramètres = moins de risque de surapprentissage et entraînement plus rapide.

Après une couche convolutionnelle, on a par exemple une carte 24×24. Pour réduire la taille et rendre le réseau moins sensible à la position exacte du motif, on applique un pooling. Le plus courant est le max-pooling : on découpe la carte en blocs 2×2 et on garde la valeur maximale de chaque bloc. Ainsi 24×24 devient 12×12. L’idée : « est-ce que le motif est présent dans cette zone ? » (le max est grand) plutôt que « où exactement ? ». On peut aussi utiliser du L2-pooling (racine de la somme des carrés dans le bloc), mais le max-pooling est très répandu.

On enchaîne : entrée 28×28 → première couche conv (ex. 20 filtres 5×5) → 24×24×20 → max-pool 2×2 → 12×12×20 → deuxième couche conv (ex. 40 filtres 5×5) → 8×8×40 → max-pool 2×2 → 4×4×40 → on « aplatit » en 640 neurones → couche entièrement connectée (ex. 100 neurones) → couche de sortie (10 neurones, softmax). Les couches conv+pool extraient des traits locaux ; la partie FC fait la décision finale (quel chiffre).

Sur MNIST, un réseau shallow (100 neurones cachés) atteint environ 97,8 %. Dès qu’on ajoute une couche conv+pool (20 filtres 5×5) puis une couche FC, on monte à environ 98,78 %. Avec une deuxième couche conv+pool (40 filtres), on atteint environ 99,06 %. En passant aux neurones ReLU au lieu de la sigmoïde, on gagne encore un peu (~99,23 %). En augmentant les données (par exemple en décalant légèrement les images d’un pixel), on peut atteindre ~99,37 %. En appliquant du dropout sur les couches entièrement connectées (et en les agrandissant), on atteint environ 99,60 %. En entraînant plusieurs réseaux et en prenant un vote (ensemble), on peut dépasser 99,67 %. Pourquoi appliquer le dropout surtout sur les couches FC ? Parce que les couches convolutionnelles ont déjà une forme de régularisation (poids partagés) ; le dropout est surtout utile là où il y a beaucoup de paramètres (les couches FC).

Dans le chapitre 5, tu as vu que les réseaux profonds souffrent de gradients qui disparaissent ou explosent. Plusieurs facteurs permettent quand même d’entraîner des ConvNets profonds : (1) les couches convolutionnelles ont beaucoup moins de paramètres qu’une couche FC de même « taille » visuelle, ce qui simplifie l’optimisation ; (2) la régularisation (dropout, poids partagés) limite le surapprentissage ; (3) les ReLU évitent en partie la saturation et gardent des gradients plus utiles ; (4) on utilise plus de données (augmentation) et plus de calcul (GPU, plus d’époques). Ensemble, cela rend l’entraînement réalisable malgré la profondeur.

En pratique, un ConvNet est souvent construit avec des couches : une couche qui fait convolution + pooling (ConvPoolLayer), des couches entièrement connectées (FullyConnectedLayer), et une couche de sortie (SoftmaxLayer). L’entraînement reste de la descente de gradient stochastique (SGD) : on calcule le coût (par ex. log-vraisemblance), le gradient par rétropropagation (adaptée aux conv et au pooling), et on met à jour les poids. Les poids des couches conv sont partagés ; ceux des couches FC ne le sont pas. On ne rentre pas ici dans le détail d’une bibliothèque précise ; l’important est de retenir cette décomposition en couches et le flux : entrée → conv → activation → pool → (répéter) → flatten → FC → softmax → sortie.

Au-delà de MNIST, la reconnaissance d’images a connu des bonds importants grâce aux grands jeux de données (millions d’images, des centaines ou milliers de catégories) et aux réseaux convolutionnels très profonds. Certains modèles ont atteint des précisions « top-5 » (la bonne catégorie est parmi les 5 prédictions les plus probables) comparables à celles d’un humain expert sur des benchmarks difficiles. En revanche, on a aussi découvert que des images très légèrement modifiées (imperceptibles à l’œil) peuvent tromper ces réseaux : ce sont les « images adverses ». Cela montre que la robustesse et la compréhension des modèles restent des sujets ouverts.

Les ConvNets sont adaptés aux images. Pour des données séquentielles (parole, texte, séries temporelles), on utilise souvent des réseaux récurrents (RNN) : les neurones peuvent dépendre des pas de temps précédents. Un problème classique des RNN est le gradient qui disparaît ou explose dans le temps. Les LSTM (Long Short-Term Memory) sont une variante conçue pour mieux garder une « mémoire » à long terme et stabiliser l’apprentissage. D’autres modèles, comme certains réseaux « génératifs » (capables de générer des données ressemblant aux exemples), ont aussi joué un rôle dans l’histoire du deep learning. Aujourd’hui, selon le domaine (images, texte, parole, jeux), on combine souvent plusieurs idées (conv, attention, récurrence).

Le deep learning alimente déjà des interfaces qui tentent de comprendre l’intention de l’utilisateur (recherche, assistant vocal, recommandations) plutôt que de réagir à des commandes très précises. La disponibilité de grandes quantités de données et la puissance de calcul ont créé une boucle vertueuse : de meilleurs modèles → de nouvelles applications → plus de données et d’investissements. La place des réseaux de neurones dans l’apprentissage automatique reste néanmoins un sujet de recherche : on comprend encore mal pourquoi ils généralisent aussi bien avec autant de paramètres, et les questions ouvertes (robustesse, interprétabilité, limites) restent nombreuses. Il est raisonnable de rester prudent sur les promesses d’une « intelligence artificielle générale » à court terme.