🧠 Comment fonctionnent les IA ?

Bienvenue dans le chapitre approfondi 1. Ce chapitre reprend en détail ce que le chapitre 1 présente de façon plus simple : les fondements des réseaux de neurones pour la reconnaissance des chiffres manuscrits. On y détaille les perceptrons, les neurones sigmoïdes, l’architecture des réseaux, la descente de gradient et la stochastic gradient descent, puis l’implémentation (code, résultats, hyperparamètres) et une ouverture vers le deep learning. La rétropropagation (comment le gradient est calculé) est abordée au chapitre 4 et 5, et encore plus en détail dans le chapitre approfondi 2.

Un perceptron possède plusieurs entrées binaires x₁, x₂, … et produit une sortie binaire. Il calcule la somme pondérée Σ_j w_jx_j et la compare à un seuil : si la somme est strictement supérieure au seuil, la sortie vaut 1, sinon 0. En notant b = −seuil (le biais), la règle s’écrit : sortie = 1 si w·x + b > 0, sinon 0. On peut voir le perceptron comme un dispositif qui pèse des preuves pour prendre une décision.

Exemple (décision) : Tu décides d’aller à un festival selon la météo (x₁), si quelqu’un t’accompagne (x₂) et si les transports sont proches (x₃). En mettant un grand poids sur la météo (w₁=6) et un seuil 5, le perceptron sort 1 seulement si la météo est bonne, peu importe le reste. En baissant le seuil à 3, la sortie peut être 1 dans d’autres combinaisons (ex. météo bonne ou transports proches + accompagnement).

NAND : Avec 2 entrées, poids −2, −2 et biais 3, on obtient sortie 1 pour (0,0), (0,1), (1,0) et sortie 0 pour (1,1). C’est la porte logique NAND. Les réseaux de perceptrons peuvent ainsi calculer n’importe quelle fonction logique (universalité). L’intérêt des réseaux de neurones vient des algorithmes d’apprentissage qui règlent automatiquement les poids et biais à partir d’exemples.

Pour apprendre, on a besoin qu’un petit changement des poids ou du biais provoque un petit changement de la sortie. Avec le perceptron, une légère modification peut faire passer la sortie de 0 à 1 d’un coup. On introduit donc le neurone sigmoïde : même entrées et poids, mais la sortie est σ(z) avec z = w·x + b et σ(z) = 1/(1+e^−z). La sortie est alors un nombre entre 0 et 1. Quand z est très grand positif, σ(z) ≈ 1 ; quand z est très grand négatif, σ(z) ≈ 0. C’est une version « lisse » du seuil du perceptron.

La dérivée de σ intervient dans le calcul du gradient : σ′(z) = σ(z)(1−σ(z)). Un petit changement Δw_j ou Δb produit approximativement un changement Δ(sortie) proportionnel (formule (5) du chapitre de référence). Cela permet d’ajuster les poids pas à pas pour réduire l’erreur.

Un réseau est composé de couches. La couche la plus à gauche = entrée (les neurones d’entrée fournissent les données, ex. les pixels). La couche la plus à droite = sortie (réponse du réseau). Les couches entre les deux = cachées. Les réseaux où l’information circule uniquement des entrées vers les sorties (sans boucle) sont dits feedforward. Les réseaux avec boucles (sortie qui influence l’entrée plus tard) sont dits récurrents ; on se limite ici au feedforward.

Pour MNIST, chaque image fait 28×28 = 784 pixels. On utilise donc 784 neurones d’entrée. La couche cachée a un nombre n de neurones (on testera par ex. 15, 30 ou 100). La couche de sortie a 10 neurones : le neurone k « vote » pour le chiffre k (0 à 9) ; on prend le neurone dont l’activation est la plus forte comme prédiction. Pourquoi 10 et pas 4 (codage binaire) ? En pratique, 10 sorties donnent de meilleurs résultats car chaque sortie peut correspondre à des sous-formes du chiffre (ex. boucles, traits) plus naturellement qu’un bit de poids fort.

On dispose d’exemples (images, étiquettes). On définit une fonction de coût C(w,b) = (1/2n) Σ_x ‖y(x) − a‖² (équation (6)) : plus les sorties a du réseau sont proches des cibles y(x), plus C est petit. L’objectif est de minimiser C en ajustant les poids w et les biais b. La descente de gradient : à chaque pas, on calcule le gradient ∇C (vecteur des dérivées partielles) et on met à jour v (ici w et b) selon v → v − η∇C, où η est le taux d’apprentissage. Ainsi C diminue à chaque pas (approximativement). L’analogie : une bille qui roule vers le bas d’une vallée (C = altitude).

En pratique, calculer ∇C sur tout le jeu d’entraînement à chaque pas serait trop coûteux. La stochastic gradient descent (SGD) : on tire aléatoirement un mini-batch d’exemples, on calcule le gradient sur ce mini-batch seulement, et on met à jour les poids. On répète jusqu’à avoir parcouru toutes les données = une époque. Puis on enchaîne d’autres époques.

Le réseau est représenté par une classe avec : liste des tailles de couches ; initialisation aléatoire des poids et biais ; fonction feedforward qui applique a′ = σ(wa + b) couche par couche (équation (22)) ; fonction SGD qui, pour chaque époque, mélange les données, les découpe en mini-batches, et pour chaque mini-batch appelle update_mini_batch (calcul du gradient via la rétropropagation, puis mise à jour des poids et biais). La fonction sigmoid et sa dérivée sigmoid_prime sont utilisées dans le feedforward et la rétropropagation.

Sur MNIST (50 000 images d’entraînement, 10 000 de test), avec une couche cachée de 30 neurones, 30 époques, mini-batch 10, η = 3, on obtient typiquement environ 95 % de bonnes réponses sur le test. Avec 100 neurones cachés, on peut atteindre environ 96,5 %. Si η est trop petit (ex. 0,001), l’apprentissage est très lent ; si η est trop grand (ex. 100), la loss ne descend pas correctement. Le débogage d’un réseau (choix des hyperparamètres) reste en partie empirique.

On peut interpréter les couches comme une hiérarchie : les premières détectent des traits simples (bords), les suivantes des formes (boucles, segments), puis la combinaison donne le chiffre. Un réseau avec plusieurs couches cachées (réseau « profond ») peut ainsi construire des représentations de plus en plus abstraites. Historiquement, entraîner de tels réseaux avec la descente de gradient et la rétropropagation était difficile ; depuis 2006, des techniques ont permis d’entraîner des réseaux profonds (5 à 10 couches cachées et plus) avec succès.