🧠 Comment fonctionnent les IA ?

Bienvenue dans le chapitre approfondi 4. Tu as vu aux chapitres 1 à 5 (et aux approfondis 1 à 3) comment un réseau calcule et apprend. Ici, tu vas découvrir une idée étonnante : avec suffisamment de neurones cachés, un réseau peut imiter pratiquement n’importe quelle fonction continue. On commencera par des marches, puis des bosses, puis des sommets multiples qui dessinent une fonction. On verra ensuite pourquoi, en pratique, entraîner des réseaux très profonds n’est pas si simple — on en reparlera plus en détail dans le chapitre approfondi 5 — et en quoi cela conduit au deep learning moderne.

1. Approximation, pas calcul exact. Le théorème dit : pour toute fonction continue f et pour toute précision ε > 0, il existe un réseau qui produit une sortie g(x) telle que |g(x) − f(x)| < ε pour toutes les entrées x. On peut donc s’approcher autant qu’on veut, mais pas forcément être exactement égal partout.

2. Fonctions continues. Le résultat s’applique aux fonctions continues sur un intervalle (par exemple entre 0 et 1). Si la fonction a des sauts brusques, on ne peut pas la suivre parfaitement, mais on peut souvent faire une approximation suffisamment bonne pour les applications pratiques.

On considère un neurone avec une entrée x, un poids w et un biais b. Il calcule z = wx + b puis la sortie σ(z). Quand |w| est petit, la courbe σ(wx + b) est douce. Quand |w| est très grand, la courbe devient très raide : elle ressemble à une marche qui passe de 0 à 1 autour du point s = −b/w.

Si l’on aligne deux neurones‑marches, l’un qui « s’allume » à s₁ et l’autre à s₂ > s₁, on peut les combiner avec des poids +h et −h pour obtenir une bosse : la sortie vaut ≈ h entre s₁ et s₂, et ≈ 0 ailleurs. Cette bosse est une brique de base pour construire des fonctions plus compliquées.

On découpe l’intervalle [0,1] en plusieurs morceaux (intervalles). Pour chaque morceau, on place une bosse de hauteur h_i. En choisissant bien ces hauteurs, la somme de toutes les bosses ressemble à la fonction qu’on veut imiter. Plus on met de morceaux, plus on peut suivre les détails de la fonction.

La couche cachée fournit des activations a²(x) (par exemple la somme des bosses). La sortie du réseau est alors a³(x) = σ(w·a²(x) + b). Pour que a³(x) ≈ f(x), il suffit donc que w·a²(x) + b ≈ σ⁻¹(f(x)). Autrement dit, on utilise la couche cachée pour approximer la fonction σ⁻¹ ∘ f, puis la sigmoïde remet tout dans l’intervalle [0,1].

On choisit une fonction cible simple sur [0,1] (par exemple une courbe qui monte puis redescend). Ton objectif : régler les hauteurs des bosses pour que la courbe « réseau » colle le mieux possible à la courbe cible. Un indicateur te montre l’écart moyen entre les deux courbes.

Avec deux entrées (x,y), un neurone sigmoïde peut encore se comporter comme une marche, mais cette fois‑ci en 2D : l’espace est coupé en deux par une droite (une demi‑plan). En combinant plusieurs marches en x et en y, on peut construire des tours (zones où la sortie vaut ≈ 1 et ailleurs 0). En combinant beaucoup de tours, on peut approcher n’importe quelle fonction continue de deux variables.

Le principe général est le même en 3D, 4D et plus : on découpe l’espace des entrées en petites régions où la fonction est presque constante, et on donne une hauteur différente à chaque région.

On a utilisé la sigmoïde σ, mais l’idée marche pour toute fonction d’activation qui a deux limites différentes quand z → −∞ et z → +∞. Dans ce cas, en prenant un grand poids w, la courbe s’écrase et se comporte comme une marche entre ces deux valeurs‑limites : on peut donc refaire toute la construction marches → bosses → approximation.

Certaines fonctions populaires comme la ReLU ou l’activation linéaire ne vérifient pas ces hypothèses : il faut alors d’autres arguments pour montrer l’universalité, mais l’idée qu’un réseau peut approximer beaucoup de fonctions reste valable.

Le théorème d’universalité dit : « avec assez de neurones, on peut approximer ». Mais il ne dit pas comment trouver les bons poids. Quand on empile beaucoup de couches, il arrive souvent que le gradient se réduise en remontant en arrière : les couches proches de l’entrée reçoivent un signal d’apprentissage très faible, apprennent lentement, ou presque pas. Parfois, c’est l’inverse : les gradients peuvent devenir énormes et rendre l’apprentissage instable.

On peut s’imaginer un signal qui remonte couche par couche : un peu comme un message chuchoté de personne en personne, il peut s’affaiblir ou être dégringolé. D’autres difficultés apparaissent : zones plates où la loss change très peu (plateaux), minima locaux, etc. C’est pour cela que réussir à entraîner un réseau profond est un art délicat (choix de l’init, du taux d’apprentissage, de la normalisation, etc.).

Les réseaux profonds (plusieurs couches cachées) sont très bons pour apprendre des hiérarchies de concepts : des couches proches de l’entrée repèrent des motifs simples (bords, petites formes), les couches suivantes combinent ces motifs (boucles, parties de chiffres), et les dernières couches reconnaissent des objets complets (chiffres, lettres, visages…).

En pratique, on utilise aujourd’hui des architectures spécialisées : réseaux convolutionnels pour les images, architectures basées sur l’attention pour le texte, etc. Toutes profitent de l’universalité : elles ont assez de puissance pour approximer les fonctions compliquées dont on a besoin (reconnaître des images, traduire du texte, piloter un robot…), à condition d’avoir suffisamment de données, de calcul et de bons réglages d’entraînement.