Analyser le réseau (poids, neurones en direct, limites)

L'IA est-elle vraiment intelligente ? Ce que nous cachent les entrailles d'un réseau de neurones

Imaginez-vous face à une interface blanche. Vous dessinez un "3" avec votre souris, et instantanément, des milliers de petites lumières s'allument. Dans les couches cachées du système, des neurones s'activent, clignotent et s'organisent jusqu'à ce que le verdict tombe : "3", avec une certitude absolue. Ce spectacle, c'est celui du réseau de neurones MNIST, une architecture classique capable d'identifier des chiffres manuscrits avec une précision de 96 %. Face à une telle prouesse, la tentation est grande de prêter au système une forme de conscience ou de compréhension. Pourtant, si l'on prend le temps d'ouvrir le capot pour observer ce qui se passe réellement dans cette "boîte noire", le mirage de l'intelligence s'évapore pour laisser place à une mécanique bien plus étrange — et bien moins logique — qu'il n'y paraît.

L'échec de notre intuition : les "bordures" n'existent pas

Lorsqu'on imagine le fonctionnement d'une IA visuelle, notre intuition nous dicte une hiérarchie élégante : les premières couches détecteraient des segments, les suivantes des boucles, pour finalement assembler un chiffre. On s'attendrait à voir, dans les entrailles du code, des structures géométriques claires. Et pourtant, la réalité nous contredit. En observant les grilles de poids de la deuxième couche, l'œil humain ne distingue aucune ligne droite ni aucun cercle parfait. À la place, on découvre une constellation de poids sans structure apparente, des "formes de taches" (blobby shapes) qui ressemblent davantage à un nuage de pixels aléatoires qu'à un outil de dessin. Le réseau a simplement trouvé un "minimum local" fonctionnel dans un espace mathématique colossal de 13 002 dimensions. Pour visualiser cela, imaginez une console avec 13 002 curseurs (les poids et les biais) que la machine tourne jusqu'à ce que le résultat colle aux données. Le système n'a pas appris ce qu'est une ligne ; il a trouvé une combinaison statistique de pixels qui "marche" pour la base de données. C'est flagrant lors du défi de la transition : si vous dessinez un "3" et que vous l'étirez lentement pour en faire un "8", vous verrez certains neurones s'activer non pas parce qu'ils comprennent la structure de la boucle, mais parce que de nouveaux pixels entrent dans leur zone de détection floue.

L'IA qui hallucine : quand le bruit devient une certitude

L'un des aspects les plus troublants de cette technologie réside dans son absence totale de doute. Soumettez au réseau une image de pur bruit statique, un gribouillis de pixels gris sans aucun sens. Là où un humain hausserait les épaules, le réseau de neurones va, avec un aplomb désconcertant, classer ce bruit comme étant un "5" avec une confiance absolue. Pourquoi une telle arrogance dans l'absurde ? Parce que pour ce réseau, l'univers entier se résume à une grille de pixels fixes. Il n'a jamais appris l'incertitude ni l'existence du "hors-sujet". Son algorithme est programmé pour projeter n'importe quel signal entrant sur l'une des dix cases de sortie. Il ne sait pas dessiner un chiffre, il ne sait pas ce qu'est un chiffre ; il est une machine à classer mécaniquement du signal, incapable de réaliser qu'on lui présente une aberration.

Une intelligence figée dans l'espace

Le véritable "moment de vérité" survient lorsqu'on décale le chiffre de quelques pixels vers le bord ou qu'on change sa taille. Le réseau, si brillant sur des images centrées, échoue alors lamentablement. Ce paradoxe révèle une faille structurelle majeure : ce système ignore la notion de pixels "adjacents". Mathématiquement, le réseau commence par "aplatir" l'image 2D (28×28 pixels) en une simple liste linéaire de 784 nombres. Dans cette liste, le pixel n°1 n'a aucune relation de proximité avec le pixel n°29, qui se trouve pourtant juste en dessous de lui dans la réalité. Le réseau traite chaque point de la grille de manière isolée. Il est incapable de comprendre qu'un motif reste le même s'il se déplace dans l'espace. C'est cette limite fondamentale qui a rendu nécessaire l'invention des réseaux convolutionnels (CNN), capables, eux, de transférer la connaissance d'un motif d'un coin de l'image à un autre.

Le fossé entre performance et compréhension

Il faut toutefois rendre justice à ce modèle "vanille" des années 80 et 90. Sa précision de 96 % est une prouesse historique. Mais en informatique, les derniers pourcentages sont les plus révélateurs. Les standards modernes atteignent aujourd'hui 99,75 % de réussite. À ce niveau, on peut légitimement se demander si un humain ferait mieux face aux ambiguïtés de l'écriture manuscrite. Cependant, l'écart de performance entre 96 % et 99,75 % n'est pas qu'une question de score. Les 4 % d'erreurs du modèle de base ne sont pas des erreurs "humaines" de lecture ; ce sont des preuves d'une absence totale de vision conceptuelle. Le réseau ne voit pas un "8" comme deux boucles superposées, mais comme une signature statistique de pixels. C'est une calculatrice géante qui simule la vision sans jamais voir.

Vers une véritable vision artificielle

La performance n'est pas l'intelligence. Ce voyage au cœur du réseau nous montre qu'un système peut surpasser l'humain dans une tâche précise tout en étant d'une fragilité conceptuelle absolue. Pour que ce réseau apprenne de ses erreurs, il repose sur la backpropagation (rétropropagation du gradient) : après chaque erreur, l'algorithme calcule comment ajuster chacun des 13 002 « boutons » pour que le résultat suivant soit moins faux (chapitre 2, chapitre 4). C'est ce processus itératif, et non une quelconque étincelle de génie, qui forge cette efficacité apparente. Alors que nous intégrons ces systèmes dans notre quotidien, une question demeure : jusqu'à quel point pouvons-nous accorder notre confiance à des décisions prises par des architectures dont les critères de jugement nous sont, au fond, totalement étrangers ?

Générés par NotebookLM (Google).