IA images et vidéos — diffusion, CLIP, DDIM, guidage

Ouvrir le PDF AI_Video_Physics.pdf — Lecture directement : Du Chaos à la Création – 5 Révélations Fascinantes

Générés par NotebookLM (Google).

Accueil – Chapitre 10

À la fin de ce chapitre 10, tu sauras : comment les IA génèrent des images et des vidéos à partir de texte (prompts), le rôle du bruit et de la diffusion, ce qu'est CLIP (espace commun mots/images), pourquoi ajouter du bruit donne des images plus nettes, ce que sont DDPM et DDIM, et comment le guidage permet d'obéir au prompt.

Bienvenue dans le chapitre 10 ! Dans les chapitres 6 à 9, tu as vu les LLM (texte → mot suivant, tokens, attention, MLP). Ce chapitre est une partie à part : on quitte les LLM pour entrer dans le monde de l'IA images et vidéos. L’entrée reste du texte (un prompt), mais la sortie devient une image ou une vidéo. Comment un ordinateur, en partant d'un écran de « neige » visuelle — ce chaos de pixels erratiques — parvient-il à sculpter une vidéo d'une précision chirurgicale (par exemple un astronaute en réunion) ? Ce prodige repose sur une inversion temporelle d'un processus physique : la diffusion, proche du mouvement brownien, avec le temps qui s'écoule à l'envers dans un espace de grande dimension. On en reparlera plus en détail dans les cinq révélations ci-dessous.

Du texte à l'image ou à la vidéo (en un schéma)

Prompt (texte) → CLIP / conditionnement → Diffusion (bruit → image) → Image ou vidéo
Commencer par le lexique Révélation 1 – Sculpter le bruit Révélation 2 – CLIP Chapitre 9 – MLP Lecture : 5 Révélations

En résumé : L'IA images/vidéos part du bruit, le « sculpte » avec un modèle de diffusion guidé par le texte (CLIP, conditionnement, guidage). Ce chapitre dévoile cinq révélations sur cette mécanique.

Lexique

Objectif : Connaître les mots du chapitre 10 (diffusion, bruit, mouvement brownien, CLIP, espace latent, similarité cosinus, fonction de score, DDPM, DDIM, EDS, ODE, conditionnement, guidage sans classificateur, prompt négatif, alpha).

Diffusion
Processus par lequel on ajoute du bruit à une image (ou vidéo) jusqu'à la détruire, puis on entraîne un réseau à inverser ce processus. Équivalent au mouvement brownien en physique, avec le temps à l'envers. Comme si : brouiller une photo puis apprendre à la débrouiller.
Bruit
Valeurs aléatoires ajoutées aux pixels. En génération, le modèle part de pur bruit et le « retire » peu à peu pour faire apparaître une image. Comme si : la neige à l'écran qu'on sculpte en forme.
Mouvement brownien
Marche aléatoire de particules (en physique). Ajouter du bruit pixel par pixel revient à faire une marche aléatoire dans l'espace des images ; les modèles de diffusion inversent ce processus. Comme si : remonter le temps sur une tache d'encre qui s'étale.
CLIP
Modèle (OpenAI, 2021) qui projette images et textes dans un même espace de 512 dimensions. Les paires image–légende sont rapprochées (apprentissage contrastif), ce qui permet de comparer mots et pixels. Comme si : une langue commune entre les images et les mots.
Espace latent / embedding
Espace vectoriel partagé où images et textes sont représentés par des vecteurs. Dans CLIP, vecteur de taille 512 ; la similarité cosinus mesure l'alignement entre vecteurs. Comme si : des coordonnées pour les « idées » visuelles et textuelles.
Similarité cosinus
Mesure de l'alignement entre deux vecteurs : cosinus de l'angle entre eux. Valeur 1 = même direction ; 0 = perpendiculaires. CLIP maximise la similarité entre une image et sa légende. Comme si : à quel point deux flèches pointent dans la même direction.
Fonction de score
Direction que le modèle de diffusion apprend : pour chaque point (image bruitée), elle indique vers où aller pour se rapprocher des données réelles. Champ vectoriel qui « ramène » vers les images. Comme si : une boussole qui pointe vers les images réalistes.
DDPM
Denoising Diffusion Probabilistic Models (Berkeley, 2020). On entraîne le modèle à prédire le bruit ajouté ; en génération, on part du bruit et on retire ce bruit étape par étape, en réinjectant du bruit à chaque pas. Comme si : deviner la poussière à enlever, puis en enlever un peu, rajouter un peu de hasard, recommencer.
DDIM
Méthode déterministe pour générer des images avec les mêmes modèles que DDPM mais sans ajouter de bruit pendant la génération. Moins d'étapes, trajectoires le long du champ vectoriel (lignes de courant). Comme si : suivre le courant au lieu de sautiller au hasard.
EDS / ODE
Équation différentielle stochastique (DDPM) vs équation différentielle ordinaire (DDIM). La physique (Fokker-Planck) montre qu'on peut obtenir la même distribution finale avec une ODE, d'où DDIM. Comme si : même destination, chemin déterministe au lieu d'aléatoire.
Conditionnement
Injection du prompt (vecteur texte CLIP) comme entrée du modèle de diffusion, pour qu'il génère une image correspondant au texte. Cross-attention ou concaténation. Comme si : dire au modèle « dessine un arbre dans le désert » à chaque étape.
Guidage sans classificateur
On calcule la direction conditionnée (avec prompt) et la direction non conditionnée (sans prompt), on soustrait la seconde de la première, puis on amplifie par un facteur alpha. Renforce la fidélité au prompt. Comme si : pousser plus fort dans la direction « ce que je veux » en enlevant la direction « n'importe quoi ».
Prompt négatif
Liste de ce qu'on ne veut pas dans l'image (ex. « doigts en trop », « marcher à reculons »). Le vecteur de ce prompt est soustrait pour éloigner la génération de ces défauts. Comme si : dire « surtout pas ça » pour éviter les erreurs typiques.
Alpha (facteur de guidage)
Coefficient qui amplifie la direction du guidage. Plus alpha est grand, plus l'image suit le prompt (mais trop grand peut dégrader la qualité). Comme si : le volume du « obéis au texte ».

Rappel : on quitte les LLM pour l'IA images/vidéos

Objectif : Situer la différence entre LLM (texte → mot suivant) et modèles de génération d'images/vidéos (texte → image ou vidéo).

Comme on l’a rappelé à l’accueil, dans les chapitres 6 à 9 tu as vu les LLM : entrée = texte, sortie = probabilités sur le mot suivant ; le Transformer et l'attention travaillent sur des tokens. Ici, on change de monde : l'entrée est toujours du texte (un prompt, par exemple « un astronaute dirige une réunion »), mais la sortie est une image ou une vidéo. Il n'y a plus de prédiction du mot suivant ; le modèle part de bruit pur (pixels aléatoires) et le transforme, étape après étape, en une image ou une vidéo cohérente avec le prompt. Le lien avec la physique (diffusion, mouvement brownien) et avec CLIP (pour comprendre le texte) est au cœur de ce chapitre.

En résumé : Entrée = prompt texte. Sortie = image ou vidéo. Le modèle part du bruit et l'inverse (diffusion inverse) en s'appuyant sur le texte pour guider.

Révélation 1 : Sculpter le bruit – L'IA ne « dessine » pas, elle raffine

Objectif : Comprendre que la génération part de bruit pur et que le modèle « retire » ce bruit par itérations (5 à 50 étapes) pour faire émerger une image ou une vidéo.

Contrairement à l'infographie classique, un modèle de génération (comme Wan 2.1) n'assemble pas des formes préexistantes. Il procède par un raffinement successif du chaos.

  • L'amorce aléatoire : Le processus débute par un générateur de nombres aléatoires, créant une grille de pixels dont l'intensité est totalement imprévisible.
  • La prédiction du résiduel : Cette « vidéo » (ou image) de bruit pur est soumise à un Transformer. Comme ChatGPT prédit le mot suivant, ce modèle est entraîné à prédire le bruit résiduel (le chaos à soustraire) pour laisser entrevoir une structure.
  • La convergence : À travers un cycle itératif — de 5 à 50 étapes — le modèle retire progressivement le bruit qu'il a identifié.

« Petit à petit, le transformer sculpte le bruit en une vidéo incroyablement réaliste. » À chaque itération, l'IA converge vers une structure cohérente cachée dans le signal aléatoire.

Voir : les étapes de la diffusion (bruit pur → structure → image).

Itérations : 0 (bruit pur) → 5 → 10 → 20 → 30 → 40 → 50 (image réaliste)

En résumé : Bruit initial → Transformer prédit le résiduel → on soustrait, on repasse, encore et encore (5–50 fois) → image ou vidéo réaliste.

Révélation 2 : CLIP – Le pont mathématique entre les mots et les pixels

Objectif : Comprendre comment CLIP projette images et textes dans un espace commun (512 dimensions), l'apprentissage contrastif et l'arithmétique des concepts (ex. avec/sans chapeau → « chapeau »).

Pour que l'IA puisse lier le concept d'« astronaute » à une matrice de pixels, elle exploite CLIP (Contrastive Language-Image Pre-training, OpenAI 2021).

  • Espace latent 512D : CLIP projette les mots et les images dans un espace partagé. Une image et sa description textuelle deviennent des vecteurs qui doivent pointer dans la même direction.
  • Apprentissage contrastif : Le modèle maximise la similarité cosinus entre une image et sa légende, tout en repoussant les paires non correspondantes.
  • Arithmétique des concepts : Si on soustrait le vecteur « moi sans chapeau » du vecteur « moi avec chapeau », on obtient un vecteur proche du concept « chapeau ». Les idées deviennent malléables en haute dimension.

CLIP ne génère pas : on ne peut que projeter images et textes dans cet espace. Mais ce pont permet au modèle de diffusion de savoir dans quelle direction « pousser » les pixels pour obéir au prompt.

Voir : avec chapeau − sans chapeau = direction « chapeau ».

Avec chapeau − Sans chapeau = Chapeau

En résumé : CLIP = deux modèles (texte + image) → vecteurs 512D. Similarité cosinus ; soustraction de vecteurs = « arithmétique des concepts ». Pas de génération, mais indispensable pour guider la diffusion.

Révélation 3 : Le paradoxe de la clarté – Pourquoi ajouter du bruit crée des images plus nettes

Objectif : Comprendre la fonction de score, le piège de la moyenne (sans bruit → image floue) et le changement de phase (t ≈ 0,4).

Les modèles DDPM ont révélé une vérité contre-intuitive : pour obtenir une image nette, il faut réinjecter du bruit pendant la création.

  • Fonction de score : L'IA apprend un champ vectoriel qui dirige chaque point vers des zones de plus haute probabilité (les données réelles).
  • Le piège de la moyenne : Sans bruit en génération, le modèle tend à prédire la moyenne de la distribution. Or la moyenne de toutes les images d'arbres possibles n'est pas un arbre net, mais un brouillard flou.
  • Changement de phase (t ≈ 0,4) : À un certain stade, le champ vectoriel bascule : il cesse de pointer vers le centre (moyenne) pour se diriger vers la structure fine des données.

L'ajout de bruit pendant la génération découle de la thermodynamique (mouvement brownien) : il empêche les pixels de s'effondrer vers la moyenne et force le modèle à choisir une incarnation précise de l'objet demandé.

Voir : sans bruit → moyenne (flou) ; avec bruit → échantillon net.

Sans bruit → Moyenne (flou) Avec bruit → Échantillon net

En résumé : Sans bruit → tout converge vers la moyenne → flou. Avec bruit → échantillonnage réel → images nettes et variées. Le modèle apprend la moyenne ; pour échantillonner, il faut ajouter du bruit.

Révélation 4 : La physique comme raccourci – Générer sans le facteur chance (DDIM)

Objectif : Comprendre le passage de l'EDS (équation différentielle stochastique) à une ODE, et comment DDIM permet de générer en moins d'étapes sans bruit.

Si le bruit est vital en DDPM, il rend la génération lente. Des équipes (Stanford, Google) ont utilisé la mécanique statistique pour accélérer.

  • De l'EDS à l'ODE : Le processus DDPM s'écrit avec une équation différentielle stochastique (mouvement du champ + mouvement aléatoire). L'équation de Fokker-Planck montre qu'il existe une équation différentielle ordinaire (sans hasard) qui donne la même distribution finale.
  • DDIM : On suit les lignes de courant du champ vectoriel au lieu de sautiller avec du bruit. Génération déterministe, en nettement moins d'étapes (jusqu'à 10× moins), sans sacrifier la qualité.
  • Wan et d'autres modèles récents utilisent des variantes (flow matching) de cette idée.

Voir : DDPM (étapes + bruit) vs DDIM (moins d'étapes, ODE déterministe).

DDPM → Beaucoup d'étapes + bruit DDIM → Moins d'étapes, ODE

En résumé : EDS (DDPM) → même distribution avec une ODE → algorithme DDIM, moins d'étapes, déterministe. Lignes de courant au lieu de pas aléatoires.

Révélation 5 : Le Guidage – Comment l'IA apprend à obéir (et à ignorer)

Objectif : Comprendre le guidage sans classificateur (vecteur conditionné − non conditionné, facteur alpha) et les prompts négatifs.

La technique ultime pour diriger ces modèles est le Classifier-Free Guidance (guidage sans classificateur).

  • Vecteur pur d'intention : Le modèle calcule deux directions : une avec le prompt (conditionnée) et une sans texte (non conditionnée). En soustrayant la direction générale de la direction spécifique, on isole l'essence du prompt.
  • Facteur alpha : On amplifie cette différence par un coefficient alpha. C'est ce « push » qui fait littéralement « grandir » l'arbre en détails quand on augmente alpha.
  • Prompts négatifs : Certains modèles (ex. Wan) utilisent un prompt négatif : on liste ce qu'on ne veut pas (« doigts en trop », « marcher à reculons »), on soustrait ce vecteur, puis on amplifie. On éloigne la diffusion des défauts typiques.

Voir : vecteur conditionné (jaune) − vecteur non conditionné (gris) = direction amplifiée (vert).

Conditionné (prompt) − Non conditionné → Guidé (× alpha)

En résumé : Guidage = (direction avec prompt) − (direction sans prompt), puis × alpha. Prompts négatifs = soustraire ce qu'on ne veut pas. Indispensable pour une bonne fidélité au texte.

Conclusion – Chapitre 10

Objectif : Synthétiser les cinq révélations et la place de l'IA images/vidéos.

Depuis 2020, le domaine a progressé à une vitesse fulgurante, menant à une classe de machine fondamentalement nouvelle. Pour créer des images et des vidéos bluffantes, on n'a plus besoin d'une caméra, ni de savoir dessiner : il suffit de mots. Le lien entre géométrie (espaces de grande dimension, similarité cosinus, champs vectoriels) et physique (diffusion, mouvement brownien, Fokker-Planck) permet à ces modèles de « sculpter » le bruit en contenu réaliste, guidé par le texte. Une question demeure : comment notre intuition géométrique peut-elle nous aider à concevoir des outils qui opèrent avec une telle finesse dans des espaces à des dimensions quasi infinies ?

En résumé : Bruit → diffusion (DDPM/DDIM) + CLIP + conditionnement + guidage = génération texte → image/vidéo. Une machine nouvelle ; il suffit de mots.

Du Chaos à la Création : 5 Révélations Fascinantes sur le Fonctionnement des IA Génératrices d'Images

Comment un ordinateur, en partant d'un écran de « neige » visuelle — ce chaos de pixels erratiques — parvient-il à sculpter une vidéo d'une précision chirurgicale montrant un astronaute en pleine réunion de bureau ? Ce prodige ne relève pas de la simple exécution de lignes de code, mais d'une véritable inversion temporelle d'un processus physique. Pour créer, l'IA doit apprendre à remonter le temps sur le désordre. La réponse à ce mystère réside dans une convergence élégante entre la géométrie de haute dimension et les lois de la thermodynamique, transformant le mouvement brownien en un outil de design sans précédent.

1. Sculpter le bruit : L'IA ne « dessine » pas, elle raffine

Contrairement à l'approche classique de l'infographie, un modèle de génération (comme le récent modèle open source Wan 2.1) n'assemble pas des formes préexistantes. Il procède par un raffinement successif du chaos.

  • L'amorce aléatoire : Le processus débute systématiquement par un appel à un générateur de nombres aléatoires, créant une grille de pixels dont l'intensité est totalement imprévisible.
  • La prédiction du résiduel : Cette « vidéo » de bruit pur est soumise à un Transformer. Là où ChatGPT prédit le mot suivant, ce modèle est entraîné à prédire le bruit résiduel (le chaos à soustraire) pour laisser entrevoir une structure.
  • La convergence vers la forme : À travers un cycle itératif — de 5 à 50 étapes — le modèle retire progressivement le bruit qu'il a lui-même identifié.

« Petit à petit, le transformer sculpte le bruit en une vidéo incroyablement réaliste. » À chaque itération, l'IA ne fait pas que « nettoyer » l'image ; elle converge vers une structure cohérente cachée dans le signal aléatoire.

2. CLIP : Le pont mathématique entre les mots et les pixels

Pour que l'IA puisse lier le concept d'« astronaute » à une matrice de pixels, elle exploite l'architecture CLIP (Contrastive Language-Image Pre-training), développée par OpenAI en 2021.

  • L'Espace Latent de 512 dimensions : CLIP projette les mots et les images dans un espace mathématique partagé. Dans cet univers à 512 dimensions, une image et sa description textuelle ne sont plus des objets différents, mais des vecteurs qui doivent pointer dans la même direction.
  • L'Apprentissage Contrastif : Le modèle est entraîné à maximiser la similarité cosinus (l'alignement des angles) entre une image et sa légende, tout en repoussant énergiquement toutes les autres paires non liées.
  • L'Arithmétique des Concepts : Si l'on prend le vecteur « Moi avec chapeau » et qu'on lui soustrait le vecteur « Moi sans chapeau », on obtient un vecteur de différence qui correspond mathématiquement au concept pur de « chapeau ».

Cette capacité à manipuler des idées comme des coordonnées géométriques permet au modèle de diffusion de savoir exactement dans quelle direction « pousser » les pixels pour obéir à un prompt.

3. Le paradoxe de la clarté : Pourquoi ajouter du bruit crée des images plus nettes

En 2020, les modèles DDPM (Denoising Diffusion Probabilistic Models) ont révélé une vérité contre-intuitive : pour obtenir une image nette, il faut impérativement réinjecter du bruit pendant la création.

  • La Fonction de Score : L'IA apprend en réalité une Fonction de Score, un champ vectoriel qui dirige chaque point vers des zones de plus haute probabilité (les données réelles).
  • Le piège de la moyenne : Sans l'ajout de bruit aléatoire lors de la génération, le modèle tend à prédire la moyenne mathématique d'une distribution gaussienne. Or, dans l'espace des images, la moyenne de tous les arbres possibles n'est pas un arbre parfait, mais un brouillard informe, « flou et triste ».
  • Le changement de phase (t=0,4) : À un certain stade du processus, on observe un basculement soudain : le modèle cesse de pointer vers le centre (la moyenne) pour se diriger brusquement vers la structure fine et spécifique des données.

L'ajout de bruit aléatoire pendant la génération découle de la thermodynamique (mouvement brownien) : il empêche les pixels de s'effondrer vers la moyenne du jeu de données, forçant le modèle à choisir une incarnation précise et détaillée de l'objet demandé.

4. La physique comme raccourci : Générer sans le facteur chance

Si le bruit est vital, il rend la génération lente (processus stochastique). Pour accélérer, les chercheurs ont mobilisé des outils issus de la mécanique statistique.

  • De l'EDS à l'ODE : En s'appuyant sur l'Équation de Fokker-Planck, des équipes de Stanford et Google ont prouvé qu'on pouvait transformer un processus aléatoire en une Équation Différentielle Ordinaire (ODE) déterministe.
  • L'approche DDIM : Cette méthode permet de ne plus dépendre du hasard à chaque étape. On suit des lignes de courant (streamlines) au sein du champ vectoriel pour atterrir précisément sur une image réaliste.
  • Efficacité et Vitesse : On peut générer des visuels de haute qualité en 10 fois moins d'étapes de calcul, sans sacrifier la netteté du résultat final.

5. Le « Guidage » : Comment l'IA apprend à obéir (et à ignorer)

La technique ultime pour dompter ces modèles est le Classifier-Free Guidance (Guidage sans classificateur).

  • Le Vecteur Pur d'Intention : Le modèle calcule simultanément deux directions : l'une basée sur le prompt (conditionnée) et l'autre sans aucun texte (non conditionnée). En soustrayant la direction générale de la direction spécifique, on isole l'essence même de l'intention du prompt.
  • Le facteur Alpha : On amplifie ensuite ce signal via un coefficient « alpha ». C'est ce « push » directionnel qui force littéralement l'arbre à « grandir » en détails sous nos yeux.
  • L'art de la négation : Certains modèles utilisent des prompts négatifs : en soustrayant activement des concepts comme « doigts en trop » ou « marcher à reculons », on éloigne le processus de diffusion des zones d'échec du modèle.

Depuis 2020, nous sommes passés de simples expérimentations de laboratoire à une vitesse de progression fulgurante, aboutissant à une classe de machine fondamentalement nouvelle. Ici, le langage remplace les pinceaux et les caméras pour naviguer dans des architectures mathématiques d'une complexité vertigineuse.

Pourtant, une question demeure : comment notre cerveau biologique, forgé pour appréhender un monde en trois dimensions, parvient-il à concevoir et à diriger des outils capables de se repérer avec une telle finesse au cœur de variétés mathématiques aux dimensions quasi infinies ? L'intuition géométrique semble être la seule boussole viable dans ces nouveaux territoires de la création synthétique.

Quiz : teste ta compréhension

Objectif : Répondre à des questions sur le chapitre 10 (diffusion, CLIP, bruit, DDPM, DDIM, guidage) et obtenir une note sur 20.

Choisis un quiz :

Cartes mémoire

Cartes mémoire (flashcards) pour réviser les notions du chapitre 10 (diffusion, CLIP, DDPM, DDIM, guidage).

Chargement…

Fiche enseignant

Contenu de la fiche pédagogique pour le chapitre 10 (objectifs, durée par section, réponses aux quiz).

Retour en haut