Du pixel à la description : comment une machine voit

Pour un ordinateur, une image est une matrice de nombres. De ce point de départ viennent quatre tâches distinctes, deux architectures qui coexistent aujourd'hui, et une technique qui génère des images à partir du bruit. Ce post parcours ce chemin complet, du pixel à la description et retour, avec les exemples numériques qui permettent de suivre chaque étape sans écrire de code. Ce qui suit vient du module « Introduction to computer vision concepts » de Microsoft Learn.

L'image comme matrice

Une image est une matrice de pixels avec des valeurs de 0 (noir) à 255 (blanc). En niveaux de gris elle a une seule couche ; en couleur elle a trois canaux RGB. Sur cette matrice travaille un filtre : une matrice de poids appelée kernel. Pour chaque bloc de pixels, le kernel calcule la somme pondérée et assigne le résultat à une nouvelle matrice, en ajustant les valeurs qui sortent de 0 à 255 et en garnissant la bordure. Ce que le filtre met en avant dépend de comment il est construit : un kernel pensé pour les bords renvoie les endroits où l'image change, et pour cela il suffit que les pixels voisins diffèrent entre eux.

L'exemple travaillé le montre avec des nombres. Sur une matrice de 7×7 avec un carré central de 255, le kernel [-1 -1 -1; -1 8 -1; -1 -1 -1] produit -255 au coin et -510 en glissant d'un pixel. Les valeurs négatives apparaissent là où les pixels changent, et c'est exactement un bord. Le kernel ne regarde pas l'image entière d'un coup : il glisse bloc par bloc et écrit la matrice de sortie au fur et à mesure.

Les quatre tâches

Sur la même matrice on peut répondre à quatre questions différentes, et chacune renvoie une sortie avec une autre forme : une étiquette, plusieurs boîtes, une carte de pixels ou une description écrite.

Classification d'images : étiquette du sujet principal ; entraîné avec des images étiquetées.
Détection d'objets : localisation de chaque objet avec des boîtes englobantes.
Segmentation sémantique : classe pixel par pixel selon l'objet auquel il appartient, et c'est la prédiction la plus précise.
Analyse contextuelle : relie les objets au texte pour décrire ou étiqueter des images.

La différence devient tangible avec la boîte à fruits intelligente. Demander « pomme ou orange ? » demande de la classification ; « combien de pommes et où ? » demande de la détection ; le recadrage exact du fruit dans la photo demande de la segmentation ; et « décris la scène entière » demande un modèle multimodal. Le même scénario passe de simple à sophistiqué selon la question, et la question métier décide de la tâche ; la tâche, ensuite, décide quel modèle s'entraîne. L'analyse contextuelle est celle qui fait le saut vers le texte : elle relie les objets détectés à des mots pour décrire l'image ou leur donner des étiquettes avec un sens.

flowchart LR
    I[Image comme matrice de pixels] --> K[Kernel : sommes pondérées par bloc]
    K --> M[Carte de caractéristiques]
    M --> T[Tâche : classifier, détecter ou segmenter]
    T --> S[Sortie : étiquette, boîtes ou pixel par pixel]

En clair : l'image passe par des filtres qui extraient des patrons, ces patrons alimentent la tâche choisie, et la sortie prend la forme que cette tâche demande.

La CNN, toujours la référence historique

Un réseau de neurones convolutif (CNN) est l'architecture historiquement dominante, et il construit sa représentation en couches. Les couches de filtres extraient des cartes de caractéristiques avec des poids qui démarrent aléatoires ; les couches d'agrégation réduisent ces cartes ; ensuite viennent l'aplatissement et un réseau totalement connecté dont la sortie softmax donne une probabilité par classe.

L'entraînement est le cycle qui ferme la boucle : la perte entre la prédiction et la vraie étiquette ajuste les poids sur plusieurs époques, et l'erreur se rétropropage jusqu'aux filtres. Chaque tour compare, calcule l'écart et corrige. Quand cela se termine, les poids sauvegardés servent à prédire des étiquettes sur de nouvelles images.

Transformateurs de vision et modèles multimodaux

La technique d'attention des transformateurs de langage s'est transférée aux images. Le vision transformer (ViT) extrait des patchs de pixels comme vecteurs, y insère des caractéristiques visuelles — couleur, forme, contraste et texture — et encode aussi leurs relations contextuelles. La carte sémantique qui résulte de cet encodage est ce qui alimente l'attention. La différence avec la CNN est dans le mécanisme : l'attention calcule comment chaque patch se relie à son contexte au lieu de s'appuyer sur des filtres fixes. Chaque patch porte en lui ses caractéristiques visuelles — couleur, forme, contraste et texture — et le modèle travaille sur les relations entre elles.

Le résultat est que le modèle déduit des relations sémantiques entre caractéristiques visuelles sans « comprendre » les objets comme nous les comprenons nous. Et quand on le combine avec un transformateur de langage, apparaît le modèle multimodal : il décrit des images ou répond à des questions dessus. La combinaison est ce qui permet de recevoir une image et une question, et de renvoyer une réponse écrite sur ce que la photo montre.

Générer des images : la diffusion

La génération d'images travaille à l'inverse des tâches précédentes. Le prompt identifie des caractéristiques visuelles liées, et l'image se crée itérativement à partir d'un ensemble aléatoire de pixels et en retirant du bruit, en évaluant contre le prompt à chaque itération jusqu'à ce que reste la scène désirée. Chaque tour rapproche l'image de ce que le texte a demandé.

La génération de vidéo applique la même idée avec deux pièces supplémentaires : le comportement physique et la progression temporelle, qui font qu'un objet tombe avec son poids et que la scène avance. En d'autres mots, la même technique de retrait de bruit itératif sert pour une image fixe et pour une séquence, en évaluant toujours le résultat contre ce que le prompt a demandé.

Comment on choisit dans un projet

L'ordre qui fonctionne est le même que dans le reste de ces décisions : d'abord la question, ensuite la tâche, à la fin le modèle. S'il faut une étiquette pour toute l'image, classification ; s'il faut savoir combien d'objets il y a et en quelle partie, détection ; s'il faut un recadrage exact ou une mesure par région, segmentation ; s'il faut du texte décrivant la scène, analyse contextuelle ou multimodale.

Ensuite vient le modèle. Avec beaucoup d'images étiquetées, la CNN est le chemin traditionnel. Quand la question porte sur des relations entre des parties de l'image, les vision transformers apportent l'attention. Et si ce qu'on veut est une nouvelle image, le problème devient de la diffusion et le prompt commande.

Ce qui reste

Deux critères pour ne pas se perdre. D'abord, la question décide de la tâche : étiquette, localisation, recadrage ou description ? Ensuite, l'architecture se choisit selon le travail : filtres convolutifs pour extraire des patrons, attention pour relier les patchs, diffusion pour générer.

Ce que les trois voies partagent, c'est le point de départ : une matrice de nombres. Comprendre, produire et décrire sont des travaux différents sur la même représentation, et c'est pourquoi il vaut mieux commencer par la question et seulement ensuite par le modèle. Choisir à l'inverse oblige à refaire l'entraînement quand la question apparaît, ce qui est la façon la plus coûteuse de découvrir qu'une réponse manquait.

Limite de cette source : elle explique des mécanismes et des exemples numériques, et n'apporte pas de mesures de précision de modèles concrets, donc comparer CNN et ViT sur un dataset propre reste à mesurer ici. Ce qu'elle clarifie bien, c'est l'ordre des décisions.

*Source : module « Introduction to computer vision concepts » de Microsoft Learn.*