Aller au contenu

La chaîne de vision, en marche

Trois modèles en cascade, sur des images réelles. Chaque étape montre sa décision et le chiffre sur lequel elle repose, du tri initial jusqu’à la légende produite mot par mot. Voir la page du projet

  1. 01Trier : photographie, ou non ?
  2. 02Mesurer le bruit, puis débruiter
  3. 03Décrire, mot par mot
  4. 04Voir où le modèle regarde

Le modèle est entraîné sur COCO, un jeu de données anglophone : il ne produit que de l’anglais. Traduire ses sorties fausserait la démonstration, on jugerait une traduction, pas le modèle. Tout le reste de cette page suit la langue choisie.

La chaîne complète, image par image

Dix images passées dans les trois modèles, à la suite. Chaque étape affiche ce que le modèle a réellement produit : sa décision, le chiffre sur lequel elle repose, et le temps que cela a pris.

Comment lire ces chiffres
Étage 1 : photographie, ou non ?
Confiance du trieur, de 0 à 1. Au-dessus de 0,5 il répond « photographie », en dessous il écarte. Plus la valeur est proche de 0 ou de 1, plus le modèle est sûr de lui.
agitation mesurée
À quel point les pixels voisins se contredisent, mesuré sans apprentissage. Une photographie propre varie doucement d’un pixel à l’autre ; le bruit crée des sauts brusques partout et fait monter la valeur. Au-dessus du seuil calibré, l’image part au débruitage.
Légende produite
Ces scores comparent la légende produite aux cinq légendes écrites par des humains pour la même image. BLEU-4 compte les suites de quatre mots communes : au-dessus de 0,22 c’est bon, et cette famille d’architecture plafonne vers 0,24. METEOR tient compte des synonymes, ROUGE-L de la plus longue séquence commune.
Étage 3 : décrire
Temps réel sur le processeur ayant servi à produire cette démo. C’est ce qui exclut le temps réel, et pourquoi la page est servie en statique.

planche de surf

Image d’exemple : planche de surf

Chemin parcouru

  1. Étage 1 : photographie, ou non ?photographie64,7 %
  2. Étage 2 : faut-il débruiter ?sous le seuil : image jugée propre, rien à faireagitation mesurée 0,0677 · seuil de déclenchement 0,1052
  3. Étage 3 : décrire788 ms

Légende produitegénéré en anglais par le modèle

a man riding a wave on a surfboard

Cliquez un mot : la zone que le modèle regardait au moment de le produire s’allume sur l’image.

BLEU-1
1
BLEU-2
1
BLEU-3
1
BLEU-4
1
METEOR
0,999
ROUGE-L
1

Tous ces scores vont de 0 à 1 : 0, aucun mot en commun avec les légendes humaines ; 1, la même phrase mot pour mot. Sur l’ensemble du jeu de test, le modèle tourne autour de 0,23 en BLEU-4, ce qui est bon pour cette famille de modèles.

Un score de 1 signifie que la légende produite reproduit mot pour mot l’une des cinq références humaines. METEOR n’atteint jamais 1 exactement : il pondère les correspondances par lemme et par synonyme.

Les cinq légendes humaines de référence
  • A person that is surfing in the water.
  • A man on a surfboard surfing a wave in the ocean.
  • A man riding a wave on a surfboard.
  • a surfer in a white shirt surfing on a sunny day
  • A man on a surfboard riding an ocean wave.

pizza

Image d’exemple : pizza

Chemin parcouru

  1. Étage 1 : photographie, ou non ?photographie68 %
  2. Étage 2 : faut-il débruiter ?sous le seuil : image jugée propre, rien à faireagitation mesurée 0,0578 · seuil de déclenchement 0,1052
  3. Étage 3 : décrire1362 ms

Légende produitegénéré en anglais par le modèle

a pizza sitting on top of a white plate

Cliquez un mot : la zone que le modèle regardait au moment de le produire s’allume sur l’image.

BLEU-1
1
BLEU-2
0,866
BLEU-3
0,7539
BLEU-4
0,6804
METEOR
0,7052
ROUGE-L
0,7778

Tous ces scores vont de 0 à 1 : 0, aucun mot en commun avec les légendes humaines ; 1, la même phrase mot pour mot. Sur l’ensemble du jeu de test, le modèle tourne autour de 0,23 en BLEU-4, ce qui est bon pour cette famille de modèles.

Un score de 1 signifie que la légende produite reproduit mot pour mot l’une des cinq références humaines. METEOR n’atteint jamais 1 exactement : il pondère les correspondances par lemme et par synonyme.

Les cinq légendes humaines de référence
  • A cheese pizza sitting on top of white paper and a large plate.
  • Cheese pizza is sliced into small pieces on a plate.
  • The pizza has been cut into tiny square pieces.
  • a pizza on a pan cut into squares
  • A delicious pizza sets on top of a plate.

photographie nette

Image d’exemple : photographie nette

Chemin parcouru

  1. Étage 1 : photographie, ou non ?photographie89 %
  2. Étage 2 : faut-il débruiter ?sous le seuil : image jugée propre, rien à faireagitation mesurée 0,0522 · seuil de déclenchement 0,1052
  3. Étage 3 : décrire812 ms

Légende produitegénéré en anglais par le modèle

a group of people riding skis on a snow covered slope

Cliquez un mot : la zone que le modèle regardait au moment de le produire s’allume sur l’image.

photographie nette

Image d’exemple : photographie nette

Chemin parcouru

  1. Étage 1 : photographie, ou non ?photographie75,3 %
  2. Étage 2 : faut-il débruiter ?sous le seuil : image jugée propre, rien à faireagitation mesurée 0,0482 · seuil de déclenchement 0,1052
  3. Étage 3 : décrire930 ms

Légende produitegénéré en anglais par le modèle

a pizza sitting on top of a wooden table

Cliquez un mot : la zone que le modèle regardait au moment de le produire s’allume sur l’image.

photographie nette

Image d’exemple : photographie nette

Chemin parcouru

  1. Étage 1 : photographie, ou non ?photographie63 %
  2. Étage 2 : faut-il débruiter ?sous le seuil : image jugée propre, rien à faireagitation mesurée 0,0333 · seuil de déclenchement 0,1052
  3. Étage 3 : décrire690 ms

Légende produitegénéré en anglais par le modèle

a man in a red shirt is holding a skateboard

Cliquez un mot : la zone que le modèle regardait au moment de le produire s’allume sur l’image.

photographie bruitée

Image d’exemple : photographie bruitée
avant
La même image après passage dans le débruiteur : photographie bruitée
après débruitage

Chemin parcouru

  1. Étage 1 : photographie, ou non ?photographie80,6 %
  2. Étage 2 : faut-il débruiter ?au-dessus du seuil : débruitage appliquéagitation mesurée 0,1754 · seuil de déclenchement 0,1052
  3. Étage 3 : décrire549 ms

Légende produitegénéré en anglais par le modèle

a group of people skiing down a hill

Cliquez un mot : la zone que le modèle regardait au moment de le produire s’allume sur l’image.

photographie bruitée

Image d’exemple : photographie bruitée
avant
La même image après passage dans le débruiteur : photographie bruitée
après débruitage

Chemin parcouru

  1. Étage 1 : photographie, ou non ?photographie68 %
  2. Étage 2 : faut-il débruiter ?au-dessus du seuil : débruitage appliquéagitation mesurée 0,2065 · seuil de déclenchement 0,1052
  3. Étage 3 : décrire1507 ms

Légende produitegénéré en anglais par le modèle

a plate with a plate of food on it

Cliquez un mot : la zone que le modèle regardait au moment de le produire s’allume sur l’image.

schéma

Image d’exemple : schéma

Chemin parcouru

  1. Étage 1 : photographie, ou non ?écartée : pas une photographie3,7 %
  2. la chaîne s’arrête ici

texte scanné

Image d’exemple : texte scanné

Chemin parcouru

  1. Étage 1 : photographie, ou non ?écartée : pas une photographie0 %
  2. la chaîne s’arrête ici

dessin

Image d’exemple : dessin

Chemin parcouru

  1. Étage 1 : photographie, ou non ?écartée : pas une photographie0,4 %
  2. la chaîne s’arrête ici

Scores sur le jeu de test

4 000 images de COCO val2017, jamais vues à l’entraînement.

DécodageBLEU-1BLEU-2BLEU-3BLEU-4CIDERMETEOR
recherche en faisceau0,64090,45690,32050,22910,60030,3936
décodage glouton0,62770,43470,28420,18670,5460,3697

Comment le modèle a été entraîné

Le légendeur a vu l’intégralité de COCO 2017. À chaque passage sur les données, on mesure combien il hésite sur des images qu’il n’a PAS vues : c’est la courbe ci-dessous. Elle descend tant qu’il apprend, et remonte quand il commence à réciter par cœur. On garde donc le modèle du point le plus bas, pas le dernier.

Chaque point mesure entre combien de mots le modèle hésite avant d’écrire le suivant. Il part de 21 et descend à 14, sur un vocabulaire de 10 296 mots : plus le chiffre est bas, plus le modèle sait quoi écrire.

hésitation du modèle sur des images jamais vuesNombre de mots entre lesquels le modèle hésite à chaque étape, sur des images jamais vues, au fil de 8 passages sur les données. Il descend de 21 à 14 au passage 5, puis remonte : c’est le modèle du passage 5 qui est retenu.211814modèle retenuau-delà, le modèle récitepassage sur les données 18plus bas = le modèle hésite moinsmots possibles

Le modèle

architecture
InceptionV3 gelé, attention de Bahdanau, décodeur LSTM
entraînement
COCO 2017 complet, 118 287 images, environ 590 000 légendes
vocabulaire
10 296
passages sur les données
arrêt anticipé au huitième passage, meilleure validation au cinquième
matériel d’inférence
NVIDIA GeForce RTX 4080

Les douze images du relevé complet

Dans la distribution d’entraînement

Catégories présentes dans COCO 2017, le jeu sur lequel le modèle a été entraîné.

  • 3 justes
  • 4 partielles
  • 0 fausses
  1. Photographie : golden retriever assis dans l’herbe

    Légende produitegénéré en anglais par le modèlea black and white dog laying on top of a wooden bench

    partielle · chien juste ; couleur, posture et support faux

  2. Photographie : vélos garés dans une rue

    Légende produitegénéré en anglais par le modèlea person riding a bike down a street

    partielle · objet et lieu justes ; action inventée, les vélos sont à l’arrêt

  3. Photographie : train à quai

    Légende produitegénéré en anglais par le modèlea train that is parked on the tracks

    partielle · lieu juste, ce sont bien des voies ; mais aucun train n’est visible

  4. Photographie : pizza sur une table

    Légende produitegénéré en anglais par le modèlea pizza sitting on top of a wooden table

    juste

  5. Photographie : chat assis

    Légende produitegénéré en anglais par le modèlea cat is laying on a bed

    juste

  6. Photographie : bus à impériale dans une rue

    Légende produitegénéré en anglais par le modèlea double decker bus parked in front of a building

    juste

  7. Photographie : chou romanesco en gros plan

    Légende produitegénéré en anglais par le modèlea close up of a plate of food on a table

    partielle · « close up » et « food » justes ; ni assiette ni table

Hors distribution

Sujets absents des catégories COCO.

  • 0 justes
  • 0 partielles
  • 5 fausses
  1. Photographie : aurore boréale au-dessus dune forêt, de nuit

    Légende produitegénéré en anglais par le modèlea group of people standing next to each other

    fausse · aucune personne, aucun groupe : une aurore au-dessus dune forêt

  2. Photographie : grains de pollen au microscope électronique, colorisés

    Légende produitegénéré en anglais par le modèlea bunch of bananas sitting on top of a table

    fausse · ni bananes ni table : des grains de pollen vus au microscope

  3. Photographie : peinture à l’huile, paysage de montagne

    Légende produitegénéré en anglais par le modèlea group of people standing on top of a body of water

    fausse · hallucine des personnes

  4. Photographie : lunette astronomique sur sa monture

    Légende produitegénéré en anglais par le modèlea fire hydrant sitting on top of a table

    fausse · ni borne d incendie ni table : une lunette astronomique

  5. Photographie : dunes de sable, désert vide

    Légende produitegénéré en anglais par le modèlea group of people standing on a beach

    fausse · hallucine des personnes ; confond sable et plage

Le modèle rabat chaque scène inconnue sur la scène COCO la plus proche. Sur trois des six images, il décrit des personnes ; aucune n’en contient.

Crédits des images

Toutes proviennent de Wikimedia Commons, sous licence permettant la redistribution.