Deep learning : vision en trois étages

Ce que c’est

Une chaîne, pas un modèle : trier ce qui est descriptible, réparer ce qui peut l’être, puis décrire.

Ce qui était dur

Trois modèles à entraîner, et une contrainte qui les relie : débruiter une image propre l’abîme, il faut donc savoir avant d’agir.

Ce que ça prouve

Le légendage atteint le plafond pratique de sa famille d’architecture, et la chaîne entière se regarde tourner.

Projet mené à cinq, dans le cadre du bloc apprentissage profond du cycle ingénieur. Le commanditaire est fictif : un fonds d’archives à décrire automatiquement.

Décrire un fonds d’images abîmées

Un fonds d’images hétérogène à décrire automatiquement. Photographies, mais aussi schémas, textes scannés, dessins, dans un état de conservation inégal. Décrire une image abîmée donne une description abîmée ; décrire un schéma comme s’il s’agissait d’une photographie donne une description absurde.

Ne réparer que ce qui doit l’être

Le débruitage ne devait s’appliquer qu’aux images qui en avaient besoin : débruiter une image propre la dégrade. Il fallait donc un détecteur de bruit en amont, et non un traitement systématique.

Trois objectifs chiffrés étaient posés d’avance, avant toute expérimentation. Deux n’ont pas été atteints, et la section Limites le dit plutôt que de le mettre en note.

Trois modèles en cascade

Chaîne de vision en trois étages

Un portail, puis deux traitements

1. Image

   de nature quelconque

2. Étage 1, trier

   photographie, ou non ?

   Rejetée : ne descend jamais

   d’où le rappel avant la précision

3. Étage 2, débruiter

   et seulement si nécessaire

4. Étage 3, décrire

   légende, mot après mot

Trois étages en cascade, la sortie de l’un conditionnant l’entrée du suivant.

Étage 1 : trier. Un réseau convolutif entraîné de zéro sépare photographies et non-photographies. Ce qui n’est pas une photographie est écarté avec sa probabilité, et ne descend pas dans la chaîne.

Étage 2 : débruiter, mais seulement si nécessaire. Un détecteur mesure l’agitation des pixels voisins, ce que le bruit fait grimper, avec un seuil calibré au démarrage. Au-dessus du seuil, l’image est jugée bruitée et passe dans un auto-encodeur convolutif ; en dessous, elle continue telle quelle.

Étage 3 : décrire. Un encodeur InceptionV3 gelé produit une grille de caractéristiques, projetée puis lue par un décodeur récurrent muni d’une attention de Bahdanau. La génération se fait par recherche en faisceau avec pénalité de longueur.

contrainte tenue

Le détecteur de bruit repère toutes les images bruitées du jeu de test. Le prix est assumé et mesuré : une image propre sur vingt part au débruitage à tort.

Le meilleur modèle n’est pas celui que j’ai gardé

Mesurer le bruit de mesure avant de comparer. Avant de départager cinq architectures, le même modèle a été réentraîné avec trois graines différentes pour établir à partir de quel écart deux résultats se distinguent réellement : 0,04dBjeu de validationBruit de mesure entre graines : 0,04 dB (jeu de validation, n = 3).. Sans ce seuil, tout classement de modèles proches relève de l’interprétation de bruit.

Le meilleur modèle n’a pas été retenu. Cinq architectures ont été comparées à protocole égal : même jeu, même bruit, même budget. Le U-Net gagne. L’auto-encodeur convolutif, retenu, est 1,39dBjeu de testÉcart de PSNR entre le modèle retenu et le meilleur : 1,39 dB (jeu de test, n = 148). en dessous, avec 112 579paramètresproductionTaille du modèle de débruitage retenu : 112 579 paramètres (production). et un coût d’inférence nettement moindre. L’écart est bien au-dessus du bruit de mesure. Il est réel, et délibérément accepté.

Ce n’est pas un renoncement : sur une chaîne à trois étages où le débruitage n’est qu’un intermédiaire, un gain de qualité intermédiaire qui n’améliore pas la description finale ne justifie pas le coût. Le seul critère qui compte est ce qui arrive à l’étage 3.

Une idée testée puis abandonnée. Un post-traitement de netteté, appliqué après le débruitage, semblait devoir améliorer le rendu. Mesuré, il dégrade le PSNR. Il a été retiré. C’est la seule chose à faire d’une hypothèse qui ne passe pas la mesure, mais elle n’est utile que si l’on a pris la peine de mesurer avant de décider.

arbitrage documenté

Cinq architectures comparées à protocole égal ; le modèle retenu est volontairement moins performant que le meilleur, pour un coût nettement moindre.

arbitrage documenté

Post-traitement de netteté testé après débruitage, puis abandonné parce qu’il dégrade la mesure au lieu de l’améliorer.

Ce que la chaîne produit

Toutes les valeurs ci-dessous sont mesurées sur des jeux de test tenus à l’écart de l’entraînement, et chacune porte sa méthode.

Étage 1. Le chiffre global ne dit presque rien. La classe négative étant trois fois plus nombreuse, un classifieur qui prédirait toujours « non-photo » atteindrait déjà 0,7547exactitudejeu de testExactitude d’un classifieur qui n’apprend rien : 0,7547 exactitude (jeu de test, n = 6111). d’exactitude ; le modèle atteint 0,7766exactitudejeu de testSur cent images, soixante-dix-huit sont classées du bon côté. À comparer aux soixante-quinze qu’obtiendrait un modèle qui répondrait toujours « non-photo » : le gain réel est de trois points., deux points au-dessus. L’AUC, 0,8892AUCjeu de testSe lit de 0,5 à 1 : 0,5 c’est le hasard, 1 c’est parfait. À 0,89, le trieur met presque toujours une photographie devant une non-photographie quand on lui présente les deux., établit qu’il a réellement appris quelque chose. Mais c’est en décomposant les erreurs par type de non-photographie que la tâche se révèle.

Elle réunit quatre tâches de difficulté sans commune mesure. Les textes scannés et les dessins sont séparés sans une seule erreur, soit 0% d’erreurjeu de testTaux d’erreur sur les textes scannés : 0 % d’erreur (jeu de test, n = 1500).. Les schémas posent une difficulté modérée. Les peintures, elles, sont classées « photographie » dans 0,796taux d’erreurjeu de testTaux d’erreur sur les peintures, avant correction ciblée : 0,796 taux d’erreur (jeu de test, n = 1500). des cas, avec une confiance moyenne de 0,63probabilitéjeu de testProbabilité « photo » moyenne attribuée aux peintures : 0,63 probabilité (jeu de test, n = 1500). : le modèle ne se trompe pas dans le doute, il se trompe avec assurance. La métrique binaire globale est donc une moyenne entre un problème trivial et un problème non résolu, et elle masque les deux. Ce que ce classifieur sait faire, c’est écarter du texte ; ce qu’il ne sait pas faire, c’est distinguer une photographie d’une peinture.

Aucune référence publiée ne réunit les trois caractéristiques de cette tâche : classe négative hétérogène, entraînement sans transfert, déséquilibre de trois pour un. Les travaux sur photographie contre peinture rapportent bien mieux, 95,7 % d’exactitude (ResNet50 affiné)(Scientific Reports, 2026, non comparable)95,7 % d’exactitude (ResNet50 affiné) · Scientific Reports, 2026 · Classification binaire photographie contre peinture, deux classes homogènes, jeu Kaggle dont la taille n’a pas pu être vérifiée. · pré-entraîné · comparable : non, Classe négative homogène, uniquement des peintures, là où la nôtre mélange peintures, schémas, dessins et textes ; et dorsale pré- entraînée sur ImageNet là où notre réseau part de zéro. par exemple, mais opposent deux classes homogènes et partent d’une dorsale pré-entraînée (référence méthodologique, pas un chiffre unique(Kornblith, Shlens et Le, 2019, non comparable)référence méthodologique, pas un chiffre unique · Kornblith, Shlens et Le, 2019 · Étude générale du transfert depuis ImageNet vers douze jeux de classification d’images. · sans objet · comparable : non, Ne porte pas sur notre tâche. Citée pour établir que le transfert surpasse l’entraînement de zéro, ce qui justifie de ne pas comparer les deux régimes.). Le plancher trivial reste donc la seule référence solide.

Étage 2. Ici aussi le chiffre seul ne suffit pas, et deux planchers l’encadrent. L’image bruitée sans traitement est à 12,0125dBjeu de testPoint de départ : à 12 décibels, l’image bruitée est méconnaissable. C’est la barre que tout traitement doit dépasser.. Un filtre médian, sans le moindre apprentissage, atteint 18,22dBjeu de testCe qu’atteint un filtre classique de trois lignes, sans rien apprendre. Un modèle entraîné qui ne ferait pas mieux ne servirait à rien. : c’est la barre qu’un modèle appris doit franchir pour justifier son existence. Le modèle retenu atteint 24,428dBjeu de testÉchelle en décibels : en dessous de 15 l’image est méconnaissable, autour de 20 elle redevient lisible, au-delà de 30 l’œil ne voit plus de bruit. Le débruiteur fait passer l’image de 12 à 24. et 0,6769SSIMjeu de testSe lit de 0 à 1 : 0 la structure est perdue, 1 l’image est identique à l’originale. Le bruit la fait tomber à 0,14, le débruiteur la remonte à 0,68. de similarité structurelle.

Un troisième point de comparaison est plus parlant que les deux autres : un auto-encodeur à couches denses, testé au même protocole, plafonne à 13,42dBjeu de testPSNR d’un auto-encodeur dense : 13,42 dB (jeu de test, n = 148)., sous le filtre médian, avec 686 fois plus de paramètres que le modèle convolutif finalement retenu. Sur cette tâche, la convolution n’est pas un raffinement, c’est une condition. Le jeu de test ne compte cependant que cent quarante-huit images, sans intervalle de confiance estimé.

Étage 3 - le résultat de la page. Le légendage atteint 0,2291BLEU-4jeu de testSe lit de 0 à 1, mais personne n’approche de 1 : deux humains qui décrivent la même photo n’emploient pas les mêmes mots. Au-dessus de 0,22 c’est bon, et cette famille de modèles plafonne vers 0,24. et 0,6003CIDErjeu de testSe lit de 0 à environ 1,2 sur ce jeu de données. Au-dessus de 0,5, les légendes produites emploient les mots que les humains ont jugés importants pour décrire l’image. sur quatre mille images de COCO val2017, un jeu que le modèle n’a jamais vu. La recherche en faisceau apporte un gain net sur le décodage glouton, qui plafonne à 0,1867BLEU-4jeu de testBLEU-4 du légendage, décodage glouton : 0,1867 BLEU-4 (jeu de test, n = 4000)..

Ce chiffre a besoin de son repère, sans quoi il ne veut rien dire : la famille d’architecture retenue, un encodeur convolutif gelé suivi d’un décodeur récurrent à attention, plafonne en pratique à 0,24BLEU-4jeu de testLe meilleur score publié pour cette famille d’architecture. Le modèle du projet en est à un cheveu, ce qui veut dire que le progrès ne viendrait plus de réglages mais d’un changement d’architecture. sur ce jeu. Le modèle est donc à quelques millièmes de ce que son architecture permet, et ce qui l’en sépare tient au choix d’architecture, pas au réglage.

La démo montre la chaîne entière à l’œuvre sur douze images libres, sans sélection.

Là où elle s’effondre

Le modèle s’effondre hors de sa distribution d’entraînement, et la démo le montre. Sur cinq images de sujets absents des catégories COCO, 5sur 5 imagesjeu de testLégendes fausses hors distribution d’entraînement : 5 sur 5 images (jeu de test, n = 5). sont fausses. Le mode d’échec est précis : le modèle rabat toute scène inconnue sur la scène COCO la plus proche. Sur 3sur 5 imagesjeu de testImages sans personne décrites comme en contenant : 3 sur 5 images (jeu de test, n = 5)., il décrit des personnes alors qu’aucune n’en contient : le désert devient une plage, une aurore boréale un groupe de personnes, une peinture un rassemblement au bord de l’eau.

Cinq images ne constituent pas un jeu d’évaluation. C’est une illustration du mode d’échec, pas une mesure de taux d’erreur.

L’étage 1 plafonne la chaîne, et le F1 le masquait. Le rappel sur la classe photo est de 0,8746rappeljeu de testVraies photographies que le trieur laisse passer : 0,8746 rappel (jeu de test, n = 1499). pour une précision de seulement 0,5269précisionjeu de testPrécision sur la classe photo : 0,5269 précision (jeu de test, n = 1499). : le portail attrape la plupart des photographies mais laisse passer presque autant de non-photographies. Or l’étage 1 est un portail, pas un filtre correctif : les 12,5%jeu de testPhotographies rejetées à tort par le portail : 12,5 % (jeu de test, n = 1499). de photographies rejetées à tort ne sont ni débruitées ni décrites, aucun mécanisme en aval ne les signale, et le rappel de l’étage 1 plafonne donc mécaniquement ce que l’étage 3 peut traiter, quelle que soit sa qualité.

La correction ciblée a échangé du rappel contre de la précision, dans le mauvais sens. Le hard negative mining a fait passer l’erreur sur les peintures de 0,796taux d’erreurjeu de testTaux d’erreur sur les peintures, avant correction ciblée : 0,796 taux d’erreur (jeu de test, n = 1500). à 0,647taux d’erreurjeu de testTaux d’erreur sur les peintures, après correction ciblée : 0,647 taux d’erreur (jeu de test, n = 1500)., mais l’erreur sur les photographies de 0,046taux d’erreurjeu de testPhotographies rejetées à tort, avant correction ciblée : 0,046 taux d’erreur (jeu de test, n = 1499). à 0,125taux d’erreurjeu de testPhotographies rejetées à tort, après correction ciblée : 0,125 taux d’erreur (jeu de test, n = 1499)., et l’AUC a légèrement baissé, de 0,8908AUCjeu de testAUC avant correction ciblée : 0,8908 AUC (jeu de test, n = 6111). à sa valeur finale. Sur un portail, ces deux mouvements ne se compensent pas : une peinture acceptée à tort reçoit une légende inutile, une photographie rejetée à tort disparaît. Le gain a été mesuré sur la métrique binaire, pas sur l’objectif de la chaîne.

Le coût d’inférence exclut le temps réel. Une légende demande 5 126msproductionGénération d’une légende sur processeur : 5 126 ms (production, n = 12). sur processeur, plus 643msproductionExtraction des caractéristiques sur processeur : 643 ms (production, n = 12). d’extraction des caractéristiques. La démo est donc servie en statique : le résultat est identique, calculé une fois.

Les réglages du faisceau ont été choisis sur la validation, pas sur le test. Le protocole est correct, mais la sélection reste un choix humain, pas un réglage automatique vérifiable par un tiers.

Le jeu de données d’origine n’est pas redistribuable, ce qui interdit à quiconque de rejouer l’entraînement à l’identique. Les images de la démo ont dû être remplacées par des images sous licence libre pour cette raison.

Si je recommençais

J’évaluerais hors distribution dès le départ, pas à la fin. Le résultat qui m’apprend le plus sur ce modèle n’est aucune des métriques de test. C’est la démo. Toutes les mesures du projet ont été faites sur des jeux tirés de la même distribution que l’entraînement, et elles disent uniquement comment le modèle se comporte sur ce qu’il connaît.

Un jeu de contrôle hors distribution, même de quelques dizaines d’images constitué à la main, aurait tenu en une demi-journée et aurait été le chiffre le plus informatif du projet. Il n’existait pas, et c’est une omission de méthode, pas un manque de temps.

Je mesurerais la chaîne complète, pas chaque étage isolément. La chaîne est bien déroulée de bout en bout sur le jeu réel, et on y voit l’étage 1 écarter les non-photographies, mais c’est une démonstration, pas une mesure. Aucun chiffre ne dit ce que le tri et le débruitage apportent à la qualité finale de la description, alors que c’est la seule question qui justifie l’architecture en cascade. Deux décisions en ont souffert : l’arbitrage sur le débruitage, tranché sur un critère de coût faute de pouvoir l’être sur son effet réel, et surtout la correction ciblée de l’étage 1, optimisée sur une métrique binaire qui ignore que le rappel plafonne tout l’aval.

Je partirais d’un encodeur de tri pré-entraîné. Entraîner l’étage 1 de zéro était un choix pédagogique défendable ; c’est aussi la raison la plus probable de l’objectif manqué. Le transfert depuis un modèle existant aurait coûté moins cher et rendu plus.