Comment fonctionne la recherche d’images inversée?

Votre image moyenne vaut probablement beaucoup moins que mille mots – vous ne pouvez apprendre que très peu des selfies. Mais parfois, vous avez vraiment besoin de savoir d’où vient une image, quel que soit le nombre de mots qu’elle vaut.

Pour cela, il existe des moteurs de recherche d’images inversées fournis par Google, TinEye, Bing, Yandex, Pixsy et bien d’autres. Puisque vous ne fournissez aucun mot dans votre requête, comment savent-ils ce qu’il faut rechercher? Et, surtout, comment le trouvent-ils? Le fonctionnement de la recherche d’image inversée de chaque moteur de recherche varie, et ils gardent leurs algorithmes exacts secrets, mais les idées de base sont là et ne sont pas si difficiles à saisir.

Empreinte digitale

Les images peuvent en fait être plus uniques que les empreintes digitales humaines, car les chances de deux images contenant exactement le même arrangement de pixels sont infinitésimales, tandis que la probabilité d’une collision d’empreintes digitales est d’environ 64 milliards – une probabilité relativement bonne. Mais comment faites-vous une empreinte digitale sur une image? Les étapes varient en fonction de l’algorithme, mais la plupart suivent la même formule de base.

Tout d’abord, vous devez mesurer les caractéristiques de l’image, qui peuvent inclure la couleur, les textures, les dégradés, les formes, les relations entre différentes parties de l’image et même des choses comme les transformées de Fourier (une méthode de décomposition des images en sinus et cosinus).

Disons que nous recherchons l’image suivante et que nous avons besoin d’une empreinte digitale de celle-ci.

Pour ce faire, nous pourrions, entre autres, utiliser l’histogramme de couleur de l’image, la transformation de Fourier et la carte de texture, que vous pouvez voir ci-dessous.

Si une image était redimensionnée, floue, pivotée ou manipulée d’une autre manière, il y aurait un certain nombre d’algorithmes utilisant les fonctionnalités ci-dessus et d’autres pour essayer de trouver des résultats.

Encodage, stockage et recherche

Chaque caractéristique d’image de l’empreinte digitale peut être codée sous forme de chaînes de lettres et de chiffres, qui sont faciles à stocker et à indexer dans une base de données. Quelle que soit la combinaison de caractéristiques extraites et stockées, elle deviendra l’entrée du moteur de recherche d’images inversées pour cette image. La base de données de TinEye, par exemple, contient environ 39,6 milliards d’images indexées en février 2020, ce qui signifie qu’ils ont exécuté leur algorithme sur autant d’images et stockent toutes ces empreintes digitales pour comparer les images recherchées.

La deuxième grande partie de l’algorithme consiste à déterminer quelles images sont similaires. Lorsque vous téléchargez une image, elle passera par l’algorithme d’empreinte digitale du moteur de recherche d’images inversées. Le moteur de recherche essaiera ensuite de trouver les entrées avec les empreintes digitales les plus proches, appelées «distance d’image». Il appartient également à chaque moteur de recherche de décider quels facteurs comparer et comment les pondérer, mais ils visent principalement à trouver une distance d’image totale aussi proche que possible de zéro.

Qu’en est-il de l’apprentissage automatique / de l’IA?

Grâce aux techniques d’empreintes digitales / d’indexation décrites ci-dessus, la recherche d’image inversée était plutôt bonne avant même qu’il ne soit pratique de lui appliquer l’IA. Cependant, comme l’IA est excellente pour traiter les images, des éléments tels que les réseaux de neurones convolutifs (CNN) sont très probablement utilisés par de nombreux moteurs de recherche majeurs pour aider à extraire et à étiqueter des fonctionnalités. Google, par exemple, pourrait utiliser un CNN dans sa recherche d’images inversée, ce qui lui permettrait de trouver des mots clés probables pour l’image et de produire des résultats Web et image pertinents, comme ils le font dans Google Photos depuis un certain temps maintenant.

Cela fait passer la recherche d’image inversée au-dessus de l’extraction simple des caractéristiques et de la distance d’image. Les réseaux de neurones convolutifs exécutent essentiellement des images à travers plusieurs filtres qui cartographient plusieurs types différents de fonctionnalités, puis tentent de les classer en fonction de la formation précédente. C’est une simplification excessive, bien sûr, mais il suffit de dire que les CNN rendent la recherche d’images beaucoup plus précise et utile et sont probablement mises en œuvre parallèlement aux anciennes méthodes d’empreintes digitales par vision par ordinateur.

Quel est le meilleur moteur de recherche d’images inversées?

Différents algorithmes signifient que différents moteurs de recherche d’images sont bons pour différentes choses, bien qu’ils visent tous en fin de compte la même cible: trouver une correspondance pour l’image que vous avez téléchargée. Google images a un taux de réussite assez bon, par exemple, mais fait beaucoup de «meilleures hypothèses», ce qui vous permet d’obtenir de nombreuses photos similaires mais pas identiques. C’est génial si vous recherchez une humeur ou une catégorie générale, mais un moteur comme TinEye est beaucoup plus axé sur la recherche d’images identiques, même si elles sont fortement modifiées, et peut même identifier les images dans les photos, ce qui le rend un peu meilleur si vous avez besoin d’une correspondance exacte.

Le moteur de recherche russe Yandex est également réputé pour avoir un excellent outil de recherche d’images, bien qu’il ait peut-être tendance à mieux faire sur les sujets russes. Des outils tels que Pixsy et ImageRaider se concentrent sur l’identification des instances d’utilisation non autorisée, ils ont donc tendance à inclure plus de fonctionnalités telles que les alertes et à se concentrer sur la surveillance des bibliothèques de photos des utilisateurs.

Étant donné que les algorithmes changent tout le temps et sont généralement maintenus verrouillés, il vaut la peine de vérifier plusieurs moteurs différents si l’un d’eux ne renvoie pas les résultats que vous recherchez.

Crédits image: Vapeur d’une rue de New York, Icône de base de données DB