Comment fonctionnent les applications d’identification musicale

Depuis ses débuts en 1999, Shazam a été utilisé pour identifier des chansons plus de cinquante milliards de fois, sans même compter les identifiants de Soundhound, MusicID et d’autres applications de reconnaissance sonore.

Du point de vue de l’utilisateur, c’est simple : lancez l’application, appuyez sur un bouton et laissez votre téléphone écouter la chanson. Après quelques secondes, même avec un bruit de fond et une distorsion, l’application vous dira quelle est la chanson. Cela fonctionne si vite et si bien que cela semble presque magique – mais, comme pour la plupart des choses magiques de nos jours, il est principalement géré par des algorithmes.

Quelle est l’idée derrière ces applications ?

Shazam, Soundhound et d’autres services d’identification musicale fonctionnent tous essentiellement de la même manière : ils disposent d’une grande base de données d’informations sur les chansons, d’un algorithme capable d’extraire rapidement des informations de votre échantillon de chanson et d’une application pour vous permettre d’interagir avec ces éléments. Techniquement, vous n’avez même pas besoin d’un smartphone.

Shazam était à l’origine utilisable sur les téléphones à clapet à l’ancienne en enregistrant simplement une chanson et en l’envoyant par SMS au service. Soundhound est en fait allé encore plus loin en vous permettant également de chanter ou de fredonner dans leur application qu’ils comparent à une base de données soumise par l’utilisateur d’autres enregistrements de chants / fredonnements.

Comment travaillent-ils?

En termes simples, le processus ressemble à ceci :

1. La base de données de l’application contient une collection massive d’« empreintes digitales » de chansons ou de petits morceaux de données sur les modèles sonores uniques de la chanson.
2. Lorsqu’un utilisateur appuie sur le bouton « Enregistrer », l’application écoute la musique et crée une empreinte digitale basée sur les quelques secondes d’audio qu’elle entend.
3. Cette empreinte digitale est vérifiée par rapport à la base de données des empreintes digitales existantes. Si votre empreinte digitale de dix secondes correspond à une partie d’une chanson, vous obtenez le résultat de votre chanson (espérons-le correct). Si ce n’est pas le cas, vous obtiendrez une erreur.

Si vous cherchez juste une explication au niveau de la surface, c’est tout ce que vous devez savoir. La partie vraiment intéressante est de savoir comment vous obtenez cette empreinte digitale.

Empreintes de chansons

Tout commence par un spectrogramme, comme celui du graphique ci-dessus, tiré de un article écrit par l’un des fondateurs de Shazam, Avery Wang. Il s’agit essentiellement d’un graphique avec le temps sur l’axe des x (horizontal), la fréquence sur l’axe des y (vertical) et l’amplitude représentée par différents niveaux d’intensité de couleur. Toute séquence de sons peut ainsi être convertie en un spectrogramme, et n’importe quel point du spectrogramme peut se voir attribuer un ensemble de coordonnées. Juste comme ça, les notes peuvent être des nombres.

Si tout ce que vous aviez à faire était de faire correspondre quelques sons les uns aux autres, vous pourriez vous arrêter ici. Si vous voulez parcourir une base de données pleine de millions de chansons, cependant, un spectrogramme détaillé contient beaucoup trop de points de données à parcourir à n’importe quelle vitesse.

La grande percée dans la reconnaissance musicale a été la réalisation que vous pouvez identifier les sons avec seulement quelques données : les pics ou les parties les plus intenses. Non seulement se débarrasser de la plupart des parties à faible énergie d’une chanson diminue la taille du spectrogramme, mais cela rend les applications moins susceptibles d’identifier un bruit de fond sourd et cohérent dans le cadre des sons cibles. Imaginez une ligne d’horizon de la ville – les parties les plus identifiables sont les sommets des bâtiments, pas les étages intermédiaires, et c’est ce que vous pouvez voir du plus loin.

Ainsi, chaque seconde de chaque chanson est réduite à quelques-uns des points de données les plus intenses ; tout sur les toits de la ville est supprimé, sauf le sommet. Mais ce n’est pas encore assez efficace pour être immédiatement consultable, donc la prochaine étape consiste à « hacher » cette séquence de pics. Le hachage prend simplement un ensemble d’entrées, les fait passer par un algorithme et leur attribue une sortie entière. Dans ce cas, le hachage est généré en prenant deux des pics de haute intensité, en mesurant le temps qui les sépare et en additionnant leurs deux fréquences.

Le résultat est une chaîne de nombres, facilement stockable et consultable. Lorsqu’un ordinateur lit ce hachage, il les reconnaîtra comme représentant la fréquence et la distance-temps. Une fois que tous les pics de la chanson ont été identifiés et hachés, la transformation est terminée : la chanson a maintenant un numéro unique de 32 bits qui lui sert d’identifiant dans la base de données. Plus important encore, chaque seconde de la chanson est représentée par les chiffres.

Lorsque votre téléphone entend de la musique, il suit exactement ce processus : il filtre tout sauf les points les plus élevés, les hache et crée une empreinte digitale pour les quelques secondes qu’il a enregistrées. Une fois cette opération terminée, votre téléphone a juste besoin de voir où les chaînes de chiffres correspondantes apparaissent dans la base de données, ce qui lui permet de faire correspondre les fréquences et la synchronisation détectées à la bonne chanson et de vous la renvoyer en quelques secondes.

Musique et plus

Cette technologie a été la plus largement utilisée pour la reconnaissance musicale, mais les applications de reconnaissance sonore peuvent également fonctionner avec des films, des publicités, des émissions de télévision, des chants d’oiseaux, etc. Shazam et Soundhound sont les plus connus, mais vous pouvez aussi maintenant demander à Google quelle chanson joue et obtenez une réponse précise.

Et si vous vous demandez : « Est-ce que ces sociétés gardent une trace des chansons sur lesquelles on pose des questions ? » la réponse est oui. » Les statistiques d’identification musicale ont en fait pu prédire le succès des chansons et des artistes avec un niveau de précision assez élevé, et de grandes maisons de disques comme Warner ont passé des contrats avec des applications comme Shazam pour aider à trouver des artistes prometteurs. Alors, si vous voulez soutenir un artiste, autant faire votre part et rechercher sa chanson ! Vous pouvez simplement les aider à décoller.