Hacks et normes d’apprentissage par lots – Mini lot

À l’ère moderne où les machines ont dépassé les humains dans de nombreux domaines, il est fascinant de voir comment les machines apprennent simplement en regardant les données, en les analysant et en prenant des décisions sur la base des données traitées, mais aussi simple que cela puisse paraître, ce n’est pas si facile quand vous le faites vous-même.

Si vous travaillez avec l’apprentissage automatique hors ligne, la principale raison est probablement le serveur hors ligne et le coût inférieur de l’apprentissage automatique hors ligne par rapport à l’apprentissage automatique en ligne, mais vous pouvez toujours vous retrouver en difficulté lorsque vous n’avez pas de spécifications élevées. machine et vous devez exécuter une grosse application. Cependant, il n’y a pas lieu de s’inquiéter si vous connaissez le concept des mini-lots.

Avant de nous plonger dans le résumé des mini-lots, j’aimerais passer en revue certains concepts de base de l’apprentissage automatique qui incluent l’époque et le poids. Ceux-ci faciliteront la compréhension des mini-lots.

Alors, parlons d’abord du poids dans l’apprentissage automatique. Selon Deepai.org

« Le poids est le paramètre d’un réseau neuronal qui transforme les données d’entrée dans les couches cachées du réseau. Un réseau neuronal est une série de nœuds, ou neurones. Dans chaque nœud se trouve un ensemble d’entrées, un poids et une valeur de biais. »

En termes simples, vous pouvez dire que le poids est l’algorithme d’apprentissage automatique que vous avez créé.

Le mot époque dans l’apprentissage automatique fait référence à un cycle complet de formation et de mise à jour des algorithmes d’apprentissage automatique.

Mini apprentissage par lots

Avant d’introduire les mini-lots, imaginons un scénario dans lequel vous avez un modèle pour un ensemble d’apprentissage avec des millions d’images. Lorsque vous exécutez ce modèle, toutes les images passeront par le modèle, analyseront les données et la sortie correspondante sera générée, et après tout ce processus, le poids sera mis à jour. C’est la règle standard de l’apprentissage hors ligne et, comme vous l’avez peut-être remarqué, ce processus peut prendre beaucoup de temps et s’il y a des problèmes avec votre matériel, tout le processus peut être ruiné. C’est là que les mini-lots entrent en jeu et résolvent tous ces problèmes.

Maintenant, imaginons à nouveau le même scénario mais avec le concept de mini batch learning.

En mini apprentissage par lotsce gros morceau de millions d’images sera divisé en lots plus petits appelés mini lots à exécuter un par un, les mini lots seront également destinés à l’entrée et à la sortie.

Dans ce scénario, les plus petits lots seront pris un par un comme entrée et les données de l’algorithme seront analysées, les erreurs seront supprimées et sur cette base, le poids sera mis à jour. Ce processus se poursuivra jusqu’à ce que le dernier mini lot soit analysé et que l’algorithme soit mis à jour. Peu importe le nombre de ces ensembles de données. Il peut s’agir d’une seule époque ou de milliers d’époques, cela n’a pas d’importance car nous donnons à notre réseau de neurones une quantité considérable pour exécuter, analyser et mettre à jour les poids.

Taille du mini lot

La raison de l’utilisation de mini-lots est que nous pouvons exécuter des lots plus petits dans le réseau de neurones pour exécuter et mettre à jour le poids plus fréquemment et c’est pourquoi nous devons définir correctement la taille du mini-lot afin d’en tirer le meilleur parti. Il existe certaines normes pour définir la taille d’un mini lot et la priorité la plus élevée est que la taille du mini lot doit être en nombre, et ce nombre doit être décidé très soigneusement car si le nombre est très grand, l’exécution prendra du temps et le réseau de neurones sera mis à jour moins fréquemment, ce qui finira par diminuer la précision. Si nous utilisons une valeur plus petite, nous mettrons à jour le réseau de neurones plus fréquemment. Cela peut également produire des résultats erronés si l’un des jeux de données est mal guidé et les mises à jour seront également faites fréquemment ce qui peut ralentir la vitesse de traitement et augmenter le temps que cela prend, c’est pourquoi il est important d’utiliser un bon nombre de tailles de lots, pas trop grand et pas trop petit non plus. Généralement, la taille du lot est placée à la puissance de 2.