Réseaux de neurones/Allez plus loin : le deep Learning
Maintenant que nous venons de voir le concept de réseaux de neurones, nous allons pouvoir observer une utilisation « avancée » ou tout du moins particulière de ce genre de réseaux de neurones : à savoir le Deep Learning.
Définition
modifierBien que performants, les réseaux de neurones sont traditionnellement constitués de peu de couches et cela pour plusieurs raisons, notamment les limitations techniques en termes de puissance de calculs des processeurs. Mais grâce à de fantastiques avancées technologiques, et à des bases de données toujours plus conséquentes, les couches de neurones ont pu prendre du volume.
Le Deep Learning, ou apprentissage profond, fait référence à un type d’Intelligence Artificielle particulier utilisant notamment le réseau du neurone et de certains modèles d'algorithmes particuliers comme le modèle de neurone convolutif (convolutional neural network) afin de générer des modèles intelligents grâce à l’apprentissage.
Fei-Fei Li, acteur majeur dans le machine learning, considère que cela s’apparente à donner la vue aux ordinateurs[1].
Tout comme un réseau de neurones, l’algorithme d’apprentissage profond va prendre en entrée un X afin de retourner un résultat Y en sortie. La valeur d’entrée sera traitée et analysée au travers de nombreuses successions de neurones qui prennent en entrée les sorties des couches de neurones précédentes.
L’origine du nom de l’apprentissage profond vient du fait que le maillage de neurones est complexe, on dit alors que la couche de neurones est alors « profonde ». Ce maillage peut être constitué de plusieurs milliers, voire de millions de neurones.
Une fois que l’architecture de l’algorithme est terminée il faut entraîner les différents neurones afin de les rendre autonomes : c’est la phase d’apprentissage.
Durant cette phase nous allons envoyer une grande quantité d’éléments X à tester à notre algorithme afin d'entrainer les différents neurones à reconnaître les caractéristiques intrinsèques de l’élément et les occurrences. Et c’est là, la force de l’algorithme de Deep Learning : les réseaux de neurones vont découvrir les caractéristiques propres des éléments testés, c’est-à-dire que les neurones auront appris à reconnaître l’élément X de départ. Les éléments à tester peuvent correspondre à des images, sons, rapports statistiques, etc.
Historique
modifierDes débuts timides et limités techniquement
modifier
L’idée du Deep Learning n’est pas une idée récente mais elle date en réalité des années 1980, plus particulièrement suite aux travaux de réseaux de neurones multi-couches et aux travaux de certains pionniers du machine learning et du Deep learning comme le français Yann Le Cun.
En collaboration avec deux autres informaticiens, Kunihiko Fukushima et Geoffrey Hinton, ils mettent au point un type d'algorithme particulier appelé Convolutional neural network.[2]
Bien que cette approche donne des résultats, ses progrès et son évolution sont limités par les progrès technologiques en matière de micro-processeurs, de puissance de calculs, et du manque d’accessibilités à des données afin de pouvoir entraîner les neurones.
Cependant certains chercheurs ont continué à travailler sur ce modèle pendant environ deux décennies et, avec l’aide des évolutions en matières de technologies mais surtout avec la disponibilité toujours plus grande de données, ont pu améliorer cette technique.
Afin de développer un système d'apprentissage performant, il faut pouvoir l'exercer et cela requiert un nombre important de donnée à tester. C'est dans ce contexte qu'en 2007 le Stanford Vision Lab, avec Fei-Fei Li à sa tête, développent un agrégateur d'images où sont consignés et étiquetés quelques millions de photos : ImageNet. En 2010, ImageNet regroupe 15 000 000[3] d'images toutes catégorisés en fonction de leurs caractéristiques propres (véhicules, animaux,...).
2012 : une année sous les projecteurs
modifierEn 2012, le Deep Learning est remis au goût du jour avec un succès retentissant au ImageNet Large Scale Visual Recognition Challenge (ILSVRC) qui est un concours annuel de reconnaissance d’image fondé par l’université de Stanford, dans le cadre de son laboratoire STANFORD VISION LAB.
Plusieurs équipes de chercheurs en informatique s’affrontent dans ce concours tous les ans afin de décerner la victoire au programme ayant eu le plus faible taux d’échec. Et alors que les algorithmes d’apprentissage profond sont absents de la compétition, en 2012 c’est bel et bien un algorithme de Deep Learning qui va remporter l’édition 2012 à la surprise générale.
Références
modifier
