Quand la machine apprend

Rédigé sur le retour de mon voyage en Italie, dans le train, quelques heures après avoir terminé les dernières pages du livre.

Dans ma quête de découverte de l’IA, j'ai commencé par lire les livres de Laurent Alexandre (La Guerre des intelligences, L'IA va-t-elle aussi tuer la démocratie ?) : intéressants mais un peu prophétiques ! Le technicien qui est en moi avait besoin d’un peu plus de concret pour mieux comprendre le fonctionnement de ce qu'on appelle Intelligence Artificielle. C'est ainsi que je me suis lancé dans la lecture de :

Quand la machine apprend: La révolution des neurones artificiels et de l'apprentissage profond

L'auteur Yann Le Cun a obtenu en 2019 le prix Turing pour ses recherches sur l'apprentissage profond (en anglais Deep Learning). Il a également monté et dirigé le FAIR : le laboratoire de recherche en IA de Facebook pendant 5 ans. Enfin, en véritable passionné, il a quitté en 2018 le management pour se concentrer à nouveau sur la recherche fondamentale en IA, toujours chez Facebook. Un ingénieur et doctorant français, figure mondialement connue de l’IA et directeur pour une GAFA, il ne m'en a pas fallu plus pour avoir envie de dévorer ce livre ! Yann Le Cun nous fait d'ailleurs le privilège de publier la version francophone avant la version traduite en anglais.

Le contenu

Du concret et de la technique ce livre n’en manque pas !

La première partie raconte l'histoire de l’IA, des premières pistes, aux périodes creuses, en passant par les différentes tendances, jusqu’au boom des réseaux de neurones profond. Pour cela on suit le parcours professionnel de l'auteur, ses influences, ses expériences et ses découvertes. Quelle carrière ! Beaucoup de choses à découvrir et d’anecdotes intéressantes, on croirait presque que c'était simple.

La seconde partie est très technique : l'auteur y explique le fonctionnement de l'IA de découvertes en découvertes. Le parcours du lecteur est donc progressif, on passe du « perceptron » à la descente de gradient, puis à la « rétropropagation » et aux réseaux convolutifs. Pour être honnête, une fois les bases dépassées cette partie n'est pas facile à digérer, en tout cas pas à la première lecture. Malgré tout le texte est bien illustré et expliqué par des exemples : on s'accroche et on en vient à bout ! Un peu de pseudo-code certes, mais sans surprise, beaucoup de mathématiques… Pour approcher plus facilement la partie technique, je recommande de suivre en parallèle des vidéos explicatives.

Enfin la dernière partie est ma préférée, l'auteur y détaille les applications, les enjeux et les problématiques de la recherche actuelle.

Le FAIR, laboratoire de recherche en IA

En tant qu’admirateur des projets open source de Facebook dans le monde du développement (React, GraphQL, …), j’étais très curieux d'en apprendre plus sur les années Facebook de l'auteur. Il faut savoir que Zuckerberg l'a quand même invité chez lui pour le convaincre de venir (ce qui n'était pas gagné d'avance) !

Yann Le Cun a imposé 3 valeurs pour accepter la gestion du laboratoire d'IA de Facebook :

• Du partage et des publications scientifiques, sans quoi il est impossible de faire progresser la recherche fondamentale. La réputation d'entreprise innovante permet d'attirer les meilleurs talents, ce qui est indispensable à un tel niveau. Les publications scientifiques assurent alors la qualité du travail qui est évalué anonymement par des comités de lecture ;
• La liberté de gamberger. Ne pas imposer de pression à produire des applications à court terme mais mettre en place une collaboration étroite avec la direction produit ;
• Échanger autant que possible les méthodes et résultats, en distribuant les logiciels en open source, car pour citer l'auteur :

  Aucune entreprise, si grande soit-elle, n'a le monopole des bonnes idées.

En suivant ces valeurs, on arrive à un constat étonnant : la recherche fondamentale du laboratoire de Facebook n'utilise que très rarement les données du site. À la place, des bases de données publiques sont utilisées. C'est ainsi que la publication des logiciels peut se faire en open source. Cela permet également aux autres institutions de recherche de comparer les résultats en se servant des mêmes données !

Les applications concrètes

L'IA a pris de l'importance, jusqu'à devenir indispensable au fonctionnement de Facebook (il en est de même pour les autres GAFA), voici quelques-unes des applications qui montrent bien l'ampleur que l'IA peut avoir.

Génération de textes descriptifs

Souvent citée en exemple (il faut dire qu'on peut difficilement être contre), la génération de description d'une image permet d'expliciter le contenu des images envoyées par les utilisateurs de Facebook aux personnes malvoyantes.

Cela permet de remplir le fameux alt="Ceci est une image de chat gris." des balises img en HTML, sans demander aux utilisateurs du site de le faire.

Détection de contenu

L'analyse d'image permet la détection de contenu pédophile (d’ailleurs les jeux de données sont non open source, pour éviter de faciliter le travail aux détracteurs). Pour l'anecdote, en 2018 l'IA de Facebook a censuré le tableau L’origine du monde de Courbet en détectant celui-ci comme contenu pornographique, ce qui a évidemment fait scandale ! Pour remédier à ça, un algorithme de liste autorisée alimentée de toutes sortes d’exceptions pour les œuvres d’art a été ajouté ! Bref, les journées sont longues quand on doit satisfaire plus d’un milliard d’utilisateurs…

La détection de vidéos violentes (par exemple un attentat filmé en direct) pose plus de problème. La détection n'est pas simple car on dispose (heureusement !) de peu de données, ce qui rend complexe l'utilisation de l’IA. Un bon rappel que l’IA actuelle est encore bien loin de pouvoir répondre à tous les usages. C'est pourquoi, en plus de l'IA, il existe une équipe de modérateurs.

Recommandations de contenu

Sans surprise, c'est le cœur de métier de Facebook ! L'IA propulse le fil d'actualités (appelé newsfeed), ainsi que le choix et la fréquence des publicités.

L'objectif est de fournir du contenu qui plaira au lecteur, de calculer le coût par clic et d’optimiser l’affichage des publicités en évitant la frustration.

La traduction instantanée

J’ai adoré la partie sur la compréhension du langage et la traduction !

En premier, on découvre les vecteurs d'enchâssement qui permettent à un système entraîné, de repérer les mots utilisés couramment ensemble, ou non. Cela a permis de développer des applications de prédiction du mot suivant des moteurs de recherche.

La traduction pose plus de problème : les statistiques donnent des résultats peu concluants. La technique la plus efficace est la traduction seq2seq (séquence vers séquence). Mais ce système a besoin de beaucoup de temps de calcul pour donner un bon résultat.

L'idée de génie (qui paraît évidente, une fois connue…) est de trouver le circuit d’attention du texte, pour traduire les bonnes phrases ensemble, lorsque celles-ci sont reliées (comme l'utilisation dans la seconde phrase, d'un pronom qui se réfère au sujet de la première).

Ce travail de détermination du circuit d'attention, détermine la taille des séquences (j'imagine, en cherchant à les rendre le plus courte possible), facilitant ainsi le travail de L’IA et améliorant ses performances. Comme quoi, les techniques de réduction du temps de calcul peuvent être très similaires à de l’optimisation de complexité algorithmique. Cela m’a rassuré, en tant que développeur nos problématiques peuvent être finalement assez semblables !

Les assistants virtuels

Yann Le Cun explique brièvement le fonctionnement du traitement de la voix, puis présente les différents outils open source de traitement de texte disponibles comme Word2vecet FastText.

Il détaille aussi le fonctionnement des assistants virtuels. Oui, ils écoutent toutes les conversations qui sont envoyées aux serveurs de Facebook mais dans le seul but de s’activer au mot déclencheur (comme Alexa ou Ok Google). Tant que celui-ci n’est pas prononcé, rien n’est utilisé. Selon lui, le vrai risque serait de ne pas passer par une entreprise fiable. Les GAFA prendraient des risques bien trop importants à utiliser illégalement ces enregistrements.

Pour développer un assistant virtuel, il faut lui attribuer des fonctionnalités (comme récupérer la météo d’un lieu ou appeler quelqu’un) et les développer. Il faut également transformer les demandes vocales en texte compréhensible par l'IA. À partir de ce texte l’IA peut alors chercher si cela correspond à l'une de ses fonctionnalités ou non… Un bon combo d'IA et d'API !

Pour tenter d’humaniser la conversation avec l'assistant virtuel, les concepteurs n’ont fait que tricher, en ajoutant de nombreux cas à la main.

Les enjeux et le futur

Le livre se termine par le point de vue de Yann sur les dérives potentielles de l'IA et ses alarmistes comme Elon Musk. Devant le peu d’intelligence de ce qu’on appelle l’IA actuelle (quand on connaît au moins un peu son fonctionnement), je dois avouer que je suis tenté de partager le point de vue scientifique de l'auteur. En effet, les verrous à faire sauter pour que l'IA atteigne la compréhension du monde d'un enfant de 3 ans sont déjà infiniment nombreux. L'IA actuelle est uniquement spécifique à un domaine et nécessite pour se spécialiser une quantité de données immense. On est donc en réalité très loin de l'IA humanisée et crainte par la science-fiction. Cependant, il est vrai que la course à l’IA effectuée entre autres par les GAFAM est impressionnante. Les progrès se mesurent de semaine en semaine, via des publications améliorées grâce à la concurrence. On en oublierait presque la Chine (assez peu citée), pourtant très présente dans mes lectures précédentes.

Yann Le Cun donne un point de vue similaire à celui de Laurent Alexandre sur l'IA en France. On forme parmi les meilleurs chercheurs du monde mais la plupart quittent le territoire pour aller travailler aux Etats-Unis. L’ouverture récente de nombreux laboratoires en France pourrait sonner comme une bonne nouvelle, mais ils sont majoritairement financés par des entreprises étrangères qui ne sont clairement pas désintéressées.

En conclusion

L’IA va-t-elle nous aider à mieux comprendre le fonctionnement de notre cerveau ? La question est vite répondue : c’est déjà le cas ! J’ai découvert à quel point les neurosciences sont une source d’inspiration importante de l’IA. Ces deux sciences vont continuer à progresser ensemble sans aucun doute.

Les principales révolutions scientifiques ont en commun d’avoir toutes détrôné l’arrogance humaine des piédestaux successifs de nos anciennes certitudes quant à notre position centrale dans le cosmos. ~Freud.

Je vous laisse sur cette citation. La lecture m'a donné une folle envie de tester Elf open go le programme pour le jeu de Go de Facebook. D'ailleurs si vous ne l'avez pas encore vu, je vous conseille le reportage sur AlphaGo la version de Google.

Au fait, pour vous procurer le livre rendez-vous ici.