lls sont à l’origine des dernières avancées les plus spectaculaires de l’intelligence artificielle, qu’il s’agisse d’analyse d’images, de reconnaissance vocale ou de traduction. On les appelle les réseaux de neurones profonds, mais ce sont en fait des algorithmes qui permettent aux machines d’apprendre par elles-mêmes – le fameux « machine learning ». Le problème, c’est que personne, pas même leurs concepteurs, n’est en mesure d’analyser par quel raisonnement ils arrivent à de si bons résultats. Les spécialistes de l’IA appellent cela « l’effet boîte noire ». Rien à voir avec les boîtes noires de l’aéronautique ou de l’automobile. C’est même tout le contraire : au lieu de donner accès facilement aux données qu’ils contiennent, les réseaux de neurones sont fondamentalement inaccessibles. On connaît les données qui y entrent, on connaît celles qui en sortent, mais entre les deux… mystère.
Cette opacité est liée à la façon dont fonctionnent ces réseaux de neurones. Avec eux, les données (chiffres, image, voix…) sont analysées par des couches successives de calcul, qui attribuent à chaque fois un coefficient, et transmettent le résultat à la couche suivante. « Pour entraîner un réseau de neurones, on va lui donner une multitude d’exemples, et en fonction de la différence entre le résultat obtenu et le résultat attendu, le système va mettre à jour ses coefficients », explique Gérard Berry, informaticien et professeur au Collège de France . Résultat : « Dans un programme informatique classique, si on connaît le code, on est capable de savoir ce qui se passe et de prévoir le résultat . Avec les réseaux profonds, on ne sait pas ce qui se passe : quand un algorithme donne une réponse, c’est comme ça. »
Opacité
Pendant plusieurs décennies, la question des « boîtes noires » n’était pas vue comme primordiale, car le « machine learning » était avant tout un sujet de laboratoire. Ce n’est plus le cas aujourd’hui : la croissance conjuguée des bases de données (indispensables pour « entraîner » les algorithmes) et des puissances de calcul (indispensables pour créer des réseaux de neurones profonds) a donné des résultats spectaculaires, poussant les géants de l’informatique, d’internet et du Big Data à recruter les meilleurs spécialistes du secteur, et à multiplier les applications . Quand Siri d’Apple reconnaît votre voix , quand Google Photos classe vos clichés de vacances par thèmes, quand Criteo recommande des publicités qui pourraient vous intéresser, c’est désormais, au moins en partie, grâce à l’apprentissage profond.
Les machines ne pensent pas comme nous, et celles spécialisées dans l’analyse d’images ont une vision du monde bien différente de la nôtre. Le site Deepdream Generator en fournit une illustration frappante. Il exploite un réseau de neurones conçu par Google pour la reconnaissance d’images, qui a été publié en « open source » en 2015.
A l’origine, Deepdream a été développé pour trouver des formes récurrentes (« patterns ») dans les images. Il transforme aussi les images pour rendre ces formes visibles, montrant par l’exemple ce que les réseaux de neurones « voient » dans une photo. Le résultat produit est souvent psychédélique : dans l’image ci-dessus, une photo du discours d’Emmanuel Macron devant la pyramide du Louvre a été traitée par une version de Deepdream entraînée à reconnaître les animaux.
Lors d’une rencontre organisée fin avril chez Google France, Olivier Bousquet, responsable du machine learning au laboratoire de recherche zurichois du groupe, décrivait ainsi le fonctionnement de Google Traduction : « C’est un gigantesque réseau de neurones qui a appris tout seul à passer d’une langue à l’autre. Dans certains cas, il réussit à être meilleur que les traducteurs humains. L’autre chose étonnante est que l’on ne lui a appris que quelques paires de langues, et qu’il en a déduit les autres. Il a créé une sorte d’espéranto tout seul. Mais on n’arrive pas encore bien à le décrypter. »
Pour beaucoup de chercheurs, comme pour les pouvoirs publics, comprendre ces « boîtes noires », ou du moins rendre leur fonctionnement plus compréhensible, va devenir un enjeu majeur. En particulier si on veut les autoriser pour des applications jugées critiques, que ce soit pour la sécurité (pilotage des voitures autonomes), la médecine (analyse automatique des radios, prédiction de survenue d’un cancer), la défense (drones autonomes), etc. « Quand on cherche à savoir si une image contient un chien ou chat, l’importance de l’explicabilité est assez faible. En revanche, dans le milieu médical, les médecins vont toujours favoriser une technique qu’ils peuvent expliquer », résume Francis Bach, chercheur Inria à l’Ecole Normale Supérieure et spécialiste du machine learning.
« Le défi de l’explicabilité »
Dans un rapport publié en mars dernier, l’Opecst (Office parlementaire d’évaluation des choix scientifiques et technologiques) soulignait que « le phénomène des boîtes noires appelle un effort de recherche fondamentale pour accroître leur transparence (…) Le défi à relever est donc celui de l’explicabilité. » Il est également au coeur des questions de transparence des algorithmes, demandée avec insistance par la Commission européenne au cours des derniers mois. Mais les régulateurs du Vieux Continent ne sont pas les seuls à penser que le sujet exige un effort de recherche. Au mois d’août dernier, la Darpa (« Defense Advanced Research Projects Agency »), une agence du Pentagone à laquelle on doit les recherches qui ont donné naissance à Internet, au GPS ou aux véhicules autonomes, a lancé un nouveau programme, intitulé « Explainable Artificial Intelligence » (XAI). Il vise à « créer des technologies de machine learning qui produisent des modèles plus explicables, tout en maintenant un haut niveau de performances, et à permettre aux humains de comprendre, d’avoir une confiance réelle et de pouvoir gérer efficacement la génération émergente d’outils d’IA ».
Le sujet est aussi sur la table du centre Google Research de Zurich , expliquait fin avril son directeur, Emmanuel Mogenet : « Il y a beaucoup d’efforts de recherche pour extraire le raisonnement de la machine, pour faire du « reverse engineering » (NDLR : analyse d’un produit pour en comprendre le fonctionnement ). C’est quelque chose d’extrêmement important, car il y a un certain nombre de domaines où cela peut poser problème. »
Reste que, pour l’heure, personne ne sait comment rendre les réseaux de neurones moins opaques. Il est certes possible de contrôler leurs résultats, par exemple en mettant plusieurs systèmes en concurrence, ou en utilisant des techniques pour savoir quelles variables d’entrée ont pris une importance prépondérante dans le résultat final. Mais cela se fait au détriment de la rapidité du traitement, voire de sa pertinence. « Est-ce que l’on est prêt à réduire la performance de prédiction pour obtenir une explicabilité ? », interroge Francis Bach.
A défaut de pouvoir expliquer le « raisonnement » des algorithmes de deep learning, une autre approche consiste à rendre visible la façon dont ils fonctionnent. Le fabricant de microprocesseurs NVidia a ainsi développé un système pour voitures autonomes, basé sur le deep learning, qui a appris la conduite sans règles, en se basant uniquement sur la façon de conduire de nombreux humains. Originalité, ce système montre clairement quels éléments sont les plus importants dans sa prise de décisions – les piétons, les voitures ou les éléments signalisation apparaissent en surbrillance sur les images que produit et exploite le système. Pour Laurence Devillers, chercheuse au laboratoire d’informatique pour la mécanique et les sciences de l’ingénieur (Limsi) du CNRS et auteur de l’essai « Des robots et des hommes » (Plon, 2017) , « s’il est important de rendre ces systèmes plus robustes, il faut aussi expliquer comment ils fonctionnent, et garder à l’esprit qu’ils apprennent sans comprendre, donc qu’ils décident sans comprendre. »
Reste que la question des boîtes noires divise encore les chercheurs. Pour Yann Le Cun , l’un des pionniers des réseaux de neurones, désormais responsable du laboratoire FAIR (Facebook Artificial Intelligence Research), « ce n’est pas un problème majeur. C’est très satisfaisant d’avoir une explication, et cela rassure l’humain si un système d’intelligence artificielle produit une explication. Mais, à la fin, ce que l’on veut, c’est avant tout une bonne fiabilité », indiquait-il début mai, à l’occasion d’une rencontre sur l’intelligence artificielle organisée par Facebook Paris. Très engagé dans les questions d’éthique de l’IA, Yann Le Cun a coutume de dire que le cerveau humain est lui aussi une boîte noire, et que nous avons appris à nous en accommoder. « Ce n’est pas complètement faux, reconnaît Gérard Berry. Mais nous avons l’habitude de traiter avec les humains, et nous connaissons à l’avance le type d’erreurs qu’ils font. Dans le cas de l’IA, la discipline est encore un peu jeune pour tirer ce genre de conclusions. »
Les Echos 16/05/2017