Black Box vs Glass Box [boite noire ou boite transparente]
Dans le domaine aérien, la boîte noire est un équipement d’une valeur inestimable. Lors d’un événement intriguant (crash, dysfonctionnement, etc…), les experts concentrent tous leurs efforts à rechercher et “mettre la main” sur cette fameuse “boîte noire”. Puis, quelques temps (ce qui peut revenir à des semaines, des mois ou des années) plus tard, ils produisent un rapport qui met en lumière les causes de l’anomalie, voire des conditions qui prévalaient lors de la survenue de l’incident.
On retrouve l’expression “boîte noire” aussi en développement informatique où, pour s’assurer du bon fonctionnement d’un logiciel, on lui [le logiciel] fait subir des tests dits de boîte noire. L’objectif étant de répondre à la question: “le système X arrive-t-il à faire A?” sans se préoccuper de comment les concepteurs ont structuré leur programme. Si, la boîte noire révèle son contenu dans l’aérien, en informatique, la boite noire est censée répondre à une question sans pour autant révéler les secrets qu’elle contient.
Dans une des branches de l’informatique appelée intelligence artificielle, en particulier dans la modélisation, on fait aussi couramment la distinction entre les modèles de boîtes noires [black box modelling] et ceux dits de boîtes de verre [glass box modelling]. Les premiers étant considérés comme quasiment non interprétables et dont le fonctionnement est opaque tandis que les derniers sont plus ou moins facilement compréhensibles avec un comportement plus transparent.
Chacune de ces deux approches a ses partisans, défenseurs et critiques. La raison majeure évoquée qui limite l’usage des modèles de boîte noire est l’interprétabilité. Est-ce pour autant que l’on doit se précipiter pour rejeter ce genre de modèles? Pour Elizabeth A. Holm, la réponse est NON. Selon elle, l’on utilise de manière routinière cette approche. Tous les humains basent leurs décisions sur leur boîte noire interne (la combinaison de leur jugement et de leur expérience). Elizabeth mentionne deux (2) raisons d’utiliser ce genres de modèles: lorsque le coût d’une mauvaise réponse est relativement faible comparé à la valeur d’une réponse correcte et lorsque la boîte noire produit de meilleurs résultats. Malgré les bénéfices de l’usage de ces modèles, leur déploiement dans des situations critiques est problématique.
Dans le but de mieux comprendre leur fonctionnement, une tendance appelée “Explainable AI (XAI)” a vu le jour avec comme ambition de fournir des justifications aux résultats des modèles de boîte noire. Cette solution est-elle acceptable ?
Pour Cynthia Rudin, il faut tout simplement arrêter de tenter d’expliquer des modèles “opaques” lorsque les enjeux des décisions qui se basent sur ces algorithmes sont élevés. Il s’agit des décisions médicales, judiciaires par exemple. L’auteur recommande, plutôt, d’utiliser, dès le début, des modèles interprétables. Les arguments avancés sont, entre autres, l’incapacité des explications à fournir les détails nécessaires à la compréhension des résultats, la non-fidélité des explications vis-à-vis des calculs de l’algorithme, les risques d’erreurs dus au processus de prise de décision qui se complique davantage.
Ceci dit, la recherche sur la compréhension du fonctionnement de ces méthodes se poursuit. On pourra citer les travaux de Microsoft Research et de l’Université de Montreal sur la dynamique d’apprentissage des réseaux neuronaux profonds, ou ceux de l’Université Harvard et de l’institut Santa Fe sur le principe du goulot d’étranglement de l’information de Naftali Tishby. Ces recherches, même si elles sont loin d’expliquer tous les comportements de certains outils, permettent d’en solidifier les fondements théoriques. Ces modèles semblent donc ne pas être si impénétrables que ça. Il faut certainement des techniques très avancées pour leur méta analyse.
In fine, l’aérien et l’IA sur ce point ne sont probablement pas si différents que ça: les deux domaines ont besoin d’experts de haut niveau et de temps pour faire parler leurs boîtes noires. L’on espère seulement qu’au fil du temps, ces algorithmes livreront plus de secrets à la communauté des chercheurs et praticiens. En attendant, le choix d’une méthode doit être précédé d’une réflexion approfondie.
L’Auteur
Maixent Gémeri ASSI (profil Linkedin) est titulaire d’un MS en Intelligence Artificielle de l’université d’Aberdeen et d’un Master en Statistiques et Economie Appliquée de l’ENSEA d’Abidjan. Maixent a plus de 10 ans d’expérience.
Depuis Janvier de cette année, il est Coordinateur du Suivi et de l’Evaluation au sein de l’institut de recherche “Innovations for Poverty Action“, bureau d’Abidjan (Côte d’Ivoire)
