Interprétabilité des modèles d'apprentissage automatique

Le développement de modèles d'apprentissage automatique qui traitent de grandes quantités de données améliore considérablement la performance des prédictions. Néanmoins, ces modèles soulèvent de nombreuses questions quant à leur interprétabilité, ce qui peut entraîner un rejet de la part des métiers ou des clients qui les utilisent. Les Data Scientists qui souhaitent déployer ces modèles doivent donc proposer une approche rigoureuse pour améliorer la compréhension des résultats. L'amélioration de la compréhension des modèles d'apprentissage automatique est donc essentielle pour leur mise en œuvre réussie au sein des entreprises.

Le 17 janvier 1991, l'Opération Tempête du Désert débutait, opposant une coalition de 35 États, menée par les États-Unis, à l'Irak. Après les premiers raids aériens réussis, la coalition décida de lancer un assaut terrestre. À la surprise générale, lorsque les chars américains ouvrirent le feu, ils pointèrent leurs canons sur leurs alliés et commencèrent à les pilonner, brisant ainsi la coalition.

Il est nécessaire d'avoir une bonne compréhension des modèles d'apprentissage automatique

Cet épisode de fiction politique trouve son origine dans les conséquences qui auraient pu découler d'une mauvaise interprétation des modèles d'apprentissage automatique. En effet, durant les années 1990, l'armée américaine a testé une technologie de détection automatique de chars ennemis basée sur des algorithmes d'apprentissage par reconnaissance d'images. Or, au sein de l'échantillon, le facteur le plus discriminant pour détecter la présence d'un char ennemi était la couleur du ciel : les photos montrant un paysage incluant un char ennemi étaient prises par beau temps tandis que celles sans l'étaient par mauvais temps. Une fois les modèles de détection ainsi calibrés, une journée ensoleillée ou un simple orage suffisait à rendre une coalition militaire précaire… Cet exemple met en lumière la nécessité d'avoir une bonne compréhension des modèles d'apprentissage automatique afin de pouvoir les utiliser correctement.

C'est d'autant plus vrai que nous vivons à une époque où les algorithmes prennent une place de plus en plus importante dans notre quotidien : octroi de crédits, sites de rencontres, choix d'itinéraires, diagnostics médicaux, etc. Or, cette multiplication des algorithmes soulève de nombreuses questions : comment ont-ils été construits ? Comment fonctionnent-ils ? Comment expliquent-ils leurs décisions ? Les réponses à ces questions constituent un champ de recherche relativement nouveau mais en pleine expansion dans le monde scientifique. Ces questions doivent être prises au sérieux par les entreprises souhaitant tirer parti de tels outils, au risque de voir se dégrader la relation avec leurs clients et le soutien des métiers aux projets d'accès aux données.

Pour illustrer notre propos, prenons l'exemple des algorithmes utilisés par les banques pour déterminer la capacité d'emprunt de chacun. Mettons-nous dans la peau d'un jeune investisseur que nous appellerons Daniel et qui est à la recherche de son premier investissement immobilier. Daniel se rend à la banque pour connaître les modalités du prêt et fournit un éventail assez large de ses données personnelles (âge, salaire, situation matrimoniale, etc.).

À sa grande surprise, son conseiller bancaire lui annonce qu'il est inéligible à la souscription d'un prêt. Le nouveau logiciel d'octroi de crédit basé sur le machine learning qui permet d'allouer du crédit à ses clients « en quelques clics et avec une précision inégalée » a été récemment mis en place et est censé utiliser les dernières techniques de pointe en intelligence artificielle. Or, la performance de l'algorithme a été préférée à son interprétabilité, ce qui laisse le conseiller bancaire dans l'embarras face à ce nouveau logiciel puisqu'il ne peut expliquer à Daniel les facteurs qui ont défavorisé son dossier.

‍

Comment concilier performance et interprétabilité ?

Cet exemple illustre le compromis auquel est confronté tout projet de développement lié au machine learning : quel est l'équilibre idéal entre performance et interprétabilité ? Où placer le curseur ? La modélisation est généralement caractérisée par une relation inversement proportionnelle entre performance et interprétabilité.

Ainsi, l'univers des modèles d'apprentissage automatique peut être divisé en modèles interprétables par nature (régressions multilinéaires, arbres de décision, etc.) et en modèles dits « boîtes noires » (forêts aléatoires, réseaux de neurones, etc.) comme résumé dans l'illustration ci-dessous :

Le succès d'un projet de Machine Learning au sein d'une entreprise repose sur les cinq règles d'or suivantes :

1. Le modèle doit résoudre un problème clairement identifié correspondant à un besoin métier ;
2. Le modèle doit capter au mieux la réalité sans présenter de biais de surapprentissage et en étant généralisable ;
3. Le modèle doit pouvoir être expliqué et facilement adopté par les responsables métiers afin d'obtenir leur adhésion ;
4. Le modèle doit être adapté aux exigences du client final ; et
5. Le modèle doit répondre aux exigences du régulateur.

L'amélioration de l'interprétabilité des modèles d'apprentissage automatique est l'un des principaux leviers à la disposition des équipes de Data Scientists pour répondre aux critères de réussite du développement de projets. Cela permet d'éviter la dualité interprétabilité vs performance, qui pourrait nuire à des modèles potentiellement plus performants.

Notre exemple précédent illustre la nécessité de bien comprendre les modèles d'apprentissage automatique : le conseiller bancaire est incapable d'expliquer le résultat du modèle au client, qui se retrouve confus quant à la décision de la banque, ce qui entraîne une détérioration de la relation de confiance préexistante entre la banque et son client.

Comprendre et expliquer les modèles est donc l'un des défis majeurs des projets d'apprentissage automatique. Quel processus suivre pour y parvenir ? Quelles sont les solutions existantes ? Pour répondre à ces questions, deux catégories de techniques se distinguent : l'interprétabilité globale et l'interprétabilité locale.

L'interprétabilité globale vise à identifier les variables les plus importantes du modèle par une analyse minutieuse de la contribution de chaque variable aux données de sortie du modèle. Quelle est leur contribution à la performance du modèle ? Quelle est la relation entre chaque variable et la sortie du modèle ? Cela doit également être complété par un regard critique sur la signification économique du comportement des principales variables. L'interprétabilité globale devrait à terme (1) améliorer la compréhension du modèle par les experts métier et ainsi (2) rendre les résultats plus pertinents.

Une méthode couramment utilisée pour l'interprétabilité globale est la méthode du Partial Dependency Plot, qui consiste à figer toutes les variables sauf celle que l'on souhaite analyser. Grâce à de nombreuses simulations, il est possible d'évaluer le comportement de cette variable dans le modèle. Il suffit ensuite d'appliquer cette méthodologie à toutes les variables du modèle pour connaître l'impact de chacune sur la sortie.

‍

Réduire le fossé entre la science des données et le métier

Dans notre exemple, l'interprétabilité globale permet à la banque de comprendre précisément les critères et les variables que le modèle utilise pour estimer le risque de crédit associé à un type de profil particulier. Ce contrôle des risques et des modèles est aujourd'hui essentiel pour les banques européennes, notamment vis-à-vis du régulateur, de plus en plus exigeant dans le calcul des risques bancaires[1].

L'interprétabilité locale, quant à elle, cherche à décrypter le comportement du modèle au niveau d'un individu en identifiant l'impact et la contribution locale de chaque variable. Cette méthode devrait améliorer la communication et la justification des résultats de l'algorithme auprès de l'utilisateur final.

L'une des méthodes couramment utilisées pour l'interprétabilité locale est la méthode dite des valeurs de Shapley, qui met en évidence la contribution de chaque variable à la différence entre la prédiction et la moyenne des prédictions. Dans l'exemple de Daniel, cela permet de mettre en lumière les forces et les faiblesses de son dossier. Ainsi, le conseiller bancaire pourrait expliquer que l'âge, le salaire et le niveau d'épargne sont les variables qui ont le plus contribué à la décision finale prise sur sa demande de prêt. Les projets liés au big data en entreprise conduisent souvent à l'amélioration et à l'automatisation de la chaîne opérationnelle ou à une expérience client plus fluide grâce à un parcours simplifié et unifié. Néanmoins, ne pas prendre en compte les attentes du métier, des clients et des régulateurs en amont des développements de projets, peut conduire à l'échec du projet, surtout lorsque les projets sont basés sur des « boîtes noires ». Par conséquent, l'interprétabilité des modèles offre une opportunité essentielle de réduire le fossé entre la science des données et le métier. À cet égard, consacrer une partie de ses efforts à l'utilisation de méthodes d'interprétabilité pourrait à terme permettre aux équipes de science des données de mieux assurer l'acceptation de modèles plus performants. L'interprétabilité est donc l'un des facteurs clés pour la mise en œuvre réussie des algorithmes de décision en entreprise.

Morand STUDER, Pietro TURATI et Clément TEQUI

[1] Bâle III : Finalisation des réformes post-crise, Banque des règlements internationaux, Décembre 2017

‍