ENJEUX DE L’IA RESPONSABLE EN SANTE Christine Balagué Professeur Titulaire de la Chaire réseaux sociaux et IoT Membre de la CERNA et de DATAIA Ex Vice-Présidente du Conseil National du Numérique
IA EN SANTE: UNE MEDECINE DATA DRIVEN QUELLE PLACE POUR L’HUMAIN?
Colloque Evry Sciences Innovation 6/12/2018
2
ROBOTS ASSISTANTS EMPATHIQUES
Colloque Evry Sciences Innovation 6/12/2018
3
CHATBOT MÉDICAL QUELLE CONFIANCE DANS LA MACHINE? QUELLE PLACE POUR L’HUMAIN? EFFETS DE MANIPULATION?
Agent conversationnel de la start up Babylon Health Chatbot lancé par la NHS depuis janvier 2017 aux UK
Colloque Evry Sciences Innovation 6/12/2018
ENJEUX ETHIQUES DE L’IA: UN SUJET DE DÉBAT MÉDIATIQUE DANS LE MONDE
Colloque Evry Sciences Innovation 6/12/2018
TRAVAUX DE LA CERNA Publications: ▪ Éthique de la recherche en robotique, novembre 2014 ▪ Éthique de la recherche en apprentissage machine, juin 2017 (Research Ethics in Machine Learning) ▪ La souveraineté à l'ère du numérique, mai 2018 (Sovereignty in the Digital Age Keeping control over our choices and values ) ▪ Numérique & Santé: quells enjeux éthiques pour quelles regulations? (CCNE-CERNA report, 19 nov 2018) Conférences : ▪ Les valeurs dans les algorithmes et les données, 4 mai 2018 ▪ Ethique et numérique, 20 septembre 2017 ▪ Souverainetés et souveraineté numérique, 3 juillet 2017 ▪ Une éthique des algorithmes: une exigence morale et un avantage concurrentiel, 19 juin 2017 ▪ Les enjeux scientifiques de l'éthique du numérique, 23 mai 2017 Groupes de travail en cours: ▪ Anonymisation ▪ Chatbots ▪ Objets connecté en santé Colloque Evry Sciences Innovation 6/12/2018
LES VALEURS FONDAMENTALES DE LA RÉFLEXION ÉTHIQUE Macro-éthique Principia : « ce qui vient en premier, ce qui est à la source » ou « ce qui fait autorité »
Principe d’autonomie Respect de la vie
Principe de justice
Principe de bienfaisance Utilité Responsabilité
Principe de nonmalfaisance Proportionnalité Précaution Incertitude
Micro-éthique Principles of Biomedical Ethics by Tom L. Beauchamp & James F. Childress (2001)
7
QUELLES SONT LES PROPRIÉTÉS GÉNÉRALES QU’ON ATTEND DES SYSTÈMES NUMÉRIQUES ? •
Loyauté et équité: – –
•
La transparence, la traçabilité et l’explicabilité : – – –
•
La loyauté des systèmes informatiques signifie que ces systèmes se comportent, au cours de leur exécution, comme leurs concepteurs le déclarent L’équité d’un système informatique consiste en un traitement juste et équitable des usagers.
La transparence d’un système signifie que son fonctionnement n’est pas opaque, qu’il est possible, par exemple pour un utilisateur, de vérifier son comportement. La traçabilité est essentielle d'une part pour les attributions de responsabilité. Elle permet également d’expliquer le fonctionnement d’un système à partir des traces laissées par celui-ci ; on parle d’explicabilité
La responsabilité : la possibilité d'identifier des responsabilités lors d’un dysfonctionnement signifie qu'il est possible de distinguer deux agents : un concepteur et un utilisateur du système.
•
La conformité : un système numérique doit demeurer conforme à son cahier des charges, et son cahier des charges doit être conforme à la loi.
Colloque Evry Sciences Innovation 6/12/2018
QUELS SONT LES ENJEUX ÉTHIQUES POSÉES PAR L’IA EN SANTÉ?
Opacité
Données (biais et discrimination)
Décisions vs jugements de valeurs
Colloque Evry Sciences Innovation 6/12/2018
Robustesse et fiabilité
9
CHALLENGES DES SYSTEMES D’APPRENTISSAGE •
Management et analyse éthique des données
• Explicabilité des décisions fondées sur des algorithmes • Maîtrise de la fiabilité et de la robustesse des techniques d’IA et de big data pour éviter les biais, les discrimination (parfois non intentionnelles) et pour permettre la reproductibilité
• Eviter les effets des opinions encapsulées dans les algorithmes (intention) au travers des paramètres de décision et des données d’apprentissage
Colloque Evry Sciences Innovation 6/12/2018
QUELQUES SPÉCIFICITÉS DE L’APPRENTISSAGE MACHINE •
Difficulté de spécification: le but de l’apprentissage automatique est de traiter des tâches que l’on ne sait pas spécifier au sens informatique. L’apprentissage automatique est une façon de remplacer cette spécification formelle par un modèle paramétré empiriquement par la machine à partir d’une masse de données
•
Agent entraîneur: 3 type d’agents dans les systèmes d’apprentissage machine: le concepteur, l’utilisateur et l’agent entraineur qui entraine le système d’apprentissage avec un jeu de données. Un dysfonctionnement peut venir d’un mauvais entrainement du système
•
Apprendre sans comprendre : par ex, les algorithmes non supervisés apprennent sans référence à un but intelligible par les humains
•
Evolution dynamique du modèle: il est difficile de contrôler son comportement sur le long terme (ex: il peut devenir non équitable)
•
Instabilité de l’apprentissage: l’apprentissage profond est l’une des approches les plus performantes mais l’agorithme peut montrer une certaine instabilité
•
Evaluation et contrôle Colloque Evry Sciences Innovation 6/12/2018
LES QUESTIONNEMENTS ET LES PRÉCONISATIONS EN SIX THÈMES
• • • • • •
Les données des systèmes d’apprentissage L’autonomie des systèmes apprenants L’explicabilité et l’évaluation des systèmes d’apprentissage Les décisions des systèmes d’apprentissage Le consentement dans les systèmes d’apprentissage La responsabilité dans les relations homme-machine
Colloque Evry Sciences Innovation 6/12/2018
LES DONNÉES [DON-1] Qualité des données d’apprentissage Le concepteur et l'entraîneur veilleront à la qualité des données d'apprentissage et des conditions de leur captation tout au long du fonctionnement du système. Les entraîneurs du système informatique sont responsables de la présence ou de l’absence de biais dans les données utilisées dans l’apprentissage, en particulier l’apprentissage à en continu, c’est-à-dire en cours d’utilisation du système. Pour vérifier l’absence de biais, ils doivent s’appuyer sur des outils de mesure qui restent encore à développer.
[DON-2] Les données comme miroir de la diversité Les entraîneurs des systèmes d’apprentissage automatique doivent opérer le choix des données en veillant à ce que celles-ci respectent la diversité des cultures ou des groupes d’utilisateurs de ces systèmes.
[DON-3] Variables dont les données comportent un risque de discrimination Les entraîneurs (qui peuvent être aussi les concepteurs ou les utilisateurs) doivent se poser doivent se poser la question des variables qui peuvent être socialement discriminantes. Il convient de ne pas mémoriser ni de régénérer par programmation ces variables, par exemple l'ethnie, le sexe ou l’âge. La protection des données à caractère personnel doit également être respectée conformément à la législation en vigueur.
[DON-4] Traces Le chercheur doit veiller à la traçabilité de l'apprentissage machine et prévoir des protocoles à cet effet. Les traces sont elles-mêmes des données qui doivent à ce titre faire l’objet d’une attention sur le plan éthique. Colloque Evry Sciences Innovation 6/12/2018
L’AUTONOMIE
[AUT-1] Biais de caractérisation Le chercheur veillera à ce que les capacités d'apprentissage d’un système informatique n’amènent pas l’utilisateur à croire que le système est dans un certain état lors de son fonctionnement alors qu’il est dans un autre état.
[AUT-2] Vigilance dans la communication Dans sa communication sur l’autonomie des systèmes apprenants relativement aux humains, le chercheur doit viser à expliquer le comportement du système sans donner prise à des interprétations ou des médiatisations irrationnelles.
Colloque Evry Sciences Innovation 6/12/2018
L’EXPLICABILITÉ ET L’ÉVALUATION
[EXP-1] Explicabilité Le chercheur doit s’interroger sur la non-interprétabilité ou le manque d’explicabilité des actions d’un système informatique apprenant. Le compromis entre performance et explicabilité doit être apprécié en fonction de l’usage et doit être explicité dans la documentation à l’usage de l’entraîneur et de l’utilisateur.
[EXP-2] Les heuristiques d’explication Dans sa recherche d’une meilleure explicabilité d’un système apprenant, le chercheur veillera à décrire les limitations de ses heuristiques d’explication et à ce que les interprétations de leurs résultats ces soient exemptes de biais.
[EXP-3] Elaboration des normes Le chercheur veillera à contribuer aux débats de société et à l’élaboration de normes et de protocoles d’évaluation qui accompagnent le déploiement de l'apprentissage machine. Quand les données concernent certains secteurs professionnels spécialisés (médecine, droit, transports, énergie, etc.), les chercheurs de ces domaines devront être sollicités.
Colloque Evry Sciences Innovation 6/12/2018
LES DÉCISIONS
[DEC-1] Place de l’humain dans les décisions assistées par des machines apprenantes Le chercheur, concepteur de machines apprenantes d’aide à la décision, doit veiller à ce qu’aucun biais ne produise un résultat qui devienne automatiquement une décision alors que l’intervention humaine était prévue par la spécification du système, et prendra garde aux risques de dépendance de l’humain aux décisions de la machine.
[DEC-2] Place de l’humain dans l’explication des décisions assistées par des machines apprenantes Le chercheur doit veiller . ce que les résultats du système soient autant que possible interprétables et explicables pour les personnes concernées, s’impliquer dans les nécessaires évolutions des métiers en faisant usage et dans l’encadrement des pratiques. Des agents experts contribueront à l’explication et à la vérification des comportements du système.
Colloque Evry Sciences Innovation 6/12/2018
LE CONSENTEMENT
[CON-1] Choix des usagers d’activer ou non les capacités d'apprentissage d'un système Le chercheur doit créer la possibilité d'utilisation de systèmes avec ou sans leur capacité d’apprentissage. Il doit donner à l’utilisateur au moins un paramètre de contrôle global sur la source des données utilisées pour l’apprentissage.
[CON-2] Consentement dans le cadre de projet Le chercheur doit délibérer dès la conception de son projet avec les personnes ou les groupes identifiés comme pouvant être influencés.
[CON-3] Consentement à utiliser une machine capable d’apprentissage en continu Le chercheur doit être conscient que la capacité d'apprentissage et la mise en réseau de telles capacités peut induire des problématiques nouvelles concernant autant le consentement de l'usager que celui de la société.
Colloque Evry Sciences Innovation 6/12/2018
LA RESPONSABILITÉ
[RES-1] Mécanismes de contrôle Le chercheur doit adapter et inclure dans le système, des mécanismes de contrôle, automatiques ou supervisés (par la machine ou l’être humain), sur les données, sur le fonctionnement au niveau informatique et sur le raisonnement suivi, afin de faciliter l’attribution de responsabilités au regard du bon fonctionnement ou du dysfonctionnement du système.
[RES-2] Déclaration des intentions d’usage En documentant un système informatique apprenant, le chercheur doit décrire de manière sincère, loyale et complète, les limites qui lui sont connues de l’imputabilité d’une décision ou d’une action du système soit au code-source soit au processus d’apprentissage. Cette documentation servira de déclaration d’intention de la part du concepteur quant aux usages du système informatique qu’il envisage comme normaux. L’absence de telle déclaration ou son caractère tardif peuvent engager la responsabilité supplémentaire du concepteur.
Colloque Evry Sciences Innovation 6/12/2018
QUI SERA RESPONSABLE EN CAS DE PROBLEME? Le concepteur de l’algorithme? Le fabricant du dispositif médical?
Le médecin? Le patient qui a acheté des capteurs de données? …
Colloque Evry Sciences Innovation 6/12/2018
page 19
RAPPORT CCNE-CERNA NUMERIQUE & SANTE
Enjeux éthiques spécifiques: •
• • -
Consentement patient (maladies rares), responsabilité des médecins, enjeux du health data hub, objets connectés) Risques des algorithmes: biais, discrimination, exclusion, source d’inégalités Médecine algorithmique et prise de décision Quelle place pour le patient? Anonymisation & re-identification
Quelques recommandations: • Loyauté, vigilance et réflexivité (rapport CNIL) • Evolution du CCNE incluant sciences et technologies du numérique, des usages et de l’innovation • Recherches sur la régulation de la santé numérique • Robustesse de l’IA en santé • Garantie humaine
Colloque Evry Sciences Innovation 6/12/2018
20
ALGORITHMES PRÉDICTIFS EN SANTÉ: LE CAS DU CANCER DU SEIN QUELLE COMMUNICATION AU PATIENT?
Source: site institut national du cancer Rapport annuel , juin 2017 Institut national du cancer
Colloque Evry Sciences Innovation 6/12/2018
21
Colloque Evry Sciences Innovation 6/12/2018
22
DIAGNOSTIC AUTOMATISÉ, MEDECINE PERSONNALISÉE: L’ENJEU DES TECHNOLOGIES « ETHIQUES BY DESIGN »
Rapport du CNOM, Janvier 2018: Médecins et patients dans le monde des data, des algorithmes et de l’intelligence artificielle
Colloque Evry Sciences Innovation 6/12/2018
23
PERMETTRE À L’HOMME DE GARDER LA MAIN ? RAPPORT CNIL SUR LES ENJEUX ÉTHIQUES DES ALGORITHMES ET DE L’INTELLIGENCE ARTIFICIELLE, 15 DÉCEMBRE 2017 6 recommandations opérationnelles 1. Former à l’éthique tous les acteurs-maillons de la « chaîne algorithmique » (concepteurs, professionnels, citoyens) : l’alphabétisation au numérique doit permettre à chaque humain de comprendre les ressorts de la machine 2. Rendre les systèmes algorithmiques compréhensibles en renforçant les droits existants et en organisant la médiation avec les utilisateurs 3. Travailler le design des systèmes algorithmiques au service de la liberté humaine, pour contrer l’effet « boîtes noires » 4. Constituer une plateforme nationale d’audit des algorithmes 5. Encourager la recherche sur l’IA éthique et lancer une grande cause nationale participative autour d’un projet de recherche d’intérêt général 6. Renforcer la fonction éthique au sein des entreprises (par exemple, l’élaboration de comités d’éthique, la diffusion de bonnes pratiques sectorielles ou la révision de chartes de déontologie peuvent être envisagées)
Colloque Evry Sciences Innovation 6/12/2018
24
DECLARATION DE MONTREAL SUR L’IA RESPONSABLE
25
LA DECLARATION DE MONTREAL POUR L’IA RESPONSABLE LANCEMENT LE 4/12/2018
Colloque Evry Sciences Innovation 6/12/2018
26
LES 10 PRINCIPES DE LA DECLARATION DE MONTREAL POUR L’IA RESPONSABLE DIVERSITE ET INCLUSION
AUTONOMIE
BIEN ETRE
INTIMITE ET VIE PRIVEE
PARTICIPATION DEMOCRATIQUE SOLIDARITE
DEVELOPPEMENT SOUTENABLE
RESPONSABILITE
PRUDENCE
EQUITE
Colloque Evry Sciences Innovation 6/12/2018
27
IA RESPONSABLE Recherches pluridisciplinaires: - Fiabilité, robustesse et évaluation de l’IA en santé - Développement de nouveaux algorithmes «responsables by design » - Formations aux enjeux éthiques des chercheurs en IA santé Objectifs: Construire le monde futur dans lequel on voudra vivre Impact positif de l’IA sur la société Confiance et acceptabilité des utilisateurs Avantage comcurrentiel pour les entreprises Moyens: Financement de projets sur l’IA responsable en santé
Colloque Evry Sciences Innovation 6/12/2018
DATAIA Institute Data Science, Intelligence & Society Founding members
Colloque Evry Sciences Innovation 6/12/2018
INSTITUT DATAIA •
DATAIA is the Convergence Institute in Data Science, AI & Society gathering 130 affiliated researchers and targeting 300 within 3 years
•
4 Overarching Challenges:
From Data to Knowledge, from Data to Decision,
From deep learning to Artificial Intelligence, Transparency & digital trust, Data protection, regulation and economy
•
Scientific and disciplinary foundations: Data Science, Management and Economy, Social Sciences, Legal Sciences
•
Application domains: Internet of people and things, Urbanization 4.0 & Mobility, Optimal Energy Management, Business Analytics, Health, Well being & personal nutrition, e-Sciences.
•
Roadmap for 8 years, 14 academic founding institutions Data Science, Intelligence & Society
Colloque Evry Sciences Innovation 6/12/2018
CHAIRE GOOD IN TECH •
Observatoire de l’impact de l’IA sur la société
4 axes de recherche: Innovation numérique responsable Technologies IA “responsables by design” Repenser les futurs Gouvernance
•
Pluridisciplinaire: computer science, data science & SHS
•
Application domains: Health, Mobility, Future of work, IoT
•
2 institutions académiques + ILB + partenaires entreprises
Data Science, Intelligence & Society
MERCI DE VOTRE ATTENTION
[email protected] @BALAGUE
32
