Third (T) : Votre parcours, vos activités scientifiques et vos fonctions au sein de la Délégation au Numérique de Santé (DNS) vous placent au cœur des réflexions françaises sur les interactions entre le numérique et la santé. Pourquoi et comment en êtes-vous arrivée là ?
Brigitte Séroussi (BS) : J’ai eu un cursus qui était original à son époque1 : j’ai commencé par des études d’ingénieur au cours desquelles j’ai décidé d’entamer en parallèle des études de médecine puis une thèse en biomathématiques. Je suis donc à la fois ingénieur et médecin.
J’ai toujours porté un intérêt certain à la modélisation des sciences du vivant afin de mieux comprendre la vie en général, les pathologies en particulier, la façon de les guérir ou en tout cas de les soulager. La médecine étant une pratique fondée sur la gestion d’un très grand nombre de connaissances, le fait que les ordinateurs y avaient leur place était comme une évidence car ils représentent un outil formidable pour traiter l’information. C’est cette idée qui m’a conduite vers la recherche en informatique médicale. Ce qui m’y intéressait c’était l’aide à la décision, dans le but d’améliorer la qualité des décisions médicales et ultimement celle des soins.
J’ai eu la chance d’évoluer au début de ma carrière dans le meilleur laboratoire d’informatique médicale, celui créé par le Pr. François Grémy à la Pitié Salpêtrière. Il est le créateur mondial du concept de l’informatique médicale ; ses travaux et ceux de ses équipes, dont celle dirigée par le Pr. Jean-François Boisvieux, en ont été les précurseurs.
Au début des années 1990 et jusqu’aux années 2000 l’intelligence artificielle était majoritairement une IA symbolique, il était question de systèmes experts2. Mes premiers travaux ont ainsi porté sur l’élaboration de systèmes experts, mais j’ai ensuite évolué et développé différents types de systèmes d’aide à la décision médicale (SADM) notamment ceux basés sur les guides de bonnes pratiques.
Aujourd’hui j’ai plusieurs fonctions liées à cette thématique. En complément de mes activités d’enseignement et de praticien hospitalier, je suis notamment directrice de projets à la Délégation ministérielle au Numérique en Santé (DNS) du Ministère des Solidarités et de la Santé. Auparavant, j’étais chargée de mission à la Délégation à la Stratégie des Systèmes d’Information en santé (DSSIS) au sein du même Ministère des Solidarités et de la Santé, en charge du Dossier Médical Personnel (DMP), de la promotion du Dossier Communicant de Cancérologie (DCC) et des interfaces à construire entre le dossier pharmaceutique (DP) et le DMP. Plus généralement, je travaillais sur l’interopérabilité sémantique des systèmes d’information de santé, fragmentés et en silos, du fait de l’histoire de leur construction3.
A propos du Dossier Médical Personnel (DMP), il avait été lancé en 2007 mais a été rapidement arrêté en raison de failles de sécurité. Originellement le système était prévu pour être piloté au niveau régional, mais finalement il a été jugé plus pertinent d’opter pour un DMP national permettant ainsi de résoudre une grande partie des problèmes d’interopérabilité.
Le projet a été relancé en 2009-2010 avec la création de l’Agence des Systèmes d’Information Partagés de santé (ASIP Santé) devenue aujourd’hui l’Agence du numérique en santé (ANS), à qui le pilotage et l’élaboration d’un DMP national avaient été confiés. A cette époque, une plateforme nationale sécurisée avec des accès web avait été développée et des travaux avaient été conduits sur la DMP-compatibilité des logiciels métier des professionnels de santé qui étaient les acteurs uniques de la création des DMP après avoir obtenu le consentement éclairé de leurs patients. Cette DMP-compatibilité permettait aux professionnels de santé de créer des DMP, d’y accéder en lecture, et d’y déposer des informations en restant dans leur logiciel métier.
Cette solution fonctionnait correctement techniquement, mais le temps mis pour informer le patient, obtenir son consentement, et créer le DMP a été considéré comme extrêmement chronophage et en tout cas, incompatible avec la durée d’une consultation, si bien que peu de DMP ont été créés et encore moins ont été alimentés.
En 2011-2012, le succès était assez mitigé, et la Cour des comptes a pointé le coût élevé du DMP sur la période 2004 – 2011 : 210 millions d’euros, pour presque 160 000 DMP ouverts4.
Au moment d’envisager l’avenir du DMP, trois options étaient envisagées : mettre fin au projet, imaginer un nouveau système ou bien conserver le DMP existant en proposant des améliorations. Une fois les trois options instruites, c’est la troisième option qui a été retenue.
Ainsi, le DMP personnel est devenu partagé et son pilotage a été confié à l’Assurance Maladie, qui a eu rapidement des résultats satisfaisants en raison de sa force de frappe notamment vis-à-vis des médecins libéraux et via les caisses primaires d’assurance maladie (CPAM). Plusieurs modifications ont par ailleurs été apportées :
– Les patients pouvaient créer eux-mêmes leur DMP sans avoir recours aux professionnels de santé.
– Les DMP existants étant vides dans près de 50% des cas, l’Assurance Maladie a poussé l’historique des remboursements dans les DMP dès leur création5.
Aujourd’hui le bilan est plus satisfaisant, avec 10 millions de DMP créés, mais reste encore insuffisant. Porté par la feuille de route du numérique en santé pilotée par Dominique Pon et Laura Létourneau, le DMP a vocation à évoluer à partir du 1er janvier 2022 et à intégrer l’espace numérique de santé « Mon Espace Santé » (sur lequel nous reviendrons). Les travaux nécessaires au pilotage de cette migration en collaboration avec l’Assurance Maladie étaient conséquents et n’étaient pas compatibles avec mes autres activités. Aussi, je me suis orientée vers de nouveaux sujets au sein de la DNS, en particulier le pilotage de la Cellule Ethique du numérique en santé (nous y reviendrons).
T : Pourriez-vous nous en dire davantage sur la mise en place de l’outil Mon Espace Santé ?
BS : L’arrivée, le 1er janvier 2022, de « Mon Espace Santé » constitue une petite révolution pour les citoyens français. En effet, cet outil est plus riche en termes de fonctionnalités que le DMP et est plus à même de promouvoir le rôle de la personne, tout au long de sa vie, dans la prise en charge de sa santé, avec l’équipe de soins. Mon espace santé comporte 4 fonctionnalités essentielles :
– Le DMP, encore appelé « Dossier Médical » (DM).
– Une messagerie sécurisée pour les patients (jusqu’ici les patients, les citoyens ne disposaient pas de messagerie sécurisée pour communiquer avec leurs professionnels de santé).
– Un agenda synchronisé qui permet d’avoir une vision synchronisée de tous ses rendez-vous médicaux.
– Un catalogue de services ou d’applications de santé recommandés par l’État sur la base de quatre dimensions :
• La sécurité et l’interopérabilité : Les applications vont pouvoir, si le patient y consent, dialoguer avec le dossier médical, pousser des données ou en importer pour alimenter un service. Les éditeurs candidats au référencement dans le catalogue de services de Mon Espace Santé doivent renseigner un dossier de candidature et répondre à un ensemble de critères saisis via l’outil Convergence6 développé par l’Agence du Numérique en Santé (ANS).
• La conformité au Règlement Général sur la Protection des Données personnelles (RGPD). Les réponses aux critères sont également saisies sur Convergence.
• La qualité du contenu : c’est la Haute Autorité de Santé qui a eu la charge d’élaborer ces critères.
• L’éthique : c’est la Cellule Ethique de la DNS qui a eu la charge de les élaborer en faisant la différence entre l’éthique de la confiance et de la transparence des traitements, l’éthique de l’éco-responsabilité et l’éthique de la réduction des fractures numériques.
T : Comment se déroule l’évaluation des critères de qualité du contenu et d’éthique ?
BS : Ils sont déclaratifs mais la fourniture d’éléments de preuve est demandée. Ils vont permettre d’instruire le dossier de candidature. Parmi les critères éthiques actuellement en consultation publique sur le site de l’ANS et pour lesquels nous avons travaillé avec un groupe de travail, nous avions le critère de bonne compréhension, par l’utilisateur d’une solution numérique, du périmètre du traitement de ses données :
– Concernant ce critère, il est demandé à l’éditeur de l’application de décrire les mécanismes qui sont mis en œuvre, les modalités d’évaluation de la bonne compréhension des usagers, les corrections qui ont été apportées sur la base des retours des utilisateurs quand cela a été nécessaire. Il s’agit également de fournir des copies d’écrans qui illustrent la mise en œuvre de tous ces mécanismes. Pour rappel, le RGPD prévoit « uniquement » un devoir d’information de la part de l’éditeur là où l’éthique prévoit un devoir de vérification par l’éditeur de la bonne compréhension de l’utilisateur. Il ne suffit pas d’informer dans une clause des CGU, a priori non lue, et dont le sens peut échapper à la plus grande partie des personnes lorsqu’elle est lue.
Parmi d’autres critères éthiques proposés, on peut citer :
– « Le service proposé est identique que l’usager consente ou pas au traitement de ses données servant des finalités secondaires »
– « En cas de commercialisation des données, des mécanismes sont mis en œuvre pour s’assurer au moment du consentement, de la bonne compréhension par l’usager, que cette commercialisation fait partie des finalités secondaires ».
– « Il faut se donner les moyens d’expliquer les résultats qui sont produits par une Intelligence artificielle. Dans le cas où cela ne serait pas possible car l’algorithme fonctionne en mode « boite noire », il faudra donner d’autres moyens d’auditabilité, de traçabilité, et d’explicabilité ».
Concernant les modalités d’ouverture de Mon Espace Santé, le principe a été inversé par rapport à celui qui existait en matière de DMP7 : désormais, la création de l’espace numérique de santé est prévue sauf opposition. Pour des raisons de cohérence, il en va de même pour le DMP.
T : Vous avez travaillé sur les systèmes d’aide à la décision médicale (SADM), pouvez-vous nous expliquer en quoi ils consistent et quelles sont leurs applications aujourd’hui en matière médicale ? Est-ce le quotidien du médecin ou est-ce encore assez exploratoire ?
BS : D’emblée, il me parait important de préciser qu’il n’y a pas un seul type de système d’aide à la décision médicale. Il en existe toute une panoplie. Entre un calcul de score type calcul du poids idéal, jusqu’à l’aide à la décision d’un plan de soins associant plusieurs modalités de prise en charge d’une patiente atteinte d’un cancer du sein par exemple, c’est dans les deux cas des systèmes d’aide à la décision mais on voit bien que la complexité des systèmes n’est pas la même.
Les premiers systèmes d’aide à la décision étaient des systèmes experts ; il y avait une base de connaissances qui caractérisait l’expertise d’un expert ou d’un groupe d’experts et on modélisait cette base de connaissances, souvent sous la forme de règles de décision. On caractérisait le patient par un ensemble de critères, qui venaient déclencher certaines règles de décision, qui s’enchainaient les unes aux autres jusqu’à arriver à la production d’une solution qui était soit un traitement, soit un diagnostic.
Dans les années 1990, on s’est rendu compte que l’expertise pouvait varier selon le professionnel de santé, l’expertise de certains experts n’était pas obligatoirement jugée comme telle par d’autres experts. Ainsi, les systèmes experts en médecine ne sont jamais sortis de l’endroit où ils ont été élaborés. C’est avec l’avènement de l’Evidence-Based Medicine (EBM)8, qui s’est produit au début des années 2000, que les choses ont changé. Le principe de l’EBM est de se dire que la médecine n’est pas un art mais une science et qu’on ne doit pas traiter les patients au cas par cas, mais entrer dans un processus scientifique à partir de « preuves » (evidence en anglais) issues des résultats des essais thérapeutiques. On s’appuie ainsi sur la science, c’est-à-dire les résultats de la recherche clinique, pour construire des recommandations qui doivent être, appliquées, sauf cas particulier, de façon homogène à tous les patients. Cela permet de garantir que tout le monde à l’accès à l’état de l’art, et d’assurer un niveau optimum des prises en charge.
L’EBM a permis de lancer les travaux sur l’élaboration de recommandations de bonnes pratiques qui sont venues considérablement enrichir les bases de connaissances des systèmes experts. Ces dernières sont passées de l’expertise de quelques-uns à des recommandations issues de l’EBM. Il s’est donc produit un changement de source d’information pour créer les bases de connaissances des SADM. Le temps passant les systèmes sont devenus plus performants en prenant en compte la complexité des connaissances, la caractérisation du patient, etc. Le système expert a donc été abandonné au profit du Clinical Decision Support System, qu’on traduirait en systèmes d’aide à la décision clinique.
La révolution provient véritablement de la nature des bases de connaissances. Plus récemment, on définit un SADM comme un logiciel qui s’appuie sur une base de connaissances structurée, issue des recommandations de bonnes pratiques de l’EBM, qui utilise également une caractérisation structurée, formalisée, de l’état de santé d’un patient et qui dispose d’un système de matching entre les critères patients et les connaissances afin de pouvoir extraire les recommandations issues de l’état de l’art qui s’appliquent à un patient donné. On s’est surtout intéressé aux SADM en matière de thérapeutique, car la prise en charge s’avère souvent plus complexe que le diagnostic.
Les SADM sont développés au niveau local, parfois national mais très rarement international et il faut bien comprendre qu’ils ont toujours été des outils de recherche. Selon mon expérience, il n’y a pas beaucoup de SADM de prise en charge thérapeutique qui sont utilisés aujourd’hui en routine. Certains systèmes font l’objet d’études, sont utilisées pendant un moment et donnent des résultats, mais finalement il n’y a pas beaucoup d’incitations à poursuivre au delà du temps de l’étude. En outre, j’ai observé que les experts qu’on sollicite souvent dans les études d’évaluation des SADM, étaient finalement rarement favorables à l’utilisation de ces systèmes pour leur usage propre, bien qu’on puisse souvent constater de grandes différences entre leurs pratiques et les recommandations de l’EBM.
Pourtant, en proposant les solutions thérapeutiques à l’état de l’art, les SADM ont fait la preuve de leur utilité.
T : Quels sont, d’après votre expérience personnelle et vos travaux, l’apport des SADM dans la prise en charge du cancer du sein ?
BS : J’ai travaillé à l’hôpital sur le développement de systèmes d’aide à la décision de prise en charge de patients atteints de cancer et notamment de cancer du sein.
Un des systèmes s’appelle Oncodoc. Développé dans une version initiale évaluée à La Pitié-Salpêtrère et à l’Institut Gustave Roussy, il a été retravaillé et enrichi pour l’hôpital Tenon à la demande du Professeur Serge Uzan, afin d’en faire un système d’aide à la prise en charge globale des patients atteints d’un cancer du sein, en intégrant notamment l’ensemble des modalités thérapeutiques (chirurgie, radiothérapie, hormonothérapie, chimiothérapie, thérapies ciblées). Oncodoc a bénéficié à Tenon d’une subvention de la Haute Autorité de Santé pour faire une étude avant/après : on regarde comment fonctionne une Réunion de Concertation Pluridisciplinaire (RCP), c’est-à-dire un staff pluridisciplinaire comprenant notamment des chirurgiens, des oncologues, des radiothérapeutes, des anatomo-cytopathologistes, des généticiens, sans le système ; on examine alors la conformité de leurs décisions aux recommandations aux bonnes pratiques et on procède au même test avec utilisation du système d’aide à la décision au cours des RCP, les cliniciens prenant donc leur décision en connaissant les propositions du SADM. Au cours de cette étude portant sur un peu moins de 500 patients, on est passé de 74% à 92% de conformité des décisions avec le système.
Oncodoc a été utilisé pendant 3 ans en routine pour tous les patients, et puis d’autres outils institutionnels ont émergé et l’utilisation d’Oncodoc a été interrompue en 2009. C’est regrettable car Oncodoc permettait de pointer les désaccords et de réfléchir ensemble sur la valeur pour un patient donnée de la décision recommandée par l’état de l’art. Le système aurait peut-être eu plus de pérennité dans une structure moins spécialisée que l’hôpital Tenon (centre expert de sénologie). De la même manière, nous n’avons sans doute pas fait tout ce qui aurait été nécessaire à la diffusion et au déploiement de ce système. C’est sans doute un autre métier que celui de l’enseignant chercheur, praticien hospitalier …
J’ai aussi récemment participé à un projet européen appelé DESIREE. Nous avons développé un système d’aide à la décision multimodale. Le système fonctionnait toujours à base de recommandations issues des guides de bonnes pratiques mais avec des modalités supplémentaires. Il y avait une modalité de raisonnement par analogie, c’est-à-dire que pour une patiente donnée, on regarde dans la base patientes enregistrées si certaines lui ressemblent et on étudie les décisions qui avaient été prises pour ces patientes analogues. A la lumière de ces décisions, on peut décider de les suivre, de ne pas les suivre, de les adapter, etc. L’autre modalité d’aide à la décision est induite par l’inertie de l’actualisation des guides de bonnes pratiques ; ces derniers sont élaborés avec des délais qui sont souvent incompatibles avec le rythme de production des connaissances et l’actualisation de tels guides, est réalisé, au mieux, tous les 5 ans en France (en comparaison avec les États-Unis où l’actualisation a lieu tous les 6 mois pour le cancer du sein, ce qui en fait des supports de travail plus fiables). Cette inertie d’actualisation pose un problème car si les connaissances ont changé, il n’est pas satisfaisant que le système préconise des recommandations dépassées. Pour pallier cette léthargie, un autre mode d’aide à la décision a été pensé : il se base sur le fait d’utiliser les décisions non conformes aux recommandations (en dépit de l’utilisation d’un SADM qui les rappellent) et dont la non-conformité est justifiée (qu’est-ce qui est spécifique chez le patient et qui explique pourquoi la recommandation n’a pas été suivie). De cette manière une nouvelle règle de décision, issue de l’expérience, peut être créée qui pointe vers une nouvelle proposition (la décision non conforme qui avait été prise) si le patient présente les éléments spécifiques qui valide la justification qui avait été donnée. La base de connaissances issues des recommandations de bonnes pratiques se trouve donc enrichie de propositions issues de l’expérience.
Si on essaye d’en tirer un bilan, le système DESIREE a été utilisé par certains des partenaires cliniciens du consortium (des espagnols) ainsi que dans les hôpitaux Saint-Louis et Georges-Pompidou (Assistance Publique – Hôpitaux de Paris). A nouveau, il y a deux ans, à Saint-Louis, en dehors de l’étude, l’utilisation de DESIREE a été abandonnée. A l’hôpital européen Georges Pompidou, la personne qui était particulièrement motivée et impliquée a quitté l’AP-HP sans emporter le système avec elle.
En tant que chercheurs nous construisons un certain nombre d’outils, qui visent à améliorer la conformité des décisions de prise en charge thérapeutique à ce que préconisent les recommandations de bonnes pratiques (l’état de l’art scientifique), mais c’est vrai qu’il n’y a souvent pas de relai vers des professionnels qui pourraient s’occuper de la diffusion et du déploiement de ces outils. Ayant la propriété intellectuelle de ces outils, l’AP-HP pourrait faire plus que mettre à disposition les services de l’Office du Transfert de Technologie et des Partenariats Industriels (OTTPI) qui surtout protège les innovations hospitalières. A mon sens, nous avons développé un certain nombre de systèmes aux résultats probants, mais aujourd’hui, il y en a très peu qui sont utilisés. Il n’y a peut-être pas assez de communication entre l’AP-HP et le privé sur ces sujets et il n’y a pas beaucoup de visibilité non plus. Ceux qui les connaissent n’en ont apparemment pas besoin car c’est ceux avec lesquels on a travaillé, les experts du domaine. Et ceux qui pourraient en avoir besoin ne les connaissent pas forcément. Je parle ici d’intelligence artificielle logico-symbolique9 car en revanche, avec le boom de l’intelligence artificielle numérique, la donne est très différente.
T : Quelle différence faites-vous entre l’approche symbolique et l’approche numérique de l’intelligence artificielle et comment expliquer la différence entre les deux ?
BS : L’IA symbolique consiste à représenter des connaissances et à les articuler avec des systèmes d’inférence (la déduction, l’induction, l’abduction). Il y a une logique sous-jacente et le système est en capacité de tracer le raisonnement suivi et de l’expliquer si la décision produite n’est pas compréhensible. La complexité de cette approche c’est qu’il faut modéliser les connaissances, ce qui est relativement chronophage. A l’époque des systèmes experts, il était très compliqué d’obtenir les connaissances des experts pour les modéliser, avec les recommandations de bonnes pratiques, ce sont des documents textuels, il y a donc une traduction du texte à faire, avec des choix d’interprétation à imposer, car le texte est interprétable, le langage naturel n’est pas un langage de programmation machine. Cette opération est également chronophage et complexe mais permet d’aboutir à une aide à la décision explicable.
L’IA numérique procède d’une autre manière. On construit des algorithmes à partir de données qui fournissent une aide à la décision pour d’autres données. Aujourd’hui, c’est en matière d’imagerie10 que les résultats sont les meilleurs. On utilise souvent un apprentissage supervisé pour lequel on dispose d’un échantillon de cas résolus (par exemple, un ensemble de mammographies pour lesquelles on sait s’il y a ou pas une image suspecte de cancer). Il y a ainsi une intervention humaine pour l’annotation des images (cancer oui/non, ou lésion suspecte oui/non), afin d’alimenter l’algorithme. Sur cet échantillon de cas résolus, l’algorithme construit un modèle qui reconnait les images suspectes de cancer. Puis on teste cet algorithme sur un autre échantillon afin d’évaluer sa performance. Il y a plusieurs types d’algorithmes :
– Les algorithmes de
machine learning qui appliquent des approches globales comme les forêts aléatoires, les arbres de décision, la régression logistique. Cette famille d’algorithmes est capable, à partir d’un ensemble d’exemples annotés, d’apprendre les paramètres du modèle qui va permettre, à partir d’une nouvelle image, de dire s’il y a une lésion suspecte ou non.
– Les algorithmes de deep learning vont travailler sur la base de réseaux de neurones représentés par un ensemble de couches reliées entre elles, qui correspondent à des découpages en zones de plus en plus précises (apprentissage profond). C’est l’apprentissage des liens qui va permettre d’apprendre à reconnaître globalement l’image.
A l’inverse des possibilités offertes par l’IA symbolique, en matière d’IA numérique, il n’existe pas de moyen d’expliquer le raisonnement de la machine. En effet, le processus est celui de la construction d’un modèle qui s’applique et qui n’est pas explicite. C’est pour cette raison que l’on dit souvent que l’IA numérique est une IA « boite noire ».
En revanche, on ne peut pas nier les performances de l’IA numérique. D’autant plus qu’on dispose aujourd’hui d’énormément de données numérisées permettant d’entrainer les algorithmes. Ce qui est le plus chronophage dans notre domaine est surement l’annotation individuelle par les radiologues.
Pour tous ces traitements d’images, les résultats seront meilleurs quand les images sont produites numériquement car l’ordinateur est en capacité d’identifier plus d’éléments que l’œil humain. Néanmoins, cette supériorité est à relativiser car la lecture d’image ne nécessite pas de raisonnement, c’est un acte technique. Il est beaucoup plus compliqué de comprendre un patient avec son historique, pour arriver à trouver le traitement adapté.
Aujourd’hui, à mon sens, le champ de l’IA numérique est la lecture d’images, et le champ de l’IA symbolique, c’est tout ce qui concerne l’approche cognitive de la prise en charge, qui est plus complexe. Néanmoins, de nombreuses personnes ambitionnent de résoudre ces problèmes avec l’IA numérique. J’y suis personnellement très favorable, si cela peut fonctionner de façon satisfaisante. Néanmoins, il faut éviter tout optimisme démesuré. En effet, une expérience11 conduite par Google sur la lecture de mammographies, avec des algorithmes d’IA numérique d’apprentissage profond, avait démontré que l’IA était globalement plus performante que les radiologues. Pourtant, dans certaines situations, les radiologues étaient meilleurs que l’IA. La question est donc de choisir :
– Soit on décide de faire une confiance aveugle à la machine car elle est globalement plus performante que l’humain et on décide de toujours la suivre.
– Soit on garde son autonomie de décision et on s’enrichit des propositions de la machine qui peuvent faire réfléchir le médecin en cas de désaccord.
D’ailleurs c’est dans le sens de la seconde option que va l’article 17 de la loi n° 2021-1017 du 2 août 2021 relative à la bioéthique. Cet article introduit en effet la nécessité d’une garantie humaine dans l’interprétation des résultats d’une IA.
T : Lorsqu’un médecin dispose d’outils d’IA si performants, n’existe-t-il pas un risque que le système prenne le pas sur l’exercice de l’art, c’est-à-dire que le médecin se retranche derrière la machine afin d’éviter d’engager sa responsabilité ?
BS : Concernant les SADM, différents biais ont été identifiés et publiés.
Le premier, dénommé automation bias12, correspond à un comportement consistant à suivre la machine et ne pas se poser de question. C’est un comportement qui est observé et qui peut se produire quand les médecins manquent de temps ou n’ont pas confiance dans leur décision. Il y a un pourcentage non négligeable de décisions qui sont prises à tort pour suivre ce que le SADM propose (5,2% dans l’exemple décrit dans 12). Cette attitude n’est certainement pas optimale. Par exemple, lorsqu’on utilise mal un SADM, par exemple en caractérisant mal son patient, le SADM va raisonner sur un autre patient (celui qui a été faussement caractérisé) et donner une recommandation qui vaut pour l’autre patient mais qui n’est pas adaptée pour le premier patient.
A l’inverse, on trouve le phénomène de réactance, bien connu en psychologie sociale. En vertu de ce mécanisme de défense psychologique, l’individu tente de maintenir sa liberté d’action lorsqu’il la croit menacée et il va systématiquement prendre une décision contraire à celle proposée par la machine.
La pratique idéale se trouve nécessairement au milieu, mais ces deux situations extrêmes posent des difficultés car ce sont des comportements préjudiciables à la qualité des soins.
Concernant la question de l’engagement de la responsabilité, jusqu’à aujourd’hui, la responsabilité de la décision revient au professionnel de santé qui prend la décision. Il faut donc considérer qu’un SADM peut enrichir la réflexion d’un professionnel de santé pour décider mais en aucun cas le professionnel de santé ne doit perdre son esprit critique. Il devra considérer la proposition du SADM, s’interroger en cas de désaccord, mais la décision lui reviendra et il devra l’assumer. Avec les solutions d’IA symbolique, la traçabilité du raisonnement permet au SADM de proposer une explication à sa proposition. L’IA numérique en matière d’imagerie évolue pour devenir « explicable », des progrès récents ont permis à une IA numérique de lecture d’images d’identifier la zone d’intérêt où se situe la lésion suspecte. La confrontation en cas de désaccord avec l’avis du professionnel de santé est donc facilitée.
Il est fondamental que les médecins continuent à exercer leur métier, enrichi par des SADM mais en aucun cas qu’ils ne désertent cette position de chef d’orchestre de la décision. Comme on sait qu’il y a des situations où le médecin est aujourd’hui meilleur que l’IA, il faut absolument préserver cela.
T : En maintenant la responsabilité coûte que coûte sur le médecin, n’y a-t-il pas un risque de mise à mal du développement de ces technologies ? En effet, dès lors que le médecin ne comprend plus le raisonnement de la machine, ne faut-il pas envisager un partage de responsabilité ?
BS : Pour l’instant, au niveau de l’Ordre des médecins on considère toujours que le médecin est seul responsable de sa décision. Peut-être qu’ils réfléchissent à faire des modifications de ce postulat, mais à mon avis c’est la porte ouverte à l’automatisation de la médecine et à la disparition des médecins. On commence par partager la responsabilité, puis à ôter toute responsabilité, et in fine il n’y a plus de médecin. L’intelligence artificielle n’a d’intelligence que le nom. L’IA permet de rendre de grands services grâce à sa puissance de calcul et aux progrès récents de l’algorithmique, mais en aucun cas il ne faut laisser toute la décision à la machine. Une étude récente remet d’ailleurs en question les études réalisés avec des algorithmes d’IA numérique et explique leur faible utilisation en routine13. L’artiste britannique James Bridle l’a remarquablement illustré avec son projet « Autonomous Trap 001 » ; au moyen d’un cercle de peinture blanche dessiné au sol, jalonné à l’extérieur de la ligne continue de pointillés blancs, il a piégé une voiture autonome, incapable d’en sortir14. La prudence est donc de mise.
T : Comment évaluez-vous aujourd’hui la place de l’éthique dans le déploiement du numérique en matière de santé ?
BS : Avant, la discussion des problématiques liées à l’éthique du numérique en santé était inexistante. C’est différent aujourd’hui, avec d’une part le Comité Pilote d’Éthique du Numérique en santé qui donne des avis, mais aussi la Cellule Ethique du numérique en santé de la DNS dont l’objectif est d’installer le virage numérique en santé dans un cadre de valeurs respectueuses des droits des usagers, permettant la promotion de la transparence des traitements, privilégiant un numérique en santé inclusif, et engageant les éditeurs dans des démarches responsables et de sobriété numérique (éco-conception). La promotion de l’éthique du numérique en santé est portée par l’action 4 de la feuille de route ministérielle (orientation 2)15. Il est indéniable que la situation progresse.
Nous attendons un développement exponentiel du numérique en santé avec Mon Espace Santé, la téléconsultation, la télé-expertise et la télésurveillance qui arrive. Nous sommes à l‘aube de l’explosion des usages. Il est crucial de cadrer les développements afin d’obtenir la confiance des utilisateurs. Nous avons déjà commencé avec la mise en place des critères éthiques dans le dossier de référencement des applis de santé dans le catalogue de services de Mon Espace Santé, nous travaillons également à la formalisation des critères éthiques et développement durable du référentiel de certification Maturin-H des systèmes d’information hospitaliers sur lequel travaille la Direction Générale de l’Offre de Soin (DGOS), on commence à semer quelques pierres.
Le moment venu, nous serons prêts. Par exemple, un de nos projets en cours d’élaboration est une plateforme étatique de signalements des problèmes éthiques du numérique en santé, à la manière de ce qui peut déjà exister en matière de signalements des effets secondaires des médicaments. L’idée est d’essayer de cadrer les développements avec des référentiels éthiques, mais d’avoir aussi des remontées du terrain car il est impossible d’envisager tous les problèmes dans une réflexion uniquement théorique.
L’œil de la revue Third
Cette interview avec Brigitte Séroussi est la plus longue de l’histoire de la revue ! Et pour cause, il était impossible de couper quoi que ce soit dans cet échange passionnant. Notre entretien nous a permis de recueillir les analyses très fines d’une professionnelle de santé au cœur des systèmes d’aides à la décision et des politiques publiques mises en œuvre pour réussir le virage technologique de notre système de santé.
1 | Cela est devenu très facile aujourd’hui par l’existence de passerelles entre les écoles d’ingénieurs et les facultés de médecine. (Retour au texte 1)
2 | Un système expert est un outil d’intelligence artificielle, capable de simuler le savoir-faire d’un expert humain dans un domaine précis, en exploitant des bases de connaissances qui sont spécifiques à ce domaine, et en recourant à un moteur d’inférence pour reproduire différents types de raisonnements. Le premier système expert a été inventé en 1965. (Retour au texte 2)
3 | L’objectif est de définir les éléments à mettre en place afin que différents systèmes d’information communiquent entre eux, échangent des données et comprennent les données échangées. (Retour au texte 3)
4 | Cour des comptes, 19 février 2013, Rapp. sur le coût du dossier médical personnel (DMP) commandé par la commission des finances, de l’économie générale et du contrôle budgétaire de l’Assemblée nationale en application de l’article L. 58-2 de la loi organique sur les lois de finances du 1er août 2001. Accessible à l’adresse suivante : https://www.ccomptes.fr/fr/documents/24427. (Retour au texte 4)
5 | Cela a permis de remplir les DMP. Et rappelons aussi que l’historique des remboursements, pour un nouveau professionnel de santé qui va prendre un patient en charge, permet d’avoir des informations sur la pathologie du patient grâce aux médicaments ou aux examens remboursés. (Retour au texte 5)
6 | L’outil convergence est un outil pratique, pédagogique, auto-déclaratif, à destination des industriels de santé, leur permettant de mesurer la conformité de leurs solutions, services et dispositifs à la doctrine technique du numérique en santé et de définir leur trajectoire de convergence. (Retour au texte 6)
7 | La création du DMP nécessitait le consentement exprès du patient. (Retour au texte 7)
8 | La médecine fondée sur les faits se définit comme « l’utilisation consciencieuse, explicite et judicieuse des meilleures données disponibles pour la prise de décisions concernant les soins à prodiguer à chaque patient, […] une pratique d’intégration de chaque expertise clinique aux meilleures données cliniques externes issues de recherches systématiques ». (Retour au texte 8)
9 | Cette intelligence artificielle est sous-tendue par des approches symboliques, on travaille sur des connaissances, articulées logiquement pour représenter des raisonnements dont les productions, les résultats ont une véracité garantie. (Retour au texte 9)
10 | Ici on parle d’imagerie au sens large : radiologie, IRM, scanner, anatomo-pathologie où les lames sont virtualisées et deviennent exploitables par des algorithmes. (Retour au texte 10)
11 | https://www.nature.com/articles/s41586-019-1799-6. (Retour au texte 11)
12 | https://pubmed.ncbi.nlm.nih.gov/21335682/. (Retour au texte 12)
13 | https://www.bmj.com/content/374/bmj.n1872. (Retour au texte 13)
14 | https://www.usinenouvelle.com/article/video-il-teste-les-limites-du-vehicule-autonome-avec-un-simple-pot-de-peinture.N516704. (Retour au texte 14)
15 | https://esante.gouv.fr/sites/default/files/media_entity/documents/FDR-Num-en-Sante-2020-V15.pdf. (Retour au texte 15)
