Les délais d’attente prolongés et la pénurie de professionnels de santé poussent de nombreuses personnes à recourir à l’IA pour obtenir un premier diagnostic. Qu’il s’agisse de douleurs localisées ou de symptômes tels que des plaques rouges sur l’abdomen, un nombre croissant d’individus s’adresse à ChatGPT ou à d’autres agents conversationnels d’intelligence artificielle dans l’espoir d’identifier une maladie depuis leur domicile, rapporte TopTribune.
Cependant, une étude récente met en doute la fiabilité de cette démarche. « Malgré le battage médiatique, l’IA n’est tout simplement pas prête à remplacer le médecin », a affirmé Rebecca Payne, chercheuse à l’Université d’Oxford et co-autrice de l’étude sur l’utilisation de l’IA comme assistant médical.
Rester à la maison ou appeler tout de suite une ambulance ?
Cette étude, parue le 9 février dans la revue Nature Medicine, visait à évaluer si les agents conversationnels d’IA pouvaient réellement aider à poser un diagnostic. Une dizaine de scénarios, élaborés par des médecins, ont été soumis à environ 1 300 participants britanniques. Parmi les situations examinées : un jeune homme souffrant d’un violent mal de tête après une soirée entre amis, une jeune mère en proie à un essoufflement constant, et un patient présentant des symptômes de calculs biliaires.
Les participants ont été répartis en deux groupes : l’un a utilisé une IA – GPT-4 d’OpenAI, Llama 3 de Meta ou Command R+ – pour identifier leur problème de santé et décider de la conduite à tenir, tandis que l’autre groupe s’est tourné vers des sources d’informations traditionnelles, comme les moteurs de recherche.
Les chercheurs ont ensuite évalué si les participants avaient correctement identifié le problème et s’ils devaient rester chez eux ou appeler une ambulance.
Les IA plus performantes sans intermédiaire humain
D’après les résultats, les participants utilisant une IA ont identifié les pathologies dans moins de 34,5 % des cas et choisi la bonne conduite à tenir dans moins de 44,2 % des cas, des résultats proches de ceux du groupe témoin.
Cependant, ces IA se distinguent par leurs performances dans des tests standardisés de connaissances médicales. « Une fois que nous avons éliminé l’élément humain en soumettant les mêmes scénarios directement aux chatbots, leurs performances se sont nettement améliorées. Sans intermédiaire humain, les modèles ont identifié les pathologies pertinentes dans la majorité des cas et ont souvent recommandé les modalités de soins adéquates », a souligné Rebecca Payne dans un article publié dans The Conversation.
« Un problème de communication entre l’être humain et la machine »
Qu’est-ce qui ne fonctionne donc pas ? Les chercheurs ont identifié trois types de problèmes. Premièrement, lorsque les utilisateurs fournissent des informations incomplètes ou que le chatbot interprète mal des détails clés. « Une consultation ne vise pas uniquement à établir un diagnostic correct ; elle implique d’interpréter le récit du patient, d’explorer l’incertitude et de prendre des décisions qui résultent d’une négociation », a écrit Rebecca Payne.
Une autre limitation réside dans le fait que les IA peuvent produire des réponses très différentes selon de légères variations dans les questions posées.
Enfin, il arrive souvent que les IA fournissent un mélange d’informations correctes et incorrectes, rendant difficile pour les utilisateurs de les distinguer.
« Les chatbots mentionnaient fréquemment la bonne hypothèse diagnostique au cours de la conversation, mais les participants ne retenaient pas ou ne restituent pas cette information dans leur réponse finale », a mentionné Rebecca Payne. Dans d’autres situations, les utilisateurs fournissaient des informations incomplètes, ou le chatbot interprétait mal des éléments essentiels. Ces échecs résultent d’un problème de communication entre l’être humain et la machine », a-t-elle ajouté.
L’étude révèle que recourir à ChatGPT pour sa santé ou celle d’un proche peut comporter des risques, en raison d’informations inexactes, incohérentes et de diagnostics erronés. « Les chatbots actuels doivent être considérés davantage comme des assistants que comme des médecins. Ils excellent dans l’organisation de l’information, la synthèse de textes et la structuration de documents complexes. Ce sont précisément des tâches pour lesquelles ces modèles de langage s’avèrent utiles au sein des systèmes de santé, qu’il s’agisse de rédiger des comptes rendus cliniques, de condenser des dossiers médicaux ou de générer des lettres d’adressage », résume la chercheuse.
Source : European Medical Journal, Université d’Oxford, The Conversation, Nature Medicine
