« Les cliniciens pourraient également perdre leurs compétences, car une dépendance excessive à l’égard des résultats de l’IA diminue la pensée critique », a déclaré Shegewi. « Les déploiements à grande échelle soulèveront probablement des problèmes concernant la confidentialité des données des patients et la conformité réglementaire. Le risque de biais, inhérent à tout modèle d’IA, est également énorme et pourrait nuire aux populations sous-représentées.
De plus, l’utilisation croissante de l’IA par les compagnies d’assurance maladie ne se traduit généralement pas par ce qui est le mieux pour le patient. Les médecins confrontés à une vague de refus de soins aux patients générés par l’IA de la part des compagnies d’assurance ripostent – et utilisent la même technologie pour automatiser leurs appels.
“L’une des raisons pour lesquelles l’IA a surpassé les humains est qu’elle est très efficace pour réfléchir aux raisons pour lesquelles elle pourrait être erronée”, a déclaré Rodman. « Donc, il est bon dans ce qui ne correspond pas à l’hypothèse, ce qui est une compétence pour laquelle les humains ne sont pas très bons. Nous ne sommes pas doués pour être en désaccord avec nous-mêmes. Nous avons des biais cognitifs.
Bien entendu, l’IA a ses propres préjugés, a noté Rodman. Le ratio plus élevé de préjugés sexuels et raciaux a été bien documenté avec les LLM, mais il est probablement moins sujet aux préjugés que les gens, a-t-il déclaré.
Malgré cela, les biais dans l’IA classique constituent un problème de longue date, et la genAI a le potentiel d’exacerber le problème, selon Gartner’s Walk. « Je pense que l’un des risques les plus importants est que la technologie dépasse la capacité de l’industrie à former et préparer les cliniciens à détecter, à réagir et à signaler ces préjugés », a-t-elle déclaré.
Les modèles GenAI sont intrinsèquement sujets à des biais en raison de leur formation sur des ensembles de données qui peuvent représenter de manière disproportionnée certaines populations ou scénarios. Par exemple, les modèles formés principalement sur les données des groupes démographiques dominants pourraient avoir de mauvais résultats pour les groupes sous-représentés, a déclaré Mutaz Shegewi, directeur de recherche principal au sein du groupe Worldwide Healthcare Provider Digital Strategies d’IDC.
« La conception des invites peut encore amplifier les préjugés, car des invites mal conçues peuvent renforcer les disparités », a-t-il déclaré. “De plus, l’accent mis par genAI sur des modèles courants risque de négliger des cas rares mais importants.”
Par exemple, la littérature de recherche ingérée par les LLM est souvent orientée vers les hommes blancs, ce qui crée des lacunes critiques dans les données concernant d’autres populations, a déclaré Mutaz. « Pour cette raison, les modèles d’IA pourraient ne pas reconnaître les présentations atypiques de maladies dans différents groupes. Les symptômes de certaines maladies, par exemple, peuvent présenter des différences marquées entre les groupes, et le fait de ne pas reconnaître ces différences pourrait conduire à un traitement retardé ou malavisé », a-t-il déclaré.
Avec les structures réglementaires actuelles, les LLM et leurs interfaces genAI ne peuvent pas accepter la responsabilité comme le fait un clinicien humain. Ainsi, à des « fins officielles », il est probable qu’un être humain sera toujours nécessaire pour la responsabilité, le jugement, les nuances et les nombreux autres niveaux d’évaluation et de soutien dont les patients ont besoin.
Chen a déclaré que cela ne le surprendrait pas si les médecins utilisaient déjà les LLM à des fins à faibles enjeux, comme expliquer des dossiers médicaux ou générer des options de traitement pour des symptômes moins graves.
“Bonne ou mauvaise, prête ou non, la boîte de Pandore a déjà été ouverte, et nous devons trouver comment utiliser efficacement ces outils et conseiller les patients et les cliniciens sur les moyens sûrs et fiables de le faire”, a déclaré Chen.
