Un tribunal civil canadien a ordonné à Air Canada de payer pour une erreur commise par un chatbot du service client, soulignant la nécessité pour les entreprises de mieux former et surveiller leurs outils d’intelligence artificielle (IA).
Jake Moffatt, un résident de la Colombie-Britannique, a visité le site Web d’Air Canada en novembre 2022 pour réserver un vol pour les funérailles de sa grand-mère en Ontario. Le chatbot du site lui a indiqué qu’il pourrait se faire rembourser une partie du billet du lendemain et du billet aller-retour s’il demandait la réduction dans les 90 jours.
Cette information était incorrecte ; La politique d’Air Canada, disponible sur son site Web, est d’offrir des rabais en cas de deuil si le client en fait la demande à l’avance. Après qu’Air Canada ait refusé d’accorder la réduction, un tribunal canadien a ordonné à la compagnie aérienne de payer environ 600 $ en indemnités de deuil et en frais de justice, soit environ la moitié de ce que Moffatt a payé pour les billets.
Les entreprises utilisant des chatbots et d’autres outils d’IA générative (genAI) doivent investir dans des efforts de surveillance « afin d’économiser de l’argent grâce aux gains de productivité des chatbots », a déclaré Avivah Litan, éminente vice-présidente analyste spécialisée dans l’IA chez Gartner. « Sinon, ils finiront par dépenser plus en frais juridiques et en amendes que ce qu’ils gagnent en gains de productivité. »
Dans l’affaire Air Canada, Christopher Rivers, membre du Tribunal de résolution civile de la Colombie-Britannique, s’est rangé du côté de Moffatt et a rejeté l’affirmation de la compagnie aérienne selon laquelle le chatbot est « une entité juridique distincte responsable de ses propres actions ».
Air Canada n’a pas pu expliquer pourquoi les informations sur les remises en cas de deuil sur son site Web étaient plus fiables que celles fournies par le chatbot, a écrit Rivers dans sa décision du 14 février. “Air Canada avait un devoir de diligence envers M. Moffatt”, a-t-il ajouté. « De manière générale, la norme de diligence applicable exige qu’une entreprise prenne des mesures raisonnables pour garantir que ses déclarations sont exactes et non trompeuses. »
Trois analystes qui se concentrent sur le marché de l’IA ont convenu que les entreprises utilisant des chatbots et d’autres outils d’IA doivent vérifier leurs résultats. Environ 30 % des réponses de genAI sont fictives, un résultat appelé « hallucination », a déclaré Litan.
« Les entreprises utilisant des chatbots doivent utiliser des garde-fous qui mettent en évidence les anomalies de sortie telles que les hallucinations, les informations inexactes et illégales – et mettre en place des opérations d’examen humain qui enquêtent et bloquent ou approuvent ces sorties avant qu’elles ne soient diffusées », a-t-elle déclaré. « Ils doivent s’assurer que les résultats, en particulier dans les applications destinées aux clients, sont précis et qu’ils n’orientent pas les clients ou l’organisation qui gère le chatbot sur la mauvaise voie. »
Les chatbots GenAI ne sont pas prêts pour les interactions avec le service client à moins que les entreprises qui les utilisent n’investissent dans la fiabilité, la sécurité et les contrôles de sûreté, a-t-elle soutenu. Les entreprises utilisant des chatbots devraient mettre en place de nouvelles opérations pour examiner manuellement les réponses imprévues mises en évidence par les outils de détection d’anomalies.
Les cas où les chatbots fournissent des informations erronées soulignent la nécessité pour les entreprises de se concentrer sur une IA responsable, a déclaré Hayley Sutherland, responsable de recherche pour la découverte des connaissances et l’IA conversationnelle chez IDC. Les entreprises doivent investir dans le test et la formation des outils d’IA qu’elles utilisent, a-t-elle recommandé.
« Quel que soit le format ou l’interface utilisateur [AI is] livrées, les entreprises ont tendance à être tenues responsables des informations qu’elles fournissent aux clients, il est donc sage de procéder avec prudence », a-t-elle déclaré.
Sutherland a recommandé aux entreprises qui envisagent des chatbots et d’autres outils d’IA de les utiliser d’abord pour des cas internes moins sensibles, tels que l’assistance aux connaissances des employés, au lieu de se lancer directement dans le service client.
Les hallucinations de l’IA peuvent sembler plausibles, même si elles fournissent des informations incorrectes, a-t-elle noté. Pour lutter contre ce problème, « les systèmes d’IA générative devraient inclure un « humain dans la boucle » et d’autres mécanismes pour lier, ancrer et valider les résultats du chatbot pendant la phase de formation, ainsi que lors de tests continus », a déclaré Sutherland.
Un autre problème est que les chatbots actuels ne peuvent gérer que quelques tâches simples, a déclaré David Truog, vice-président et analyste principal chez Forrester. « Malheureusement, les entreprises qui déploient des chatbots ont souvent trop confiance dans leur efficacité », a-t-il déclaré. « Ils sous-estiment la complexité de la création d’un bot efficace ; ce qu’ils négligent le plus souvent et de manière désastreuse, c’est l’expertise indispensable en matière de conception centrée sur l’humain et de conception de conversation.
Les entreprises ne devraient pas s’attendre à ce que les chatbots obtiennent un statut juridique spécial, a-t-il déclaré.
« Les chatbots sont des logiciels, tout comme le reste du site Web ou de l’application d’une entreprise », a déclaré Truog. « Et toute organisation qui déploie un logiciel pour interagir avec ses clients en son nom est responsable de tout ce que fait ce logiciel. Il est courant que les clients anthropomorphisent quelque peu les chatbots puisqu’ils utilisent des langages humains, mais ce n’est pas une excuse pour que les entreprises fassent de même, au point de se laver les mains de toute responsabilité lorsque leur bot se comporte mal.
Copyright © 2024 IDG Communications, Inc.
