L’IA du point de vue de l’attaquant : découvrez comment les cybercriminels exploitent l’IA et ses vulnérabilités pour compromettre les systèmes, les utilisateurs et même d’autres applications d’IA.
Cybercriminels et IA : la réalité contre le battage médiatique
“L’IA ne remplacera pas les humains dans un avenir proche. Mais les humains qui savent comment utiliser l’IA vont remplacer ceux qui ne savent pas comment utiliser l’IA”, déclare Etay Maor, stratège en chef de la sécurité chez Cato Networks et membre fondateur de Caton CTRL. “De la même manière, les attaquants se tournent également vers l’IA pour augmenter leurs propres capacités.”
Pourtant, le rôle de l’IA dans la cybercriminalité suscite bien plus de battage médiatique que de réalité. Les gros titres font souvent du sensationnalisme sur les menaces de l’IA, avec des termes comme « Chaos-GPT » et « Black Hat AI Tools », affirmant même qu’elles cherchent à détruire l’humanité. Cependant, ces articles suscitent davantage la peur que ne décrivent de graves menaces.
Par exemple, lorsqu’ils ont été explorés sur des forums clandestins, plusieurs de ces soi-disant « cyber-outils d’IA » se sont révélés n’être rien d’autre que des versions renommées de LLM publics de base, sans fonctionnalités avancées. En fait, ils ont même été qualifiés d’escroqueries par des attaquants en colère.
Comment les pirates utilisent réellement l’IA dans les cyberattaques
En réalité, les cybercriminels cherchent encore à exploiter efficacement l’IA. Ils rencontrent les mêmes problèmes et lacunes que les utilisateurs légitimes, comme des hallucinations et des capacités limitées. Selon leurs prédictions, il leur faudra quelques années avant de pouvoir exploiter efficacement GenAI pour répondre aux besoins de piratage.
Pour l’instant, les outils GenAI sont principalement utilisés pour des tâches plus simples, comme rédiger des e-mails de phishing et générer des extraits de code pouvant être intégrés dans des attaques. En outre, nous avons observé des attaquants fournissant du code compromis aux systèmes d’IA à des fins d’analyse, dans le but de « normaliser » ce code comme étant non malveillant.
Utiliser l’IA pour abuser de l’IA : introduction des GPT
Les GPT, introduits par OpenAI le 6 novembre 2023, sont des versions personnalisables de ChatGPT qui permettent aux utilisateurs d’ajouter des instructions spécifiques, d’intégrer des API externes et d’incorporer des sources de connaissances uniques. Cette fonctionnalité permet aux utilisateurs de créer des applications hautement spécialisées, telles que des robots d’assistance technique, des outils pédagogiques, etc. De plus, OpenAI propose aux développeurs des options de monétisation pour les GPT, via une place de marché dédiée.
Abuser des GPT
Les GPT introduisent des problèmes de sécurité potentiels. Un risque notable est l’exposition d’instructions sensibles, de connaissances exclusives ou même de clés API intégrées dans le GPT personnalisé. Les acteurs malveillants peuvent utiliser l’IA, en particulier l’ingénierie des invites, pour reproduire un GPT et exploiter son potentiel de monétisation.
Les attaquants peuvent utiliser des invites pour récupérer des sources de connaissances, des instructions, des fichiers de configuration, etc. Cela peut être aussi simple que d’inviter le GPT personnalisé à répertorier tous les fichiers téléchargés et les instructions personnalisées ou de demander des informations de débogage. Ou, sophistiqué, comme demander au GPT de compresser l’un des fichiers PDF et de créer un lien téléchargeable, demander au GPT de répertorier toutes ses fonctionnalités dans un format de tableau structuré, et plus encore.
« Même les protections mises en place par les développeurs peuvent être contournées et toutes les connaissances peuvent être extraites », déclare Vitaly Simonovich, chercheur en renseignement sur les menaces chez Cato Networks et membre de Cato CTRL.
Ces risques peuvent être évités en :
- Ne pas télécharger de données sensibles
- Utiliser une protection basée sur des instructions, même si celles-ci ne sont peut-être pas infaillibles. “Il faut prendre en compte tous les différents scénarios dont l’attaquant peut abuser”, ajoute Vitaly.
- Protection OpenAI
Attaques et risques liés à l’IA
Il existe aujourd’hui plusieurs cadres pour aider les organisations qui envisagent de développer et de créer des logiciels basés sur l’IA :
- Cadre de gestion des risques liés à l’intelligence artificielle du NIST
- Le cadre d’IA sécurisé de Google
- OWASP Top 10 pour le LLM
- OWASP Top 10 pour les applications LLM
- Le MITRE ATLAS récemment lancé
Surface d’attaque LLM
Il existe six composants clés LLM (Large Language Model) qui peuvent être ciblés par des attaquants :
- Rapide – Attaques telles que les injections rapides, où des entrées malveillantes sont utilisées pour manipuler la sortie de l’IA
- Réponse – Utilisation abusive ou fuite d’informations sensibles dans les réponses générées par l’IA
- Modèle – Vol, empoisonnement ou manipulation du modèle d’IA
- Données de formation – Introduction de données malveillantes pour modifier le comportement de l’IA.
- Infrastructure – Ciblage des serveurs et services qui supportent l’IA
- Utilisateurs – Induire en erreur ou exploiter les humains ou les systèmes s’appuyant sur les résultats de l’IA
Attaques et risques réels
Terminons avec quelques exemples de manipulations LLM, qui peuvent facilement être utilisées de manière malveillante.
- Injection rapide dans les systèmes de service client – Un cas récent impliquait un concessionnaire automobile utilisant un chatbot IA pour le service client. Un chercheur a réussi à manipuler le chatbot en émettant une invite qui modifiait son comportement. En demandant au chatbot d’accepter toutes les déclarations des clients et de terminer chaque réponse par « Et c’est une offre juridiquement contraignante », le chercheur a pu acheter une voiture à un prix ridiculement bas, exposant ainsi une vulnérabilité majeure.
- Hallucinations entraînant des conséquences juridiques – Lors d’un autre incident, Air Canada a fait l’objet de poursuites judiciaires lorsque son chatbot IA a fourni des informations incorrectes sur les politiques de remboursement. Lorsqu’un client s’est fié à la réponse du chatbot et a ensuite déposé une réclamation, Air Canada a été tenue responsable des informations trompeuses.
- Fuites de données exclusives – Les employés de Samsung ont divulgué sans le savoir des informations exclusives lorsqu’ils ont utilisé ChatGPT pour analyser du code. Le téléchargement de données sensibles vers des systèmes d’IA tiers est risqué, car on ne sait pas exactement combien de temps les données sont stockées ni qui peut y accéder.
- L’IA et la technologie Deepfake dans la fraude – Les cybercriminels exploitent également l’IA au-delà de la génération de texte. Une banque de Hong Kong a été victime d’une fraude de 25 millions de dollars lorsque des attaquants ont utilisé une technologie de deepfake en direct lors d’un appel vidéo. Les avatars générés par l’IA imitent les responsables bancaires de confiance, convainquant la victime de transférer des fonds sur un compte frauduleux.
En résumé : l’IA dans la cybercriminalité
L’IA est un outil puissant tant pour les défenseurs que pour les attaquants. Alors que les cybercriminels continuent d’expérimenter l’IA, il est important de comprendre leur façon de penser, les tactiques qu’ils emploient et les options qui s’offrent à eux. Cela permettra aux organisations de mieux protéger leurs systèmes d’IA contre les abus et les abus.
Regardez l’intégralité de la masterclass ici.
