Écoutez cet article. Cet audio a été généré par l’IA.
Les acteurs des États-nations utilisent ChatGPT pour des activités de menace telles que le débogage de logiciels malveillants, selon un rapport publié mercredi par OpenAI.
Le rapport, intitulé « Influence et cyberopérations : une mise à jour », analyse la manière dont les acteurs de la menace ont utilisé les modèles OpenAI, principalement ChatGPT, pour mener des activités de menace, ainsi que, le cas échéant, comment OpenAI a perturbé cette activité. Le rapport affirme que depuis le début de 2024, OpenAI a perturbé « plus de 20 opérations et réseaux trompeurs du monde entier qui tentaient d’utiliser nos modèles ».
Les cas d’utilisation des acteurs menaçants répertoriés allaient des cas établis et attendus (tels que la génération d’e-mails de spear phishing) à des cas plus innovants. Par exemple, l’acteur iranien connu sous le nom de Storm-0817 a utilisé des modèles OpenAI pour aider au développement et au débogage de logiciels malveillants Android « rudimentaires » ainsi que l’infrastructure de commande et de contrôle correspondante. Storm-0817 a également utilisé OpenAI pour l’aider à créer un scraper Instagram et à traduire les profils LinkedIn en persan.
OpenAI a également cité les activités abusives d’un acteur malveillant présumé basé en Chine, connu sous le nom de « SweetSpecter », qui a lancé des attaques de phishing infructueuses contre l’entreprise elle-même. SweetSpecter a tenté d’utiliser ChatGPT pour déboguer le code d’une extension d’outil de cybersécurité ainsi qu’un cadre d’envoi de messages texte malveillants.
Le rapport documente l’activité d’un troisième groupe connu sous le nom de « CyberAv3ngers », associé au Corps des Gardiens de la révolution islamique iranien et responsable d’attaques contre les services d’eau l’année dernière. CyberAv3ngers a utilisé ChatGPT pour les activités de débogage, la recherche de vulnérabilités et les conseils en matière de scripts, ainsi que pour des requêtes plus spécifiques telles que la liste des protocoles industriels et des ports qui se connectent à l’Internet public.
Bien que l’utilisation de l’IA générative dans le développement de logiciels malveillants ne soit pas nouvelle, le rapport d’OpenAI publié mercredi décrit comment les groupes malveillants profitent d’outils tels que ChatGPT pour compléter leurs tactiques, techniques et procédures.
ChatGPT a également été utilisé dans des opérations d’influence. L’étude de mercredi s’est fortement concentrée sur les menaces électorales et a fait référence à un rapport distinct d’OpenAI d’août, qui décrivait comment une opération d’influence iranienne baptisée Storm-2035 a utilisé l’outil populaire d’OpenAI pour créer des articles pour les médias sociaux et les sites Web sur les deux camps lors de la prochaine élection présidentielle américaine, le conflit à Gaza et d’autres sujets politiques.
“Ils ont entrecoupé leur contenu politique de commentaires sur la mode et la beauté, peut-être pour paraître plus authentiques ou pour tenter de créer une audience”, a déclaré OpenAI.
Cependant, il semble que les auteurs de menaces aient connu jusqu’à présent un succès mitigé avec les outils d’IA générative. Le rapport d’août faisait référence à un « manque d’engagement significatif du public » résultant de l’opération d’influence, mais l’étude d’OpenAI d’octobre a approfondi cette tendance.
“Les acteurs de la menace continuent d’évoluer et d’expérimenter nos modèles, mais nous n’avons vu aucune preuve que cela conduise à des avancées significatives dans leur capacité à créer de nouveaux logiciels malveillants ou à constituer des audiences virales”, a déclaré OpenAI dans le nouveau rapport. “Cela est cohérent avec notre évaluation des capacités de GPT-4o, que nous ne considérons pas comme une avancée matérielle des capacités d’exploitation des vulnérabilités du monde réel, comme indiqué dans notre cadre de préparation.”
Le dernier rapport faisait référence à d’autres campagnes d’influence politique générant du contenu textuel et image IA à faible engagement, y compris des comptes en russe et en turc. Dans tous les cas susmentionnés, ainsi que dans d’autres mentionnés, OpenAI a perturbé ces campagnes en interdisant au minimum les comptes.
Une exception à la publication d’IA à faible engagement concernait un utilisateur russophone sur X, anciennement Twitter, qui, en discutant avec un autre utilisateur au sujet de l’ancien président américain et actuel candidat à la présidentielle Donald Trump, a semblé publier un message automatisé « généré par l’IA » qui a déclaré que l’utilisateur en question n’avait plus de crédits ChatGPT. Ce message a effectivement atteint des niveaux d’engagement viraux, a déclaré OpenAI, mais il a également été apparemment écrit manuellement afin d’attirer l’attention sur les réseaux sociaux et n’était pas un véritable contenu généré par l’IA ni le reflet d’un manque de crédits ChatGPT.
TechTarget Editorial a contacté OpenAI pour des commentaires supplémentaires, mais la société n’avait pas répondu au moment de la publication.
Alexander Culafi est rédacteur principal de nouvelles sur la sécurité de l’information et animateur de podcast pour TechTarget Editorial.
