Vous réfléchissez probablement à deux fois avant de télécharger une application aléatoire ou d’ouvrir une pièce jointe inconnue. Mais à quelle fréquence arrêtez-vous de considérer ce qui se passe lorsque votre équipe télécharge et charge un modèle d’apprentissage automatique?
Une étude récente montre pourquoi vous devriez. Des chercheurs de Politecnico di Milano ont constaté que le chargement d’un modèle partagé peut être tout aussi risqué que l’exécution de code non fiable. Dans leurs tests, ils ont découvert six défauts auparavant inconnus dans les outils populaires d’apprentissage automatique. Chacun pourrait laisser un attaquant prendre le contrôle d’un système au moment où un modèle est chargé.
Ces résultats révèlent un nouveau type de menace en chaîne d’approvisionnement, qui se cache à l’intérieur des modèles mêmes, les organisations sont désireuses d’adopter.
Les contrôles de sécurité sont inégaux
Les chercheurs ont examiné les outils utilisés pour construire et enregistrer des modèles d’apprentissage automatique et les hubs où ils sont partagés. Ils ont constaté que les contrôles de sécurité varient considérablement. Certaines plateformes scannent des fichiers pour des menaces connues, tandis que d’autres comptent sur des environnements isolés ou font simplement confiance aux utilisateurs pour gérer eux-mêmes les risques.
Même lorsque les outils incluent les paramètres de sécurité, ils peuvent ne pas fonctionner comme prévu. Certains formats sont favorisés comme plus sûrs car ils sont basés sur des données plutôt que du code. En pratique, l’étude a révélé que ces formats peuvent toujours permettre aux attaquants d’exécuter du code nocif selon la façon dont ils sont traités.
Les lacunes sont particulièrement préoccupantes car l’adoption de versions sécurisées de ces outils est lente. Les chercheurs ont vu que des versions plus anciennes des cadres d’apprentissage automatique étaient téléchargées beaucoup plus souvent que les plus récentes qui contiennent des mises à jour de sécurité. Cela reflète un problème commun dans la sécurité des logiciels où les systèmes hérités restent utilisés longtemps après que des correctifs soient disponibles.
La perception ne correspond pas à la réalité
L’équipe a également interrogé 62 praticiens de l’apprentissage automatique pour comprendre comment ils voient ces risques. Parmi ceux qui travaillent régulièrement avec des modèles, 73% ont déclaré qu’ils se sentent plus à l’aise de charger des modèles de pôles bien connus qui favorisent la numérisation de sécurité intégrée.
Cependant, cette confiance est souvent déplacée. Dans certains cas, l’étude a montré que les outils de numérisation de sécurité n’avaient pas détecté de modèles malveillants. Dans d’autres cas, les fichiers ont été étiquetés comme sûrs simplement parce que l’outil de numérisation n’a pas pris en charge leur format. Cette inadéquation entre la perception et la protection réelle peut conduire à une confiance excessive, laissant les systèmes exposés.
Étapes que les CISO peuvent prendre
Les CISO devraient traiter les modèles d’apprentissage automatique comme tout autre morceau de code qui entre dans leur environnement. Ils devraient pousser leurs équipes à:
- Utilisez des sources de confiance pour les modèles d’apprentissage automatique et vérifiez leurs origines.
- Maintenir une isolation stricte lors du test ou du déploiement de nouveaux modèles.
- Gardez les cadres et les outils connexes à jour pour réduire l’exposition aux défauts connus.
- Définissez les politiques pour la façon dont les modèles sont numérisés et approuvés avant utilisation, et passez en revue la façon dont ces politiques fonctionnent.
