Dans cette aide à l’entretien de sécurité net, Rohan Sen, directeur, cyber, des données et des risques technologiques, PWC US, explique comment les organisations peuvent concevoir des agents d’IA autonomes avec une forte gouvernance dès le premier jour. Alors que l’IA devient plus ancrée dans les écosystèmes commerciaux, l’autorisation de la sécurité au niveau de l’agent peut ouvrir la porte aux risques de réputation, opérationnels et de conformité.
Lors de la conception d’agents d’IA autonomes, quels sont les mécanismes de gouvernance et de contrôle des risques les plus critiques qui doivent être construits dès le début? Pouvez-vous donner des exemples de ce à quoi ressemble la mise en œuvre du bien vs faible dans la pratique?
L’étape la plus critique consiste à traiter les agents autonomes comme des identités numériques avec un impact réel, nécessitant le même niveau de gouvernance que les utilisateurs humains. Cela inclut l’application de l’accès des moins à privilège, l’attribution des informations d’identification uniques et l’exploitation de toutes les actions pour une auditabilité complète dès le départ.
Des implémentations solides sont construites dans des sauvegardes en couches: autorisation étroitement portée, environnements en sable, chemins d’escalade stricts et surveillance en temps réel. Ces contrôles permettent aux organisations de superviser, de contenir et de faire reculer l’activité de l’agent si nécessaire.
Les implémentations faibles traitent les agents comme une simple automatisation, accordant un large accès sans propriété ni surveillance. Sans la validation des entrées ou les contrôles d’utilisation, les agents deviennent vulnérables à l’injection rapide et à la manipulation contradictoire, les transformant en angles morts de sécurité.
En fin de compte, la différence se résume à la gravité de l’organisation qui traite l’identité, l’autorité et le risque de l’agent. Les agents bien réglés sont supervisés et contraints, tandis que ceux mal gouvernés sont des accidents qui attendent de se produire.
De votre point de vue, quels risques opérationnels ou de réputation sont les plus susceptibles d’émerger des agents autonomes mal gouvernés au cours des 12 à 24 prochains mois?
Au cours des 12 à 24 prochains mois, les risques les plus immédiats des agents autonomes comprennent:
- Imitation et dommages à la marque: Les acteurs malveillants peuvent exploiter les agents non garantis pour se faire passer pour les cadres, les employés ou les représentants du service à la clientèle – conduisant à un phishing, à la fraude et à la réputation.
- Actions commerciales involontaires: Les agents sur-permissionnés ont le contrôle des flux de travail financiers, des systèmes de fournisseurs ou des données sensibles peuvent lancer des actions irréversibles sans surveillance humaine. Une mauvaise sortie peut déclencher de graves conséquences.
- Exposition réglementaire et de conformité: Les agents gérant les données personnelles ou sensibles peuvent violer par inadvertance les règles de confidentialité ou de divulgation. Beaucoup manquent d’explicabilité intégrée, ce qui rend difficile la démonstration de la conformité ou enquêter sur les résultats nocifs. Cet écart augmente le risque d’audits, d’amendes ou de poursuites judiciaires.
- ETPACES DE RÉPONSE DE L’INCIDENT: De nombreuses organisations ne sont pas équipées pour détecter, isoler ou corriger les agents mal comportementaux en temps réel. Sans cadres dédiés et outils de confinement, les efforts de réponse peuvent être trop lents pour éviter les dommages.
Quelles étapes concrètes les chefs d’entreprise et les dirigeants de la sécurité informatique devraient-ils prendre aujourd’hui pour intégrer la résilience dans leurs écosystèmes d’IA, en particulier pour les agents qui prennent des décisions ou prennent des mesures autonomes?
Les étapes pour les chefs d’entreprise et les dirigeants de la sécurité informatique pour établir la résilience dans les écosystèmes d’IA comprennent:
- Traitez les agents comme des acteurs, pas des outils: Consultez les agents autonomes comme des entités avec une agence réelle et le potentiel d’impact des systèmes, des décisions et des données – nécessitant la même gouvernance et la même surveillance que les utilisateurs humains très privile.
- Mettre en œuvre de solides contrôles fondamentaux avant le déploiement: Appliquez un accès le moins à privilège, attribuez des informations d’identification uniques, utilisez une authentification robuste et assurez-vous que toutes les actions d’agent sont immuablement enregistrées avant d’accorder une autonomie.
- Effectuer régulièrement des essais sur les équipes rouges et le stress: Simuler des scénarios comme l’injection rapide, les entrées contradictoires et les pièges logiques pour découvrir les vulnérabilités et valider si les contrôles existants se maintiennent dans des conditions du monde réel.
- Classifier les agents en fonction du risque et de l’autonomie: Développez un système à plusieurs niveaux pour faire la différence entre les agents à faible risque et à haut risque, en appliquant des garanties plus fortes telles que des revues humaines dans la boucle, une surveillance en temps réel ou une shutdown automatique pour les fonctions à risque plus élevé.
- Favoriser la sensibilisation et la préparation à l’échelle de l’organisation: Assurez-vous que les équipes à travers la sécurité, les RH, les finances et les opérations comprennent comment fonctionnent les agents, comment ils peuvent être exploités et que faire lorsque quelque chose ne va pas.
Dans le cas où un agent autonome commence à agir en dehors des limites prévues, en raison d’une injection rapide, d’un comportement émergent ou d’une contribution contradictoire, à quoi devrait ressembler un plan de réponse aux incidents bien préparé?
La réponse aux incidents pour les agents de l’IA commence par la préparation. Cela signifie maintenir un registre de tous les agents déployés en détaillant les systèmes qu’ils touchent, les autorisations qu’ils détiennent et qui les possèdent. De plus, définissez les lignes de base comportementales et les seuils de détection. Surveillez les écarts comme l’accès inattendu aux données, les volumes inhabituels de sortie ou les chemins de décision inconnus.
Les dirigeants doivent également confirmer que les commutateurs de mise à mort prédéfinis, l’accès qui peuvent être rapidement désactivés ou les outils d’isolement sont en place et sont régulièrement testés. Ceux-ci permettent un confinement rapide sans nécessiter un arrêt complet du système.
Une réponse solide doit également impliquer des équipes juridiques, de conformité, de communication et de leadership. Si un incident affecte les clients, déclenche des seuils réglementaires ou génère l’attention des médias, la coordination entre les équipes est essentielle. Les organisations ont besoin de plans de réponse aux incidents adaptés aux risques spécifiques à l’IA – testés, raffinés et comprises par toutes les personnes impliquées.
Quelles questions clés les acheteurs devraient-ils poser des fournisseurs d’IA pour s’assurer qu’ils n’héritent pas de gouvernance cachée ou de dette de conformité?
Lors de l’évaluation des fournisseurs d’IA, priorisez les questions sur la gouvernance, la sécurité et le contrôle des risques. Commencez par demander comment les agents sont authentifiés et autorisés. Recherchez l’accès basé sur les rôles, les autorisations dans les parasites et les sentiers d’audit complets. Si le vendeur ne peut pas expliquer cela, c’est un drapeau rouge.
Ensuite, demandez quelles garanties sont en place pour éviter les décisions dangereuses. Des réponses fortes référenceront l’application des politiques, le sable, la logique d’escalade et les remplacements en temps réel. Renseignez-vous également sur les tests contradictoires, en particulier comment le fournisseur se défend contre l’injection rapide et le comportement émergent.
La visibilité est également critique. Confirmez si vous aurez accès à des journaux de sabot qui suivent chaque action, car sans cela, vous pourriez perdre le contrôle lorsque quelque chose ne va pas. Enfin, demandez quels cadres de gouvernance le vendeur suit. S’ils ne peuvent pas décrire leur posture de risque, vous héritez probablement des risques qu’ils n’ont pas abordés.
