Microsoft a annoncé la disponibilité générale de son Azure AI Content Safety, un nouveau service qui aide les utilisateurs à détecter et à filtrer le contenu nuisible généré par l’IA et les utilisateurs dans les applications et services.
Le service inclut la détection de texte et d’images et identifie le contenu que Microsoft qualifie de « offensant, risqué ou indésirable », notamment les grossièretés, le contenu pour adultes, le sang, la violence et certains types de discours.
“En nous concentrant sur la sécurité du contenu, nous pouvons créer un environnement numérique plus sûr qui favorise une utilisation responsable de l’IA et protège le bien-être des individus et de la société dans son ensemble”, a écrit Louise Han, chef de produit pour Azure Anomaly Detector, dans un article de blog. annonçant le lancement.
Azure AI Content Safety a la capacité de gérer diverses catégories de contenu, langues et menaces pour modérer le contenu textuel et visuel. Il offre également des fonctionnalités d’image qui utilisent des algorithmes d’IA pour numériser, analyser et modérer le contenu visuel, garantissant ainsi ce que Microsoft appelle des mesures de sécurité complètes à 360 degrés.
Le service est également équipé pour modérer le contenu dans plusieurs langues et utilise une métrique de gravité qui fournit une indication de la gravité d’un contenu spécifique sur une échelle allant de 0 à 7.
Le contenu noté 0-1 est considéré comme sûr et approprié pour tous les publics, tandis que le contenu qui exprime des opinions préjugées, critiques ou opiniâtres est noté 2-3, ou faible.
Le contenu de gravité moyenne est classé entre 4 et 5 et contient un langage offensant, insultant, moqueur, intimidant ou des attaques explicites contre des groupes identitaires, tandis que le contenu de gravité élevée, qui contient la promotion préjudiciable et explicite d’actes préjudiciables, ou approuve ou glorifie des formes extrêmes d’actes préjudiciables. activité envers les groupes identitaires, est notée 6-7.
Azure AI Content Safety utilise également le filtrage multicatégorie pour identifier et catégoriser les contenus préjudiciables dans un certain nombre de domaines critiques, notamment la haine, la violence, l’automutilation et le sexe.
“[When it comes to online safety] il est crucial de considérer plus que le simple contenu généré par l’homme, d’autant plus que le contenu généré par l’IA devient répandu », a écrit Han. « Il est essentiel de garantir l’exactitude, la fiabilité et l’absence de éléments nocifs ou inappropriés dans les résultats générés par l’IA. La sécurité du contenu protège non seulement les utilisateurs contre la désinformation et les préjudices potentiels, mais respecte également les normes éthiques et renforce la confiance dans les technologies d’IA.
Azure AI Content Safety est facturé à l’utilisation. Les utilisateurs intéressés peuvent consulter les options de tarification sur la page de tarification d’Azure AI Content Safety.
