Lorsqu’il s’agit de données de télémétrie (c’est-à-dire les journaux, métriques, traces et autres informations que les ingénieurs utilisent pour surveiller les applications, gérer les performances et dépanner les pannes), plus c’est généralement mieux. Mais il y a une grande mise en garde : si vous ne parvenez pas à gérer efficacement les données de télémétrie, les données peuvent rapidement créer plus de problèmes qu’elles n’en résolvent, entraînant des problèmes tels que des coûts de stockage plus élevés, des difficultés à trouver les bonnes informations en cas de panne et le risque d’exposer des données sensibles. informations à un accès non autorisé.
C’est pourquoi les pipelines de télémétrie sont devenus un élément essentiel des applications modernes. observabilité et des stratégies de gestion des performances et une ressource essentielle lors du déploiement d’outils tels que les plateformes de gestion des informations et des événements de sécurité (SIEM). Les pipelines de télémétrie permettent aux entreprises de collecter, traiter, acheminer et stocker des données de télémétrie de manière efficace et à grande échelle.
Il s’agit au moins d’un aperçu de haut niveau de ce que font les pipelines de télémétrie et de leur importance d’un point de vue technique et commercial. Pour en savoir plus, continuez à lire pendant que nous nous appuyons sur notre expérience collective dans la conception, la mise en œuvre et la gestion de pipelines de télémétrie pour expliquer pourquoi ils sont si précieux et ce qu’il faut rechercher lors de la création d’un pipeline de télémétrie adapté aux besoins de votre organisation.
Que sont les pipelines de télémétrie et pourquoi sont-ils importants ?
Les pipelines de télémétrie sont un type de solution qui collecte, traite et achemine les données de télémétrie, c’est-à-dire les journaux, les métriques, les traces et tout autre type d’informations fournissant visibilité dans les performances des applications.
Les données de télémétrie sont importantes depuis des décennies, étant donné le rôle central qu’elles jouent en permettant aux organisations de surveiller les performances des applications, de détecter les problèmes et de les résoudre de manière à minimiser l’impact sur les utilisateurs. Mais jusqu’à récemment, peu d’organisations disposaient de stratégies délibérées pour gérer ces données. Au lieu de cela, ils se sont appuyés sur des approches ad hoc pour collecter les données là où elles proviennent et les déplacer vers les outils sur lesquels ils s’appuyaient pour les analyser.
Cette approche a assez bien fonctionné dans la plupart des cas lorsque le volume de journaux, de métriques et de traces gérés par une entreprise était relativement faible. Mais dans le monde actuel des architectures logicielles distribuées, la quantité de données de télémétrie à laquelle une organisation type doit faire face a explosé. Au lieu de devoir collecter un seul ensemble de fichiers journaux et de métriques pour chaque application, comme vous l’auriez fait à l’ère des applications monolithiques, il est courant aujourd’hui qu’une seule application soit composée d’une douzaine de microservices ou plus, dont chacun génère son propres journaux et métriques. Ajoutez à cela le fait que les applications d’aujourd’hui fonctionnent souvent sur infrastructure distribuée cela peut comprendre des centaines ou des milliers de serveurs individuels, et il est facile de comprendre pourquoi il y a tellement plus de données de télémétrie à gérer aujourd’hui.
Pour gérer efficacement ce volume, la plupart des organisations ont besoin de plus qu’une solution ad hoc pour collecter, traiter et acheminer les données. Ils nécessitent une solution spécialement conçue qui extrait systématiquement les données des différentes sources d’où elles proviennent, les normalise et les transforme si nécessaire, et les transmet aux endroits où elles sont analysées ou stockées. En d’autres termes, ils ont besoin d’un pipeline de télémétrie.
Les avantages des pipelines de télémétrie
En apportant cohérence et ordre à la gestion des données de télémétrie, les pipelines de télémétrie génèrent de nombreux avantages commerciaux. Les plus importants comprennent :
Réduction des coûts: Les pipelines peuvent contribuer à réduire les coûts de traitement et de stockage des données de télémétrie grâce à des fonctionnalités telles que la déduplication (qui supprime les données redondantes, réduisant ainsi les volumes et les coûts de stockage) et la minimisation des données (qui réduit la quantité de données ingérées dans les outils d’analyse, ce qui entraîne une baisse des coûts de stockage). exploiter des outils dont le prix est basé sur le total des données ingérées).
Confidentialité et sécurité des données : Les données de télémétrie peuvent contenir des informations sensibles, telles que des informations personnelles identifiables (PII) stockées dans des fichiers journaux. En fournissant des fonctionnalités telles que le chiffrement des données en mouvement, les pipelines de télémétrie contribuent à protéger les données sensibles et à répondre aux obligations de conformité.
Performances applicatives améliorées: Plus vous pourrez déplacer les données télémétriques de manière rapide et fiable de leur lieu d’origine vers l’endroit où vous les analysez, mieux vous serez en mesure de détecter et de résoudre les problèmes de performances logicielles avant qu’ils n’entraînent une panne.
Contrôle et visibilité centralisés: Un pipeline de télémétrie vous offre une vue consolidée de toutes vos données de télémétrie. Cela signifie que vous saurez toujours quelles sources de données sont disponibles, comment vous les utilisez et ce que vous pouvez faire pour rendre votre processus de télémétrie encore plus efficace.
Flexibilité opérationnelle: Une fois que vous avez créé un pipeline de télémétrie, vous pouvez facilement échanger les sources de données et les destinations selon vos besoins. Cela signifie que vous pouvez connecter et déployer des applications ou des outils d’analyse à volonté sans avoir à mettre en œuvre des processus de gestion de télémétrie personnalisés pour chacun.
Liberté de verrouillage: Dans le même ordre d’idées, les pipelines de télémétrie permettent aux entreprises de migrer facilement vers différents outils d’analyse ou de gestion des performances des applications sans être liées à la pile d’un fournisseur particulier en raison du défi lié à la nécessité de mettre à jour des processus complexes de gestion des données de télémétrie.
Fonctionnalités du pipeline de télémétrie : de base ou avancée
Pour offrir les avantages dont nous venons de parler, chaque solution de pipeline de télémétrie digne de ce nom doit fournir un ensemble de fonctionnalités de base, notamment :
La collecte, c’est-à-dire la capacité d’extraire des données des endroits disparates d’où elles proviennent.
Traitement, qui transforme les données de différentes manières afin qu’elles soient parfaitement adaptées à une utilisation par des outils d’analyse ou de gestion des performances des applications.
Le routage, ou la livraison des données traitées vers les différents outils qu’une organisation utilise pour les analyser ou les interpréter. Le routage peut également fournir des données vers des référentiels de stockage à long terme si l’organisation a besoin de conserver les données.
Il s’agit toutefois du strict minimum de fonctionnalités que les pipelines de télémétrie doivent prendre en charge. Pour obtenir une efficacité et une flexibilité optimales du pipeline, les organisations doivent rechercher plusieurs fonctionnalités supplémentaires clés.
Le projet OpenTelemetry
OpenTélémétrie (ou OTel en abrégé) est un cadre ouvert (régi par la CNCF) qui propose une approche standardisée pour la collecte, le traitement et la transmission des données de télémétrie.
OTel est devenu une norme pratiquement universelle, avec ses outils expérimentant plus de 30 millions de téléchargements chaque mois, ce qui signifie que tant que votre pipeline prend en charge OTel, vous pourrez l’utiliser pour connecter presque n’importe quelle source de données à n’importe quel outil d’analyse ou de gestion de données.
La valeur d’un framework ouvert
La prise en charge d’OTel garantit qu’un pipeline de télémétrie fonctionnera avec n’importe quelle source de données ou outil compatible OTel. Cependant, pour maximiser la flexibilité de votre pipeline et minimiser le risque de dépendance vis-à-vis d’un fournisseur, vous pouvez aller plus loin en matière d’ouverture en créant un pipeline comprenant un minimum de composants propriétaires.
Lorsque votre logiciel de pipeline est ouvert, c’est-à-dire qu’il est basé sur des composants standardisés de manière transparente, vous n’avez pas à craindre de vous retrouver enfermé dans votre logiciel de pipeline lui-même ou d’être redevable à un fournisseur particulier pour prendre en charge l’outil dont vous dépendez pour travailler avec les données de télémétrie.
Traitement des aperçus
Les aperçus de traitement vous permettent de prédire comment les routines de traitement de données que vous avez configurées dans un pipeline modifieront vos données. Ceci est important car vous ne voulez pas découvrir après coup que vous avez traité les données d’une manière qui les a rendues inutilisables ou qui a introduit des erreurs ou des problèmes de formatage. Grâce aux aperçus, vous pouvez adopter une approche plus proactive de la gestion des données et anticiper les problèmes liés aux données en temps réel.
Résumés de données
En plus de visualiser les données au fur et à mesure qu’elles circulent dans des pipelines individuels, la possibilité de résumer toutes les données de votre pipeline vous aide à suivre la quantité de données que vous traitez et ce que vous en faites. À leur tour, ces informations vous permettent d’identifier les tendances à long terme concernant vos données de télémétrie. Ils peuvent également aider à suivre les coûts de télémétrie et à trouver des opportunités pour rationaliser les flux de données.
Comment créer un pipeline de télémétrie
Une fois que vous avez décidé ce que votre pipeline de télémétrie doit faire et trouvé le logiciel qui le fait, vous devez implémenter le pipeline lui-même, ce qui peut être une tâche difficile, compte tenu de la complexité des pipelines modernes et des données de télémétrie.
Nous ne passerons pas en revue ici chaque étape du processus de mise en œuvre, car les détails varient en fonction du logiciel de pipeline de télémétrie que vous utilisez. Ce que nous aimerions cependant mentionner, ce sont les défis de mise en œuvre et opérationnels que les équipes négligent parfois, tels que :
Migration d’agents: Vous disposez peut-être déjà d’agents de surveillance logicielle qui collectent des données à partir d’applications ou de services. Plutôt que de reconfigurer ces agents, vous pourrez idéalement les migrer dans votre pipeline, ce qui permettra de gagner du temps et de réduire les efforts nécessaires à la mise en œuvre d’un nouveau pipeline.
Observabilité des pipelines: vous aurez besoin d’un moyen de surveiller et d’observer votre pipeline lui-même pour détecter des problèmes ou des erreurs de performances potentiels.
Évolutivité du pipeline: Il y a fort à parier que le volume de données télémétriques auquel les entreprises doivent faire face ne fera qu’augmenter dans les années à venir. Pour cette raison, il est important de veiller à ce que votre pipeline puisse évoluer pour s’adapter à des volumes de données toujours plus importants, ainsi qu’à une augmentation du nombre de sources de données et d’outils qu’il prend en charge.
Conclusion : Transformer la gestion des performances des applications et le SIEM avec des pipelines de télémétrie
En résumé : pour de nombreuses entreprises, les approches traditionnelles de gestion des données de télémétrie ne suffisent plus. Ils sont trop lents, coûteux et difficiles à mettre à l’échelle.
La solution consiste à adopter une approche délibérée et cohérente du traitement et de la livraison des données de télémétrie en créant un pipeline pour garantir que chaque source de données atteint sa destination prévue et est prête à prendre en charge son cas d’utilisation prévu. En faisant cela, vous préparez votre organisation à réussir à long terme à l’ère d’ensembles de données télémétriques de plus en plus volumineux et complexes.
