Site Reliability Engineering (SRE): Meilleures Pratiques et Stratégies

Introduction à Site Reliability Engineering (SRE)

Sur notre blog Supervision des systèmes distribués : Les Four Golden Signals, nous avions mentionné le livre de Google Site Reliability Engineering: How Google Runs Production Systems, où Site Reliability Engineering (SER ou ingénierie de la fiabilité des sites) est une discipline utilisée par les équipes informatiques et d’ingénierie logicielle pour créer et maintenir de manière proactive des services plus fiables. Son origine vient du fait que Google a connu (au début des années 2000) une croissance sans précédent et de sa conséquence : le besoin de fiabilité en termes de disponibilité, de performance et de confiance. Depuis 2003, Google a étendu le concept de SER à l’industrie du développement de logiciels, en cherchant à combiner les fonctions de deux équipes : les opérations et le développement de logiciels pour travailler de manière coordonnée, en recherchant l’automatisation des tâches répétitives dans les opérations, l’utilisation d’outils développés pour la supervision et les processus automatisés pour la gestion des changements, l’analyse et la résolution des incidents. Depuis lors, d’autres entreprises ont commencé à adopter le même modèle et à employer des ingénieurs de fiabilité des sites. Actuellement, la position de SRE est devenue plus courante dans les grandes organisations : selon un rapport du Institut DevOps en 2021, basé sur une enquête de 2000 cadres, 22% des organisations ont déjà adopté le modèle SER, avec ses principes et ses meilleures pratiques.

Principes fondamentaux de SRE

SRE en tant que tel peut être effectué par une personne ou un groupe de collaborateurs, qui doivent assurer et superviser la disponibilité du système, la latence et les performances optimales, l’efficacité, la gestion des changements et le suivi, ainsi que la réponse aux urgences et la planification des capacités. Son objectif : améliorer l’expérience utilisateur et réduire les coûts opérationnels informatiques. Les principes sont les suivants :

• Évaluation des risques : Il s’agit d’une compréhension claire du risque de pannes inattendues, ce qui est essentiel pour améliorer la fiabilité du système.
• Objectifs de niveau de service (SLO, Service Level Objective[OD1] ) : Les SLO aident à définir des objectifs pour atteindre la fiabilité du système, tels que le temps de disponibilité. Des points de référence sont fournis pour que les équipes d’ingénierie s’y conforment afin de pouvoir fournir des services fiables.
• Élimination du travail acharné : Il désigne l’élimination du travail manuel pour maintenir un service opérationnel. Les SRE visent à automatiser les tâches répétitives, libérant du temps pour les affecter à des activités plus critiques. L’objectif est d’équilibrer l’automatisation et la fiabilité.
• Supervision des systèmes distribués : Cela implique d’analyser les données du système pour identifier les goulots d’étranglement, les anomalies et les problèmes de performance. Le SRE utilise des outils de suivi pour aborder les problèmes de manière proactive.
• Réponse aux incidents : Le SRE suit des processus de réponse à des incidents bien définis. On apprend des incidents, on procède à des autopsies et on améliore continuellement la résilience du système.
• Planification de la capacité : Le SRE prévoit les besoins en ressources sur la base de données historiques et de la croissance attendue. Une bonne planification de la capacité garantit que les systèmes peuvent supporter des charges maximales sans dégradation des performances.
• Réponse aux urgences : Le SRE est préparé aux situations d’urgence et pratique des scénarios de reprise après sinistre ; des guides procéduraux sont maintenus et les incidents critiques sont traités rapidement.

Rôles et responsabilités d’un ingénieur SRE

Les individus ou les équipes de SRE collectent et analysent des métriques, des journaux et des suivis pour mieux comprendre les performances de leurs systèmes. Les rôles et responsabilités dans l’ingénierie de SRE peuvent être :

• Ingénieur SRE : Ils sont responsables des opérations quotidiennes de l’équipe SRE, telles que la supervision, la gestion et la réponse aux incidents et l’automatisation.
• Gérant de SRE : Ils supervisent l’équipe de SRE et fixent des objectifs, développent des processus et veillent à ce que l’équipe atteigne ses objectifs.
• Architecte SRE : Ils conçoivent et mettent en œuvre de nouveaux systèmes et processus pour l’équipe SRE, en plus de s’assurer que le travail de l’équipe est aligné sur les objectifs généraux de l’organisation.
• Développeur SRE : Ils écrivent le code pour automatiser les tâches, améliorer la fiabilité et ajouter de nouvelles fonctions aux systèmes de l’équipe SRE.
• Ingénieur outillage SRE : Ils développent et entretiennent les outils que l’équipe SRE utilise pour effectuer son travail. Cette fonction peut être exercée par un ingénieur SRE dans des organisations plus petites.

Bien sûr, ces rôles dépendent des besoins de l’organisation, en cherchant toujours à maintenir la fiabilité des systèmes de l’organisation.

Meilleures Pratiques SRE

Mener à bien les meilleures pratiques permet d’atteindre de meilleurs niveaux de satisfaction des utilisateurs grâce à une collaboration entre les équipes de développement et d’opérations informatiques, avec des améliorations continues :

• Tirez parti de l’automatisation pour vous libérer des tâches répétitives qui prennent beaucoup de temps.
• Assurez-vous d’utiliser les mêmes outils pour automatiser et améliorer les opérations utilisées par les développeurs dans le développement et les améliorations logicielles.
• Effectuez des analyses et des mesures en vous mettant à la place de l’utilisateur, en vous appuyant même sur les quatre signaux dorés.
• Concevez, mettez en œuvre et ajustez les objectifs de niveau de service (SLO) et les indicateurs de niveau de service (SLI), en vous appuyant sur une plate-forme d’observabilité unique pour réduire la profusion d’outils et pouvoir observer et gérer de manière unifiée.
• Attribuez des budgets d’erreurs pour mettre en œuvre en permanence de nouvelles fonctionnalités à des niveaux de risque acceptables.

En outre, il est recommandé de gérer les incidents avec des processus clairs sur ce qu’il faut faire, à qui il appartient, comment mettre à l’échelle un incident, en plus de mettre en œuvre une analyse rétrospective (post-mortem) après qu’un incident ou une interruption a eu lieu dans un système.

Stratégies pour la mise en œuvre de SRE

Il est recommandé ce qui suit pour pouvoir mettre en œuvre SRE efficacement :

• Commencez par une preuve de concept, et de manière itérative. Il sera essentiel de choisir les outils et les applications appropriés pour effectuer les tests de concept, en fournissant les données et les métriques sur le comportement. En outre, l’application doit vous permettre d’y apporter des modifications d’ingénierie, au besoin.
• Développer une culture de fiabilité et d’amélioration continue, en renforçant l’équipe avec une formation pour le perfectionnement des compétences internes, en mettant l’accent sur la priorisation et la création d’une communauté d’apprentissage. Une formation supplémentaire peut être nécessaire pour les leaders sur les concepts et les pratiques culturelles dans l’organisation. Les concepts de SLO et SLI doivent être clairs, car mesurer si les systèmes répondent aux attentes nécessite un changement de mentalité axé sur l’expérience utilisateur.
• Créez votre communauté SRE et des processus formalisés dans l’organisation. Construire une communauté de SRE au sein de l’organisation est important pour l’apprentissage, mais aussi pour disposer d’une base de connaissances sur les meilleures pratiques, avec des mécanismes de sécurité et des processus alignés. Il faut s’assurer de ne pas perdre connaissance au fil du temps. Il est également important d’accepter l’échec afin que l’équipe apprenne des erreurs. Essayez de vous appuyer sur des outils de supervision qui évitent la fatigue des alertes, améliorant ainsi l’expérience de votre équipe informatique. Cela inclut également vos fournisseurs et vos partenaires d’ingénierie, pour vous assurer que vos contrats de niveau de service reflètent également les mêmes objectifs.
• Encouragez la mentalité basée sur les données. La collecte de données et l’analyse rétrospective sans responsabilité sont recommandées afin que chaque membre de l’équipe se sente libre de partager son expérience. Une analyse rétrospective doit être entreprise pour apprendre des erreurs, y compris des éléments d’action et l’attribution d’un propriétaire.
• Gardez toujours à l’esprit que SRE est une méthodologie qui est mise en œuvre comme un ensemble normalisé de pratiques d’ingénierie pour équilibrer la vitesse du développement des fonctions avec les risques de fiabilité opérationnelle. Alors que DevOps englobe la collaboration entre les équipes de développement et les opérations pour accélérer le développement, les tests et la livraison de logiciels. Son objectif est de raccourcir les cycles de développement et de livraison, ce qui est conforme aux pratiques de SRE. Par conséquent, DevOps et SRE ne sont pas en concurrence pour les méthodologies, mais se complètent et doivent être intégrés pour :
  • Réduire l’isolement organisationnel, dans lequel chaque équipe travaille de manière isolée.
  • Créer le bon environnement de changement progressif et constant.
  • Accepter l’échec et les itérations comme une pratique habituelle.
  • Utiliser les outils d’automatisation au profit des équipes IT et développement.
  • Collecter et disposer de métriques fiables et précises.
  • Améliorer la réponse aux crises.

Outils essentiels pour SRE

L’automatisation aide à réduire la charge opérationnelle et à améliorer l’efficacité et la gestion des configurations, ce qui permet aux équipes SRE de réagir rapidement et efficacement aux événements inattendus. Il est recommandé de s’appuyer sur des outils de :

• Supervision et observabilité : Ces outils fournissent une visibilité en temps réel sur les performances et la santé des systèmes pour prévenir ou détecter immédiatement les problèmes et prendre des mesures correctives. Il convient de noter que l’observabilité permet aux équipes d’ingénierie de fiabilité de comprendre et de gérer efficacement l’état interne des systèmes.
• Automatisation et orchestration : Ces outils contribuent à réduire la charge et le stress opérationnel, à améliorer l’efficacité et l’expérience de l’équipe SRE, tandis que les outils de gestion des incidents permettent de répondre rapidement et efficacement aux événements inattendus, avec une définition claire des mesures à prendre et de l’escalade.
• Gestion des configurations et déploiements : Ces outils contribuent à ce que les applications soient livrées de manière sûre, fiable et efficace, en fournissant également les éléments pour une planification, une coordination et une exécution appropriées des capacités des systèmes, en plus de soutenir l’approche proactive que vous souhaitez atteindre avec SRE.

Défis communs dans la mise en œuvre du SRE et comment les surmonter

Tout ingénieur SRE EST confronté à des défis qui peuvent être surmontés avec les bons outils :

• Complexité de la supervision et excès d’alertes : Des outils complets et robustes doivent être sélectionnés pour superviser et configurer les mesures correctes pour surperviser les serveurs et les applications.
• Maintenir la fiabilité de l’infrastructure et des applications : Il faut disposer d’outils de supervision et de données qui permettent d’analyser et de répondre aux attentes concernant les niveaux de service.
• Difficulté à gérer les incidents : Il faut se procurer des outils qui permettent de détecter les incidents et d’effectuer l’analyse des causes profondes[OD2] . Les enregistrements des incidents doivent également être conservés, ainsi que la définition des politiques et procédures de gestion des incidents pour résoudre immédiatement, sans violer les niveaux de service.
• Absence de priorisation des tickets : Il est de la plus haute importance de prioriser les tickets en fonction de l’impact sur l’expérience utilisateur. Il est également possible de s’appuyer sur l’automatisation pour des tâches manuelles répétitives ou de déclencher des processus de résolution qui ne nécessitent pas d’intervention humaine afin de pouvoir concentrer les efforts sur des incidents ou des processus plus critiques.

Bien sûr, il est essentiel que ces outils s’appuient sur la communication et les mises à jour régulières des ressources de supervision et de gestion de la performance, en plus d’encourager l’ouverture pour partager constamment la vérité sur les incidents.

L’avenir de SRE : Tendances et évolutions

Bien qu’à l’origine la pratique SRE n’ait été adoptée que par les grandes entreprises, il est prévu que les petites entreprises l’adoptent également. L’automatisation et l’intelligence artificielle devraient également être largement intégrées à cette pratique, en particulier en raison de la petite taille du personnel dédié à la sécurité informatique et de la nécessité d’améliorer leur exécution et leur expérience dans leur travail quotidien pour assurer le fonctionnement des systèmes et la meilleure expérience utilisateur.

Un autre aspect important est le cloud : Les organisations recherchent toujours l’agilité, l’évolutivité et l’efficacité des coûts d’infrastructure, de sorte que la tendance à adopter des technologies natives du cloud persiste. Par exemple, les conteneurs et les microservices ont révolutionné la façon dont les applications sont développées, déployées et gérées ; et les développeurs se concentrent sur l’écriture de code sans avoir à gérer l’infrastructure sous-jacente. Tout cela crée une somme de défis permanents aujourd’hui et à l’avenir : la complexité croissante des architectures natives du cloud, la nécessité de prendre en charge un plus large éventail de charges de travail et la nécessité d’être plus agile et réactif au changement. Dans ce scénario, les tendances de SRE à l’avenir seront :

• Focus sur l’automatisation : L’automatisation sera de plus en plus utilisée pour réduire le travail et libérer le temps et les efforts des ingénieurs afin qu’ils puissent se concentrer sur des tâches plus stratégiques.
• Focus sur l’observabilité : Adoption d’outils d’observabilité pour obtenir des connaissances approfondies sur le comportement de vos systèmes afin d’identifier et de résoudre les problèmes plus rapidement.
• Focus on safety: Tendency towards a more proactive approach to safety. It incorporates security into the development lifecycle and seeks to ensure that systems are resistant to attacks.
• Focus sur la sécurité : Tendance à une approche plus proactive en matière de sécurité. La sécurité est intégrée dans le cycle de vie du développement et l’objectif est de s’assurer que les systèmes sont résistants aux attaques.

Conclusion

Comme nous l’avons vu, SRE est née de la nécessité pour Google de gérer des infrastructures massives et plus distribuées, tout en cherchant à répondre aux attentes croissantes des utilisateurs en termes de performance et de disponibilité. Ces mêmes besoins ont conduit les entreprises de toute industrie et de toute taille à adopter les pratiques SRE. Il est également devenu clair que DevOps ET SRE se complètent et garantissent une excellente expérience utilisateur et des performances optimales des systèmes. Bien sûr, des outils et des plates-formes de surveillance robustes et intelligents sont nécessaires pour fournir tous les éléments de valeur (données, analyse, observabilité et automatisation) afin de mettre en œuvre les quatre signaux dorés dans la surveillance des systèmes (latence, trafic, erreurs et saturation) et de se préparer aux tendances du SRE d’aujourd’ hui et de demain : automatisation, observabilité, sécurité et collaboration.