[et_pb_section fb_built=\u00a0\u00bb1″ admin_label=\u00a0\u00bbSection\u00a0\u00bb _builder_version=\u00a0\u00bb4.22.0″ _module_preset=\u00a0\u00bbdefault\u00a0\u00bb custom_margin=\u00a0\u00bb0px||0px||false|false\u00a0\u00bb custom_padding=\u00a0\u00bb0px||0px||false|false\u00a0\u00bb locked=\u00a0\u00bboff\u00a0\u00bb global_colors_info=\u00a0\u00bb{}\u00a0\u00bb][et_pb_row column_structure=\u00a0\u00bb1_4,3_4″ _builder_version=\u00a0\u00bb4.27.0″ _module_preset=\u00a0\u00bbdefault\u00a0\u00bb custom_padding=\u00a0\u00bb50px||||false|false\u00a0\u00bb custom_css_main_element=\u00a0\u00bbz-index:0!important;\u00a0\u00bb global_colors_info=\u00a0\u00bb{}\u00a0\u00bb][et_pb_column type=\u00a0\u00bb1_4″ disabled_on=\u00a0\u00bbon|on|off\u00a0\u00bb _builder_version=\u00a0\u00bb4.22.0″ _module_preset=\u00a0\u00bbdefault\u00a0\u00bb custom_padding=\u00a0\u00bb||||false|false\u00a0\u00bb sticky_position=\u00a0\u00bbtop\u00a0\u00bb sticky_offset_top=\u00a0\u00bb100px\u00a0\u00bb sticky_limit_bottom=\u00a0\u00bbsection\u00a0\u00bb motion_trigger_start=\u00a0\u00bbtop\u00a0\u00bb global_colors_info=\u00a0\u00bb{}\u00a0\u00bb][et_pb_text admin_label=\u00a0\u00bbindice\u00a0\u00bb _builder_version=\u00a0\u00bb4.27.6″ _module_preset=\u00a0\u00bbdefault\u00a0\u00bb custom_margin=\u00a0\u00bb||0px||false|false\u00a0\u00bb custom_padding=\u00a0\u00bb||14px||false|false\u00a0\u00bb link_option_url=\u00a0\u00bb#1″ global_colors_info=\u00a0\u00bb{}\u00a0\u00bb]<\/p>\n
Sections<\/strong><\/p>\n [\/et_pb_text][\/et_pb_column][et_pb_column type=\u00a0\u00bb3_4″ _builder_version=\u00a0\u00bb4.27.0″ _module_preset=\u00a0\u00bbdefault\u00a0\u00bb custom_css_main_element=\u00a0\u00bbz-index:0!important;\u00a0\u00bb global_colors_info=\u00a0\u00bb{}\u00a0\u00bb][et_pb_text admin_label=\u00a0\u00bbseccion\u00a0\u00bb module_id=\u00a0\u00bb1″ module_class=\u00a0\u00bbittopicscontent\u00a0\u00bb _builder_version=\u00a0\u00bb4.27.6″ _module_preset=\u00a0\u00bbdefault\u00a0\u00bb z_index=\u00a0\u00bb0″ custom_margin=\u00a0\u00bb0px||0px||true|false\u00a0\u00bb custom_padding=\u00a0\u00bb0px||0px||false|false\u00a0\u00bb custom_css_main_element=\u00a0\u00bbfont-family:%22Pandora-Light%22;\u00a0\u00bb locked=\u00a0\u00bboff\u00a0\u00bb global_colors_info=\u00a0\u00bb{}\u00a0\u00bb]Au bon vieux temps, comme diraient certains, lorsqu\u2019il n\u2019\u00e9tait pas n\u00e9cessaire de contracter un pr\u00eat immobilier pour en acheter une, le GPU (Graphics Processing Unit) \u00e9tait ce composant qui n\u2019int\u00e9ressait que ceux qui voulaient jouer \u00e0 Crysis en pleine r\u00e9solution. Aujourd\u2019hui, c\u2019est le r\u00e9acteur \u00e0 antimati\u00e8re qui propulse la moiti\u00e9 de l\u2019industrie<\/strong> : entra\u00eenement de mod\u00e8les d\u2019IA, inf\u00e9rence, machine learning, simulation, rendu, analyse de donn\u00e9es et HPC (High-Performance Computing). Sans GPU, pas d\u2019IA<\/strong>, et sans IA, selon les visionnaires (qui la vendent), pas d\u2019avenir. Un avenir qui, selon ces m\u00eames personnes, pourrait de toute fa\u00e7on \u00eatre d\u00e9truit par cette m\u00eame intelligence artificielle. Les GPU servent \u00e0 acc\u00e9l\u00e9rer les op\u00e9rations critiques d\u2019une organisation, mais comme rien n\u2019est gratuit dans la vie, ils introduisent en contrepartie de nouveaux risques op\u00e9rationnels. Cela en fait \u00e0 la fois le moteur de tout projet d\u2019IA et son talon d\u2019Achille. La conclusion est que laisser le GPU en dehors de la photo de famille du monitoring rel\u00e8ve de la folie \u00e0 notre \u00e9poque.<\/p>\n Il existe une croyance r\u00e9pandue selon laquelle l\u2019IA vit dans le cloud, dans un centre de donn\u00e9es g\u00e9r\u00e9 par d\u2019autres et qui d\u00e9vaste un \u00e9cosyst\u00e8me \u00e9loign\u00e9 du n\u00f4tre. Pourtant, de tr\u00e8s nombreuses organisations exploitent des GPU dans leurs propres datacenters, dans des environnements hybrides, des centres de recherche, l\u2019industrie, des instances cloud avec GPU… Nous devons surveiller, tr\u00e8s bien, mais quoi exactement ? Quelques nuances, car c\u2019est l\u00e0 que se cachent les d\u00e9tails qui nous \u00e9viteront de mauvaises surprises. Nous avons d\u00e9j\u00e0 vu le quoi, il est maintenant temps de voir comment nous monitorons<\/strong> et aussi de diff\u00e9rencier les outils, car ils se confondent facilement. Laisser le moteur sans surveillance a des cons\u00e9quences d\u00e9sastreuses, comme :<\/p>\n C\u2019est le sc\u00e9nario de tant de films catastrophe : les signaux \u00e9taient l\u00e0, clignotant sur un panneau, mais personne ne les regardait.<\/p>\n Le GPU monitoring isol\u00e9 est un thermom\u00e8tre qui, avec la corr\u00e9lation op\u00e9rationnelle issue de son int\u00e9gration au monitoring global<\/strong>, devient diagnostic et connaissance op\u00e9rationnelle. En technologie, soit vous \u00eates \u00e0 la pointe, soit vous n\u2019y \u00eates pas vraiment. En outre, les informations \u00e9mises sont critiques et n\u00e9cessaires \u00e0 la gestion optimale d\u2019un actif plus co\u00fbteux que l\u2019adamantium. Pandora FMS est l\u00e0 pour \u00e9viter le d\u00e9sastre. Pour cela, elle soul\u00e8ve jusqu\u2019au dernier tapis et relie les points afin de vous offrir ce qui se rapproche le plus de la prescience des Atr\u00e9ides dans Dune. D\u2019o\u00f9 son syst\u00e8me de seuils et d\u2019alertes. Rappelons que cette erreur critique a du sens sur les cartes de datacenter avec ECC, o\u00f9 toute erreur non corrig\u00e9e doit \u00eatre trait\u00e9e comme prioritaire, sans demi-mesure. Sur les GPU grand public, cela ne s\u2019applique pas. \u00ab Des promesses qui ne valent rien… \u00bb, comme le dit la chanson. Chez Pandora FMS, nous ne les aimons pas du tout. Ainsi, pour \u00e9viter celles qui ne tiennent pas ensuite, il convient d\u2019\u00eatre clair sur ce que le plugin fait et ne fait pas<\/Strong> :<\/p>\n Et une nuance op\u00e9rationnelle. Le plugin est pens\u00e9 pour des h\u00f4tes individuels ou des environnements de taille moyenne<\/strong>. Compte tenu du nombre de premiers-n\u00e9s que nous devons sacrifier au Dieu Machine pour pouvoir nous offrir un GPU, tout ce qui pr\u00e9c\u00e8de est largement justifi\u00e9<\/Strong>. Soit nous monitorons, soit le point le plus critique devient un angle mort. On parle g\u00e9n\u00e9ralement des GPU parce qu\u2019\u00e0 notre \u00e9poque ils se sont hiss\u00e9s au sommet de nombreuses infrastructures IT, mais ils ne jouent pas seuls le match<\/Strong>. Nous avons beaucoup parl\u00e9, mais concentrons-nous sur trois id\u00e9es \u00e0 retenir.<\/p>\n Les outils NVIDIA fournissent la lecture, mais il faut une passerelle de commandement pour l\u2019interpr\u00e9ter<\/Strong>. Rassemblons les questions les plus importantes sur le monitoring des GPU et leurs r\u00e9ponses.<\/p>\n Le GPU monitoring est la supervision continue de l\u2019\u00e9tat, de l\u2019utilisation, de la m\u00e9moire, de la temp\u00e9rature, de la consommation et des erreurs des unit\u00e9s de traitement graphique dans des environnements professionnels<\/Strong>. Parce que les GPU font battre le c\u0153ur et sont, en plus, des ressources tr\u00e8s co\u00fbteuses et critiques<\/Strong> pour les charges d\u2019inf\u00e9rence, d\u2019entra\u00eenement et de machine learning. Les principales sont l\u2019utilisation, la m\u00e9moire utilis\u00e9e, libre et totale, le pourcentage de m\u00e9moire utilis\u00e9e, la temp\u00e9rature, la consommation instantan\u00e9e, la limite de consommation, la vitesse du ventilateur, l\u2019\u00e9tat, les erreurs ECC critiques, le mod\u00e8le de GPU, la version du driver et la version CUDA. nvidia-smi<\/span> est un utilitaire en ligne de commande permettant de consulter des m\u00e9triques ponctuelles des GPU NVIDIA. D\u2019apr\u00e8s notre exp\u00e9rience int\u00e9gr\u00e9e au plugin de GPU monitoring de Pandora FMS, une temp\u00e9rature \u00e0 partir de 70 \u00b0C est consid\u00e9r\u00e9e comme warning et, \u00e0 partir de 90 \u00b0C, comme critical<\/Strong>. Les erreurs ECC (Error-Correcting Code) sont des erreurs de m\u00e9moire d\u00e9tect\u00e9es dans les GPU avec prise en charge ECC<\/Strong>. Oui. Pandora FMS dispose d\u2019un plugin d\u2019agent local bas\u00e9 sur nvidia-smi<\/span>, qui permet de monitorer des GPU NVIDIA sur des serveurs on-premise<\/Strong>. L\u2019historique d\u2019utilisation, de m\u00e9moire, de temp\u00e9rature et de consommation permet d\u2019identifier les GPU satur\u00e9s de fa\u00e7on r\u00e9currente, de d\u00e9tecter la sous-utilisation et de redistribuer<\/Strong> les charges. Si nvidia-smi<\/span> n\u2019est pas disponible, le plugin Pandora FMS \u00e9met le module GPU_Count<\/span> avec la valeur 0 en \u00e9tat critical. Non<\/Strong>. Il fait partie d\u2019un ensemble plus vaste. Habla con el equipo de ventas, pide presupuesto, o resuelve tus dudas sobre nuestras licencias<\/p>\n \u00a0\u00bb content_phone=\u00a0\u00bb<\/p>\n Habla con el equipo de ventas, resuelve tus dudas sobre nuestras licencias o pide presupuesto<\/p>\n \u00a0\u00bb content_last_edited=\u00a0\u00bboff|desktop\u00a0\u00bb _builder_version=\u00a0\u00bb4.27.4″ _module_preset=\u00a0\u00bbdefault\u00a0\u00bb header_2_font_size=\u00a0\u00bb2em\u00a0\u00bb text_orientation=\u00a0\u00bbcenter\u00a0\u00bb module_alignment=\u00a0\u00bbleft\u00a0\u00bb custom_margin=\u00a0\u00bb0px||20px||false|false\u00a0\u00bb custom_padding=\u00a0\u00bb0px||0px||true|false\u00a0\u00bb global_colors_info=\u00a0\u00bb{}\u00a0\u00bb]<\/p>\n Contactez notre service commercial, posez vos questions sur nos licences ou demandez un devis<\/p>\n [\/et_pb_text][et_pb_code _builder_version=\u00a0\u00bb4.27.4″ _module_preset=\u00a0\u00bbdefault\u00a0\u00bb width=\u00a0\u00bb220px\u00a0\u00bb module_alignment=\u00a0\u00bbcenter\u00a0\u00bb custom_margin=\u00a0\u00bb40px||0px||false|false\u00a0\u00bb custom_padding=\u00a0\u00bb0px||0px||true|false\u00a0\u00bb locked=\u00a0\u00bboff\u00a0\u00bb global_colors_info=\u00a0\u00bb{}\u00a0\u00bb]<\/p>\n\n
\nMais dans de nombreux cas, le c\u0153ur de diamant de l\u2019infrastructure reste sans supervision<\/strong>.
\nLes serveurs, les CPU, le r\u00e9seau, les services… sont monitor\u00e9s avec un \u0153il de faucon, mais les GPU restent l\u2019angle mort le plus co\u00fbteux<\/strong>, celui qui, s\u2019il est laiss\u00e9 sans surveillance, peut se transformer en gouffre financier.
\nC\u2019est pourquoi le v\u00e9ritable d\u00e9fi n\u2019est pas seulement de mesurer le GPU, mais de l\u2019int\u00e9grer au monitoring des infrastructures on-premise, hybrides et cloud<\/strong>.
\nVoyons comment.<\/p>\nPourquoi le GPU monitoring est important dans les infrastructures d\u2019IA<\/h2>\n
\nPourquoi ?<\/p>\n\n
Le v\u00e9ritable angle mort : GPU monitoring pour les environnements on-premise, hybrides et enterprise<\/h2>\n
\nEt beaucoup de ces organisations op\u00e8rent sous des exigences de confidentialit\u00e9, de souverainet\u00e9 des donn\u00e9es ou de r\u00e9glementations sur celles-ci<\/strong>, o\u00f9 une solution 100 % cloud n\u2019est pas viable, sous peine d\u2019amende ou de risque de fuites dangereuses.
\nDans ces cas, il ne suffit pas d\u2019installer Ollama ou des outils similaires puis d\u2019oublier le sujet, et la documentation du moment d\u2019un fournisseur cloud ne suffit pas non plus pour op\u00e9rer avec garantie et efficacit\u00e9.
\nIl nous faut une plateforme capable de surveiller l\u2019ensemble, les GPU et le reste de l\u2019infrastructure<\/strong>, que ce soit sur des serveurs propres<\/a> ou dans des environnements virtuels<\/A>.
\nLe d\u00e9bat sans fin entre on-premise et SaaS<\/a>, ou les exigences des infrastructures hyperconverg\u00e9es<\/a>, renforce notre besoin de contr\u00f4le. Car un GPU peut vivre on-premise, dans un \u00e9cosyst\u00e8me hybride ou dans une instance cloud, mais son impact touche les services, le r\u00e9seau, les processus, les API, les applications<\/strong>….
\nD\u2019o\u00f9 la n\u00e9cessit\u00e9 de se rapprocher un peu pour que le GPU entre dans cette photo de famille et de l\u2019inclure dans le monitoring global<\/strong>, et non comme une m\u00e9trique isol\u00e9e dans un onglet que personne n\u2019ouvre.
\nEt en parlant d\u2019elles…<\/p>\nLes m\u00e9triques cl\u00e9s du GPU monitoring<\/h2>\n
\nLes m\u00e9triques d\u2019une strat\u00e9gie de GPU monitoring<\/strong> digne de ce nom sont, en plus de leur nombre et de leurs noms :<\/p>\n\n
\nLes erreurs critiques ne sont pas une m\u00e9trique universelle<\/strong>. Dans un centre de donn\u00e9es avec prise en charge ECC, comme les A100, H100, Tesla ou RTX PRO, elles sont pertinentes, mais sur des cartes grand public, comme une GeForce RTX ou des mod\u00e8les similaires, l\u2019utilitaire en ligne de commande de NVIDIA nvidia-smi<\/span> peut renvoyer N\/A pour les erreurs ECC.
\nAinsi, notre plugin Pandora FMS, par exemple, \u00e9mettra 0 par conception. Ce z\u00e9ro \u00e9ternel ne signifie pas que la carte est immortelle, simplement qu\u2019il n\u2019y a rien \u00e0 compter.
\nD\u2019autre part, la vitesse du ventilateur n\u2019a de sens que sur les cartes avec ventilation active<\/strong> (D\u2019oh, comme dirait Homer Simpson). Sur des GPU serveur ou des environnements fanless, elle ne s\u2019applique \u00e9videmment pas.
\nC\u2019est pourquoi un plugin de monitoring comme le n\u00f4tre permet d\u2019ignorer ce module avec –include-fan=false<\/span>, car la t\u00e9l\u00e9m\u00e9trie avanc\u00e9e<\/a> consiste aussi \u00e0 savoir quoi ne pas mesurer pour ne pas saturer le syst\u00e8me avec du bruit.<\/p>\nnvidia-smi, DCGM et plateformes de monitoring : ce que chacune apporte<\/h2>\n
\nAnalysons ce que chacun apporte.
\nD\u2019un c\u00f4t\u00e9, nous avons nvidia-smi<\/A><\/span>, qui a d\u00e9j\u00e0 point\u00e9 le bout de son nez et qui est l\u2019utilitaire en ligne de commande permettant de consulter les informations des GPU NVIDIA<\/strong>. Il s\u2019agit de leur utilisation, m\u00e9moire, temp\u00e9rature, consommation, processus, driver, CUDA<\/A>\u2026
\nC\u2019est le tricordeur du GPU : vous le pointez, vous lisez une valeur et vous continuez votre chemin. Parfait pour un diagnostic ponctuel ou un script lanc\u00e9 au c\u0153ur de la nuit<\/strong>.
\nNVIDIA DCGM<\/a> est orient\u00e9 vers la gestion des GPU dans les centres de donn\u00e9es, les clusters et les d\u00e9ploiements avanc\u00e9s<\/strong>. Nous disposons ici de capteurs plus \u00e9tendus pour notre vaisseau spatial, car il est utile lorsqu\u2019il y a beaucoup de GPU ou une int\u00e9gration avec des stacks d\u2019observabilit\u00e9.
\nLes deux sont de bons outils, mais la v\u00e9rit\u00e9 est que ni nvidia-smi<\/span> ni DCGM ne vont r\u00e9soudre toute l\u2019exploitation IT \u00e0 notre place<\/strong>.
\nIls ne centralisent pas l\u2019infrastructure, ne remplacent pas les dashboards d\u2019entreprise, n\u2019apportent pas de reporting historique orient\u00e9 m\u00e9tier et ne corr\u00e8lent pas \u00e0 eux seuls GPU avec CPU, RAM, disque, r\u00e9seau, logs, services ou SLA, par exemple.
\nPour ces raisons, des propositions comme celle de Datadog<\/a> insistent sur la connexion du GPU avec le reste de l\u2019AI workload.
\nOu, pour le dire autrement afin que ce soit clair. nvidia-smi<\/span> et DCGM peuvent \u00eatre d\u2019excellentes sources de donn\u00e9es, mais flottant seules dans le vide<\/strong>.
\nC\u2019est une plateforme comme Pandora FMS qui les transforme en connaissance op\u00e9rationnelle exploitable<\/strong>, avec historique, alertes, dashboards, rapports, corr\u00e9lation et d\u00e9cisions de capacit\u00e9.
\nLe tricordeur fournit une lecture ; une passerelle de commandement de l\u2019Enterprise comme Pandora FMS vous indique ce qu\u2019elle signifie dans le contexte de tout le reste lorsqu\u2019elle int\u00e8gre cette lecture.
\nEt en situation de crise, vous voulez \u00eatre sur la passerelle, pas en train de d\u00e9chiffrer des donn\u00e9es isol\u00e9es dans l\u2019obscurit\u00e9.<\/p>\nLes risques li\u00e9s \u00e0 l\u2019absence de monitoring des GPU<\/h2>\n
\n
Des m\u00e9triques isol\u00e9es \u00e0 la corr\u00e9lation op\u00e9rationnelle<\/h2>\n
\nSavoir qu\u2019un GPU est \u00e0 95 % ne dit pas grand-chose, tout comme la fi\u00e8vre seule n\u2019en r\u00e9v\u00e8le pas la cause. Ce qui compte, c\u2019est le contexte<\/strong>.
\nPour reprendre l\u2019exemple, un GPU \u00e0 95 % pendant dix minutes peut \u00eatre normal, mais le m\u00eame GPU \u00e0 95 % pendant quatre heures, avec une m\u00e9moire au-dessus de 85 %, des erreurs apparaissant dans les logs et une latence de service d\u2019inf\u00e9rence en hausse, constitue un incident op\u00e9rationnel<\/strong>.
\nAutre exemple : la temp\u00e9rature. Une valeur \u00e9lev\u00e9e associ\u00e9e \u00e0 un ventilateur tournant \u00e0 warp 9 et \u00e0 des performances au ras du sol peut anticiper une d\u00e9faillance physique, une br\u00e8che dans la muraille qui fera s\u2019effondrer le ch\u00e2teau si elle est ignor\u00e9e.
\nConnecter ces signaux, c\u2019est ce qui distingue un outil qui regarde d\u2019une plateforme qui comprend.<\/strong>
\nC\u2019est la mati\u00e8re de l\u2019analyse de cause racine<\/a>, du travail quotidien de tout Network Operations Center<\/a> ou de toute \u00e9quipe SRE<\/a> qui prend au s\u00e9rieux le monitoring des syst\u00e8mes IT<\/a>.<\/p>\nComment Pandora FMS aide au GPU monitoring<\/h2>\n
\nC\u2019est la philosophie de Pandora FMS<\/a>, et c\u2019est pourquoi l\u2019application permet d\u2019int\u00e9grer les m\u00e9triques GPU<\/strong> dans la m\u00eame console o\u00f9 sont d\u00e9j\u00e0 monitor\u00e9s les serveurs, les services, le r\u00e9seau, le stockage, les logs, les \u00e9v\u00e9nements et la disponibilit\u00e9.
\nCela fait de la surveillance des GPU non pas une note de bas de page, mais une pi\u00e8ce fondamentale d\u2019une m\u00e9canique optimis\u00e9e pour le monitoring et l\u2019observabilit\u00e9 dont une infrastructure IT professionnelle a besoin<\/strong>.
\nPour cela, Pandora FMS utilise un plugin sp\u00e9cialis\u00e9 en GPU monitoring<\/strong>.
\nCelui-ci s\u2019appuie sur nvidia-smi<\/Span> et fonctionne comme un plugin d\u2019agent local sur l\u2019h\u00f4te \u00e9quip\u00e9 d\u2019un GPU NVIDIA, en \u00e9mettant des modules que Pandora FMS int\u00e8gre au contexte de l\u2019agent.
\nAinsi, ces m\u00e9triques peuvent :<\/p>\n\n
\nPour chaque GPU d\u00e9tect\u00e9, il \u00e9met notamment : GPU_<i>_Status<\/span> (1 = sain, 0 = d\u00e9grad\u00e9), GPU_<i>_Utilization<\/span>, GPU_<i>_Memory_Used<\/span>, GPU_<i>_Memory_Free<\/span>, GPU_<i>_Memory_Total<\/Span> (en MiB, m\u00e9bioctets, pas en octets), GPU_<i>_Memory_Used_Percent<\/Span>, GPU_<i>_Temperature<\/Span> (\u00b0C), GPU_<i>_Power_Draw<\/span> et GPU_<i>_Power_Limit<\/span> (W), GPU_<i>_Fan_Speed<\/Span> (optionnel), GPU_<i>_Critical_Errors<\/span> et GPU_<i>_Name<\/Span>.
\n\u00c0 l\u2019\u00e9chelle de l\u2019h\u00f4te, il ajoute trois modules globaux : GPU_Count<\/span>, GPU_Driver_Version<\/span> et GPU_CUDA_Version<\/span>.
\nLe total d\u00e9coule d\u2019une formule simple : 12N + 3<\/strong><\/span> modules avec la vitesse du ventilateur, ou 11N + 3<\/strong><\/span> sans elle, o\u00f9 N est le nombre de GPU de l\u2019h\u00f4te.
\nEt un d\u00e9tail en dit long sur la conception. Si nvidia-smi<\/Span> n\u2019est pas disponible, pas d\u2019inqui\u00e9tude, le plugin ne casse pas et ne produit pas de XML invalide<\/strong> ; il \u00e9met \u00e0 la place GPU_Count = 0<\/span> en \u00e9tat critique.
\nLe d\u00e9fi reste visible sous forme d\u2019alerte propre, et non comme ce silence suspect qui pourrait pr\u00e9parer la ruine.
\nNotre objectif, parce que nous avons v\u00e9cu nous-m\u00eames le chaos co\u00fbteux de la fragmentation, est que Pandora FMS permette d\u2019analyser tous ces signaux sur une m\u00eame plateforme<\/strong>, avec des alertes int\u00e9gr\u00e9es ou notre m\u00e9taconsole, par exemple, afin de disposer d\u2019un point unique de visibilit\u00e9 et de contr\u00f4le, au lieu de jongler entre commandes, logs et dashboards dispers\u00e9s.<\/p>\nSeuils, alertes et \u00e9tats critiques<\/h2>\n
\nEt pour que nous puissions commencer imm\u00e9diatement sans tout cr\u00e9er de z\u00e9ro, une situation qui nous conduit souvent \u00e0 procrastiner sur ce qui compte, le plugin inclut des seuils pr\u00e9d\u00e9finis, disjoints, qui ne se chevauchent pas, et born\u00e9s, avec un plancher et un plafond clairs, pour les m\u00e9triques les plus sensibles :<\/p>\n\n
\nAvec ces seuils, nous d\u00e9tecterons la pression m\u00e9moire, le risque thermique et les erreurs critiques sans tomber dans l\u2019exc\u00e8s d\u2019alertes<\/A>, ce bruit qui finit par faire que plus personne ne pr\u00eate attention \u00e0 rien.
\nEt si une organisation a besoin d\u2019autres valeurs, parfait. Nous pensons que chaque organisation est un monde \u00e0 part, ils peuvent donc \u00eatre ajust\u00e9s \u00e0 notre r\u00e9alit\u00e9 concr\u00e8te depuis la console elle-m\u00eame.<\/p>\nCompatibilit\u00e9 et pr\u00e9requis du plugin Pandora FMS<\/h2>\n
\n
\nSi votre cas concerne des clusters avec de nombreux GPU par n\u0153ud ou des architectures Kubernetes \u00e0 grande \u00e9chelle, il peut \u00eatre n\u00e9cessaire de le compl\u00e9ter avec des approches comme DCGM, Prometheus ou d\u2019autres solutions d\u2019agr\u00e9gation.
\nAucun outil ne fait tout, et le reconna\u00eetre nous semble honn\u00eate.<\/p>\nGPU monitoring et planification de capacit\u00e9 (capacity planning)<\/h2>\n
\nMais c\u2019est dans le capacity planning que le monitoring se traduit en euros sonnants et tr\u00e9buchants<\/strong>.
\nGr\u00e2ce \u00e0 l\u2019historique d\u2019utilisation, de m\u00e9moire, de temp\u00e9rature et de consommation, il est possible de d\u00e9tecter les GPU satur\u00e9s de fa\u00e7on r\u00e9currente, d\u2019identifier ceux qui sont sous-utilis\u00e9s, de redistribuer les charges et de justifier les acquisitions aupr\u00e8s du service achats avec des donn\u00e9es, plut\u00f4t qu\u2019avec des intuitions et des supplications, car nous pourrons mesurer la croissance r\u00e9elle de la demande.
\nAu final, c\u2019est de la science des donn\u00e9es appliqu\u00e9e \u00e0 l\u2019IT<\/a> et une mani\u00e8re de transformer le pass\u00e9 en d\u00e9cisions.<\/p>\nLe monitoring des GPU comme partie d\u2019un monitoring d\u2019infrastructure IA (AI infrastructure monitoring)<\/h2>\n
\nUne infrastructure IA d\u00e9pend aussi du CPU, de la RAM, du disque, du stockage, du r\u00e9seau, des API, des services, des logs, des processus, des conteneurs, des bases de donn\u00e9es et de la disponibilit\u00e9 de l\u2019ensemble.
\nC\u2019est pourquoi le GPU monitoring doit faire partie d\u2019une strat\u00e9gie plus large d\u2019AI infrastructure monitoring<\/strong>.
\nSurveiller uniquement le GPU, c\u2019est comme piloter l\u2019Enterprise en ne pr\u00eatant attention qu\u2019\u00e0 ce qui se passe dans le moteur \u00e0 antimati\u00e8re, tout en ignorant les boucliers, le support vital ou m\u00eame le cap.
\nC\u2019est l\u00e0 que Pandora FMS devient ce l\u00e9gendaire ordinateur de bord qui savait tout.
\nPandora int\u00e8gre cette visibilit\u00e9 dans une exploitation IT compl\u00e8te, o\u00f9 l\u2019IA appliqu\u00e9e \u00e0 la gestion<\/a>, l\u2019IA g\u00e9n\u00e9rative<\/a> et le deep learning<\/a> apportent l\u2019analyse que, reconnaissons-le en tant qu\u2019esp\u00e8ce, aucun humain ne pourrait maintenir manuellement, ni n\u2019aurait envie de le faire, car il n\u2019y en a pas besoin.
\nC\u2019est particuli\u00e8rement pertinent dans les centres de donn\u00e9es<\/a>, o\u00f9 la disponibilit\u00e9 est consid\u00e9r\u00e9e comme acquise jusqu\u2019\u00e0 ce qu\u2019elle cesse de l\u2019\u00eatre, comme le sait bien toute bonne strat\u00e9gie d\u2019uptime monitoring<\/a>.<\/p>\nConclusion<\/h2>\n
\n
\nPandora FMS aspire \u00e0 \u00eatre cette passerelle pour amener le GPU monitoring aux environnements on-premise, hybrides et enterprise. Car dans les interstices de l\u2019IT vivent les gremlins de la machine, ceux qui vous causent des ennuis pr\u00e9cis\u00e9ment l\u00e0 o\u00f9 vous ne surveillez pas<\/Strong>.<\/p>\nQuestions fr\u00e9quentes<\/h2>\n
Qu\u2019est-ce que le GPU monitoring ?<\/h4>\n
\nIl est utilis\u00e9 pour contr\u00f4ler les GPU employ\u00e9s dans l\u2019IA, le HPC, l\u2019inf\u00e9rence, l\u2019entra\u00eenement de mod\u00e8les ou le traitement intensif.
\nComme je l\u2019ai indiqu\u00e9 au d\u00e9but, il ne doit pas \u00eatre confondu avec les outils de gaming, d\u2019overclocking ou de tuning graphique.<\/p>\nPourquoi est-il important de monitorer les GPU dans les infrastructures d\u2019IA ?<\/h4>\n
\nSans monitoring, nous sommes aveugles sur notre actif le plus critique<\/Strong>, le laissant sans d\u00e9fense face \u00e0 la saturation, la surchauffe, les erreurs ou la sous-utilisation, qui ont la f\u00e2cheuse habitude d\u2019attaquer cach\u00e9es dans les ombres et les zones que nous laissons sans surveillance.
\nCela augmente le risque op\u00e9rationnel et complique l\u2019approbation de nouveaux investissements mat\u00e9riels par le d\u00e9partement financier.<\/p>\nQuelles m\u00e9triques faut-il monitorer sur un GPU ?<\/h4>\n
\nPresque rien, mais isol\u00e9es, elles nous donnent un puzzle non assembl\u00e9. Ainsi, dans les environnements professionnels, ces m\u00e9triques doivent \u00eatre analys\u00e9es avec le reste<\/Strong> de l\u2019infrastructure.<\/p>\nQuelle est la diff\u00e9rence entre nvidia-smi, DCGM et une plateforme de monitoring ?<\/h4>\n
\nDCGM est orient\u00e9 vers la gestion et le monitoring des GPU dans les datacenters et les clusters.
\nUne plateforme comme Pandora FMS centralise ces m\u00e9triques avec le reste de l\u2019infrastructure<\/Strong>, avec historique, alertes, dashboards et rapports.<\/p>\n\u00c0 partir de quelle temp\u00e9rature un GPU serveur est-il consid\u00e9r\u00e9 comme critique ?<\/h4>\n
\nCes seuils servent de r\u00e9f\u00e9rence op\u00e9rationnelle, m\u00eame s\u2019ils peuvent varier selon le mod\u00e8le de GPU, le fabricant et les conditions thermiques de l\u2019environnement.<\/p>\nQue sont les erreurs ECC dans un GPU et pourquoi sont-elles importantes ?<\/h4>\n
\nLes erreurs non corrig\u00e9es peuvent indiquer des d\u00e9faillances mat\u00e9rielles et doivent \u00eatre trait\u00e9es comme des incidents critiques.
\nElles sont particuli\u00e8rement pertinentes sur les GPU de datacenter comme A100, H100, Tesla ou RTX PRO. Sur les GPU grand public, le module est tout de m\u00eame \u00e9mis, mais avec une valeur 0 dans le plugin Pandora FMS, car il n\u2019y a pas d\u2019erreurs ECC \u00e0 compter.<\/p>\nPeut-on monitorer des GPU dans des environnements on-premise avec Pandora FMS ?<\/h4>\n
\nIl peut \u00e9galement \u00eatre utilis\u00e9 dans des environnements hybrides ou des instances cloud si le GPU NVIDIA est expos\u00e9 au syst\u00e8me d\u2019exploitation et si le driver est correctement install\u00e9.<\/p>\nComment le GPU monitoring aide-t-il au capacity planning ?<\/h4>\n
\nIl aide aussi \u00e0 justifier les achats de mat\u00e9riel<\/Strong> ou \u00e0 reporter des extensions inutiles avec des donn\u00e9es objectives d\u2019utilisation et de capacit\u00e9 en main.<\/p>\nQue se passe-t-il si nvidia-smi n\u2019est pas install\u00e9 sur le serveur ?<\/h4>\n
\nCela permet de g\u00e9n\u00e9rer une alerte sans interrompre l\u2019ex\u00e9cution de l\u2019agent ni produire de XML invalide<\/Strong>.
\nLe d\u00e9fi reste visible comme absence de GPU ou comme d\u00e9faillance de disponibilit\u00e9 de la source de donn\u00e9es.<\/p>\nLe GPU monitoring suffit-il pour g\u00e9rer une infrastructure d\u2019IA ?<\/h4>\n
\nLe GPU est un composant critique, mais une infrastructure d\u2019IA d\u00e9pend aussi du CPU, de la RAM, du stockage<\/Strong>, du r\u00e9seau, des services…
\nC\u2019est pourquoi le GPU monitoring doit \u00eatre int\u00e9gr\u00e9 dans une strat\u00e9gie plus large d\u2019AI infrastructure monitoring. Sans cela, il sera impossible d\u2019obtenir une vision op\u00e9rationnelle compl\u00e8te.[\/et_pb_text][et_pb_button button_url=\u00a0\u00bb@ET-DC@eyJkeW5hbWljIjp0cnVlLCJjb250ZW50IjoicG9zdF9saW5rX3VybF9wYWdlIiwic2V0dGluZ3MiOnsicG9zdF9pZCI6IjM2MjI3MCJ9fQ==@\u00a0\u00bb button_text=\u00a0\u00bb\u2190 Retour \u00e0 Th\u00e8mes IT\u00a0\u00bb button_alignment=\u00a0\u00bbleft\u00a0\u00bb _builder_version=\u00a0\u00bb4.22.0″ _dynamic_attributes=\u00a0\u00bbbutton_url\u00a0\u00bb _module_preset=\u00a0\u00bbdefault\u00a0\u00bb custom_button=\u00a0\u00bbon\u00a0\u00bb button_text_size=\u00a0\u00bb1em\u00a0\u00bb button_text_color=\u00a0\u00bb#0C312F\u00a0\u00bb button_bg_color=\u00a0\u00bb#FFFFFF\u00a0\u00bb button_bg_color_gradient_direction=\u00a0\u00bb90deg\u00a0\u00bb button_bg_color_gradient_stops=\u00a0\u00bb#82B92E 0%|#3CB92E 100%\u00a0\u00bb button_bg_color_gradient_start=\u00a0\u00bb#82B92E\u00a0\u00bb button_bg_color_gradient_end=\u00a0\u00bb#3CB92E\u00a0\u00bb button_border_width=\u00a0\u00bb1px\u00a0\u00bb button_border_color=\u00a0\u00bb#eaeaea\u00a0\u00bb button_border_radius=\u00a0\u00bb100px\u00a0\u00bb button_use_icon=\u00a0\u00bboff\u00a0\u00bb z_index=\u00a0\u00bb0″ custom_margin=\u00a0\u00bb60px||0px||false|false\u00a0\u00bb custom_padding=\u00a0\u00bb10px|50px|10px|50px|true|true\u00a0\u00bb custom_padding_tablet=\u00a0\u00bb\u00a0\u00bb custom_padding_phone=\u00a0\u00bb10px|20px|10px|20px|true|true\u00a0\u00bb custom_padding_last_edited=\u00a0\u00bbon|phone\u00a0\u00bb custom_css_main_element=\u00a0\u00bbright:0!important;||font-family:%22Pandora-Bold%22!important;\u00a0\u00bb global_module=\u00a0\u00bb367749″ locked=\u00a0\u00bboff\u00a0\u00bb global_colors_info=\u00a0\u00bb{}\u00a0\u00bb button_bg_color__hover_enabled=\u00a0\u00bbon|desktop\u00a0\u00bb button_bg_color_gradient_start__hover=\u00a0\u00bb#eaeaea\u00a0\u00bb button_bg_color_gradient_end__hover=\u00a0\u00bb#f4f4f4″ button_bg_color__hover=\u00a0\u00bb#eaeaea\u00a0\u00bb button_bg_enable_color__hover=\u00a0\u00bbon\u00a0\u00bb button_bg_use_color_gradient__hover=\u00a0\u00bbon\u00a0\u00bb button_bg_color_gradient_stops__hover=\u00a0\u00bb#eaeaea 0%|#f4f4f4 100%\u00a0\u00bb][\/et_pb_button][\/et_pb_column][\/et_pb_row][\/et_pb_section][et_pb_section fb_built=\u00a0\u00bb1″ custom_padding_last_edited=\u00a0\u00bbon|desktop\u00a0\u00bb admin_label=\u00a0\u00bbFinal CTA\u00a0\u00bb _builder_version=\u00a0\u00bb4.22.0″ _module_preset=\u00a0\u00bbdefault\u00a0\u00bb background_color=\u00a0\u00bb#161327″ use_background_color_gradient=\u00a0\u00bbon\u00a0\u00bb background_color_gradient_stops=\u00a0\u00bbrgba(22,19,39,0.5) 17%|rgba(22,19,39,0.5) 100%\u00a0\u00bb background_color_gradient_overlays_image=\u00a0\u00bbon\u00a0\u00bb background_image=\u00a0\u00bbhttps:\/\/pandorafms.com\/wp-content\/uploads\/2023\/12\/banner-contacta-it-topics.webp\u00a0\u00bb background_size=\u00a0\u00bbcustom\u00a0\u00bb background_image_width=\u00a0\u00bb121%\u00a0\u00bb background_image_height=\u00a0\u00bb192%\u00a0\u00bb background_position=\u00a0\u00bbtop_left\u00a0\u00bb z_index=\u00a0\u00bb1″ max_width=\u00a0\u00bb1080px\u00a0\u00bb max_width_tablet=\u00a0\u00bb98%\u00a0\u00bb max_width_phone=\u00a0\u00bb98%\u00a0\u00bb max_width_last_edited=\u00a0\u00bbon|tablet\u00a0\u00bb module_alignment=\u00a0\u00bbcenter\u00a0\u00bb custom_margin=\u00a0\u00bb80px||80px||true|false\u00a0\u00bb custom_padding=\u00a0\u00bb40px|20px|120px|20px|false|true\u00a0\u00bb custom_padding_tablet=\u00a0\u00bb40px|0px|120px|0px|false|true\u00a0\u00bb custom_padding_phone=\u00a0\u00bb40px|0px|120px|0px|false|true\u00a0\u00bb scroll_scaling=\u00a0\u00bb40|55|85|100|100%|120%|100%\u00a0\u00bb motion_trigger_start=\u00a0\u00bbtop\u00a0\u00bb background_last_edited=\u00a0\u00bbon|phone\u00a0\u00bb background_size_tablet=\u00a0\u00bbcover\u00a0\u00bb background_size_phone=\u00a0\u00bbcover\u00a0\u00bb background_position_phone=\u00a0\u00bbtop_center\u00a0\u00bb border_radii=\u00a0\u00bboff|20px|20px|20px|20px\u00a0\u00bb border_color_all=\u00a0\u00bb#ffffff\u00a0\u00bb box_shadow_style=\u00a0\u00bbpreset1″ box_shadow_vertical=\u00a0\u00bb0px\u00a0\u00bb box_shadow_blur=\u00a0\u00bb80px\u00a0\u00bb box_shadow_color=\u00a0\u00bb#506da0″ global_module=\u00a0\u00bb367449″ saved_tabs=\u00a0\u00bball\u00a0\u00bb global_colors_info=\u00a0\u00bb{}\u00a0\u00bb][et_pb_row use_custom_gutter=\u00a0\u00bbon\u00a0\u00bb gutter_width=\u00a0\u00bb2″ make_equal=\u00a0\u00bbon\u00a0\u00bb _builder_version=\u00a0\u00bb4.22.0″ _module_preset=\u00a0\u00bbdefault\u00a0\u00bb max_width=\u00a0\u00bb750px\u00a0\u00bb module_alignment=\u00a0\u00bbcenter\u00a0\u00bb custom_margin=\u00a0\u00bb0px||0px||true|false\u00a0\u00bb custom_padding=\u00a0\u00bb0px|0px|0px|0px|true|true\u00a0\u00bb global_colors_info=\u00a0\u00bb{}\u00a0\u00bb][et_pb_column type=\u00a0\u00bb4_4″ _builder_version=\u00a0\u00bb4.22.0″ _module_preset=\u00a0\u00bbdefault\u00a0\u00bb global_colors_info=\u00a0\u00bb{}\u00a0\u00bb][et_pb_text content_tablet=\u00a0\u00bb<\/p>\n