É«¿Ø´«Ã½

Le stockage de calcul haute performance (HPC) comprend un r¨¦seau ¨¤ faible latence avec un acc¨¨s rapide aux donn¨¦es requis pour les projets HPC. Le HPC consiste ¨¤ utiliser des ordinateurs et des superordinateurs en cluster et connect¨¦s pour effectuer des t?ches complexes en parall¨¨le.?

Mais ce n'est pas seulement la vitesse de calcul qui rend le HPC si important. C¡¯est la capacit¨¦ du HPC ¨¤ analyser d¡¯¨¦normes ensembles de donn¨¦es ¨¤ l¡¯¨¦chelle de l¡¯exaoctet qui le rend responsable de tant d¡¯innovations modernes. Pour r¨¦aliser ces t?ches complexes, les environnements HPC exigent des solutions de stockage modernes pour les clusters HPC .?

De plus, ¨¤ mesure que l¡¯intelligence artificielle (AI et le HPC convergent, les entreprises traditionnelles peuvent tirer encore plus profit de la compr¨¦hension et de l¡¯architecture du HPC tout en adoptant l¡¯AI Certains chefs d¡¯entreprise choisissent m¨ºme d¡¯abandonner leurs ¨¦quipes HPC traditionnelles au profit d¡¯une infrastructure d¡¯AI converg¨¦e plus stable et agile qu¡¯ils d¨¦ploient eux-m¨ºmes ou par l¡¯interm¨¦diaire de partenaires int¨¦grateurs syst¨¨me.

Voici un aper?u approfondi des exigences du HPC en mati¨¨re de stockage et de la mani¨¨re dont les infrastructures d¡¯entreprise peuvent ¨ºtre con?ues pour les prendre en charge.

Le HPC consiste ¨¤ utiliser des syst¨¨mes informatiques avanc¨¦s (par exemple, des superordinateurs ou des clusters d¡¯ordinateurs haute performance) pour traiter des t?ches complexes en parall¨¨le, g¨¦n¨¦ralement dans des domaines tels que la recherche scientifique, l¡¯ing¨¦nierie, la fabrication et l¡¯informatique. Le HPC alimente les simulations scientifiques, la mod¨¦lisation, les v¨¦rifications et l¡¯AIg¨¦n¨¦rative, ce qui permet aux chercheurs et aux professionnels d¡¯analyser des ensembles de donn¨¦es massifs et de r¨¦soudre efficacement des probl¨¨mes complexes.?

La port¨¦e est un aspect, l¡¯autre la vitesse. Et plus l¡¯infrastructure de donn¨¦es sous ces syst¨¨mes est rapide, plus les calculs sont rapides.

Il existe diff¨¦rents types de calcul haute performance pour diff¨¦rents cas d¡¯utilisation. Une chose qu¡¯ils ont tous en commun?: Elles g¨¦n¨¨rent et traitent d¡¯¨¦normes quantit¨¦s de donn¨¦es. Les types de calcul haute performance les plus courants sont d¨¦finis par la mani¨¨re dont les ordinateurs fonctionnent ensemble et sur quoi ils travaillent ensemble, notamment?:

• Supercalcul?: Con?u pour les souvent utilis¨¦s dans les simulations scientifiques, la mod¨¦lisation climatique, les jumeaux num¨¦riques, les environnements de r¨¦alit¨¦ augment¨¦e ou virtuelle et la recherche avanc¨¦e.
• Cluster computing?: Les ordinateurs en r¨¦seau fonctionnent en parall¨¨le sur des t?ches r¨¦parties sur plusieurs machines, souvent utilis¨¦es dans les ¨¦tablissements universitaires et de recherche. Les clusters de calcul haute performance (HPC) sont un ensemble d¡¯ordinateurs hautes performances interconnect¨¦s con?us pour le traitement parall¨¨le, souvent dans des applications scientifiques et d¡¯ing¨¦nierie.
• Informatique distribu¨¦e?: Plusieurs ordinateurs connect¨¦s via un r¨¦seau peuvent ¨ºtre exploit¨¦s lorsque les syst¨¨mes sont inactifs, gr?ce ¨¤ des logiciels t¨¦l¨¦charg¨¦s par des volontaires pour rendre leurs ordinateurs disponibles lorsqu¡¯ils ne sont pas utilis¨¦s. Les exploitent ces syst¨¨mes.?
• Cloud computing?: Les serveurs distants stockent, g¨¨rent et traitent les donn¨¦es, offrant des ressources informatiques ¨¦volutives pour diverses applications. Les solutions HPC bas¨¦es sur le cloud offrent un acc¨¨s ¨¤ la demande ¨¤ des ressources de calcul haute performance afin que les utilisateurs puissent acc¨¦der ¨¤ la puissance de calcul sans investissements initiaux importants.
• Informatique quantique?: Bien qu¡¯il s¡¯agisse toujours d¡¯un nouveau domaine de recherche et rarement utilis¨¦ dans l¡¯entreprise, l¡¯informatique quantique a le potentiel d¡¯effectuer des calculs ¨¤ grande ¨¦chelle pour r¨¦soudre des probl¨¨mes complexes plus rapidement que les ordinateurs classiques.
• Informatique acc¨¦l¨¦r¨¦e?: Utilisation d¡¯acc¨¦l¨¦rateurs mat¨¦riels sp¨¦cialis¨¦s comme les unit¨¦s de traitement graphique (GPU) et les unit¨¦s de traitement neuronal (NPU) pour am¨¦liorer les performances de calcul, en particulier dans les t?ches li¨¦es ¨¤ l¡¯AI et ¨¦galement dans les simulations r¨¦elles comme les jumeaux num¨¦riques et l¡¯omniverse.?

Oui et non. Bien que les projets d¡¯AI exploitent presque toujours les ressources HPC, la plupart des projets HPC ne sont pas strictement li¨¦s ¨¤ l¡¯AI.

Alors que les entreprises cherchent ¨¤ repenser leurs infrastructures informatiques pour prendre en charge de nouveaux projets d¡¯AI, les infrastructures HPC sont souvent per?ues comme des mod¨¨les pour les infrastructures d¡¯AI, m¨ºme parce qu¡¯elles ont une port¨¦e et une ¨¦volutivit¨¦ similaires. Le HPC est aussi proche que de nombreuses entreprises ont r¨¦ussi ¨¤ construire des datacenters con?us pour des projets de cette envergure, du mat¨¦riel sp¨¦cialis¨¦ comme les GPU, les puces et la puissance de calcul?; cependant, les deux ne sont pas synonymes.

Les projets d¡¯AI n¨¦cessitent beaucoup de puissance de calcul, d¡¯acc¨¦l¨¦rateurs mat¨¦riels et d¡¯architectures de traitement parall¨¨les, ainsi que de cluster computing pendant la transformation des donn¨¦es et l¡¯entra?nement des mod¨¨les, comme le HPC. Ils utilisent ¨¦galement diverses technologies et m¨¦thodes, notamment le HPC. (D'autres incluent deep learning, la vision par ordinateur, l'apprentissage machine et le traitement du langage naturel.)?

Le HPC peut prendre en charge AI, mais il est ¨¦galement plus large. Alors que l¡¯AI se concentre sur des mod¨¨les et des algorithmes pour faciliter la prise de d¨¦cision, la reconnaissance des sch¨¦mas et le traitement du langage (comme nous le voyons avec l¡¯AIg¨¦n¨¦rative), les projets HPC peuvent ¨ºtre appliqu¨¦s ¨¤ un plus large ¨¦ventail de t?ches, au-del¨¤ de l¡¯AI, notamment la science, les simulations, la recherche, l¡¯ing¨¦nierie, l¡¯analyse de donn¨¦es et la mod¨¦lisation num¨¦rique.

Elles diff¨¨rent ¨¦galement par leur fa?on de g¨¦rer les donn¨¦es. AI fonctionne avec des ensembles de donn¨¦es volumineux, n¨¦cessaires pour entra?ner des mod¨¨les. Le HPC peut et g¨¨re des ensembles de donn¨¦es volumineux, mais il se concentre davantage sur les calculs qu¡¯il r¨¦alise.?

??HPC a rarement ¨¦t¨¦ dans le domaine de l¡¯informatique d¡¯entreprise, en restant g¨¦n¨¦ralement dans les limites du monde universitaire et de la recherche. La plupart des entreprises n¡¯ont m¨ºme pas h¨¦sit¨¦ dans le HPC, mais m¨ºme pour celles qui l¡¯ont fait, il ne s¡¯associe pas souvent ¨¤ d¡¯autres flux de travail?; il est trait¨¦ comme un silos et g¨¦r¨¦ comme une autre b¨ºte.?? -?

Le cloud computing est-il identique au HPC??

Non, le cloud computing n¡¯est pas synonyme de HPC. Comme mentionn¨¦ ci-dessus, le cloud computing est plut?t un ??comment?? qui fournit des ressources pouvant ¨ºtre exploit¨¦es pour les projets HPC. En g¨¦n¨¦ral, le cloud computing est un concept qui d¨¦finit la mani¨¨re dont les services et les infrastructures sont h¨¦berg¨¦s et fournis, et cela peut inclure le HPC.

Quels sont les secteurs qui s¡¯appuient sur le HPC??

Comme nous l¡¯avons mentionn¨¦ plus haut, les organisations les plus susceptibles d¡¯exploiter les grilles HPC et les environnements de stockage HPC sont celles des domaines de la recherche scientifique, de la science environnementale, des pr¨¦visions m¨¦t¨¦orologiques, de l¡¯ing¨¦nierie a¨¦ronautique et automobile, des services financiers, du p¨¦trole et du gaz, de la fabrication et de la sant¨¦, y compris la recherche g¨¦nomique et les tests pharmaceutiques.

Cependant, le HPC ne se limite pas ¨¤ ces domaines et peut profiter ¨¤ toute entreprise qui a besoin d¡¯effectuer des calculs complexes, d¡¯ex¨¦cuter des simulations gourmandes en donn¨¦es, de traiter des haute d¨¦finition, ou d¡¯effectuer une analyse du Big Data.

Les environnements HPC se composent g¨¦n¨¦ralement de trois composants principaux?: processeurs informatiques, r¨¦seau et stockage. Les projets HPC exigent principalement un acc¨¨s rapide aux donn¨¦es, ce qui fait du stockage un ¨¦l¨¦ment essentiel de la r¨¦ussite de ces environnements.?

Pour fonctionner rapidement et ¨¤ grande ¨¦chelle, les environnements HPC n¨¦cessitent des architectures de syst¨¨mes de fichiers modernes avec des niveaux chauds et froids et des serveurs de m¨¦tadonn¨¦es haute disponibilit¨¦. L¡¯int¨¦gration du stockage NVMe et d¡¯objets permet au syst¨¨me HPC de r¨¦pondre aux exigences des charges de travail modernes avec une latence faible et une bande passante ¨¦lev¨¦e.

Le stockage de donn¨¦es HPC consiste ¨¤ d¨¦charger les donn¨¦es des processeurs, de la m¨¦moire et des contr?leurs de stockage rapidement et efficacement, ce qui permet aux processeurs de poursuivre leur traitement sans interruption. La plateforme de donn¨¦es d¡¯un syst¨¨me HPC doit ¨¦galement ¨ºtre accessible et hi¨¦rarchis¨¦e, ce qui permet de maintenir les donn¨¦es chaudes ¨¤ proximit¨¦ des n?uds et d¡¯y acc¨¦der.

Architecture de stockage HPC?: Traitement parall¨¨le, clustering et interconnexions haute vitesse

Dans le domaine du calcul haute performance, trois concepts fondamentaux expliquent comment les t?ches sont r¨¦alis¨¦es?:

• Traitement parall¨¨le?: Cela d¨¦crit comment les ordinateurs (ou n?uds) fonctionnent ensemble pour ex¨¦cuter une t?che. Dans le HPC, les probl¨¨mes importants peuvent ¨ºtre divis¨¦s en t?ches plus petites, puis r¨¦solus par plusieurs processeurs ou c?urs de calcul ¨¤ la fois, ce qui permet au HPC de g¨¦rer ¨¤ la fois des ensembles de donn¨¦es massifs et des calculs si rapidement. Les t?ches peuvent ¨ºtre g¨¦r¨¦es ind¨¦pendamment par des processeurs ou les processeurs peuvent collaborer sur une seule t?che. Quelle que soit la fa?on dont elles se divisent et conqui¨¨rent, il est essentiel que cela se produise en parall¨¨le.
• Clustering?: Le clustering est une architecture exploit¨¦e par le HPC, o¨´ plusieurs n?uds fonctionnent ensemble, ce qui permet ¨¤ nouveau d¡¯effectuer des travaux parall¨¨les, ¨¤ plus grande ¨¦chelle. C'est ¨¦galement un moyen d'int¨¦grer la fiabilit¨¦ dans un environnement HPC. Comme les n?uds sont connect¨¦s par un r¨¦seau dans un syst¨¨me unifi¨¦ et unique, les t?ches peuvent ¨ºtre divis¨¦es et ex¨¦cut¨¦es, m¨ºme en cas de d¨¦faillance d¡¯un n?ud du r¨¦seau. Cela inclut l¡¯orchestration et la planification, o¨´ le logiciel g¨¨re les ressources disponibles du cluster et d¨¦l¨¨gue intelligemment le travail au cluster le mieux adapt¨¦.?
• Interconnexions haut d¨¦bit?: Cela d¨¦crit la communication entre les n?uds d¡¯un cluster, et ces liaisons (par exemple, Ethernet haut d¨¦bit) sont le pilier de la puissance et de la vitesse collaboratives du HPC. Les interconnexions haut d¨¦bit permettent une communication rapide et un traitement parall¨¨le rapides et efficaces entre les ordinateurs du cluster et entre les n?uds de stockage et les n?uds de calcul.

Fonctionnalit¨¦s ¨¤ rechercher dans le stockage HPC

Le stockage devient de plus en plus important ¨¤ l¡¯¨¨re des applications, du Big Data et du HPC. Il faut une nouvelle architecture innovante pour prendre en charge les applications avanc¨¦es tout en offrant des performances de pointe dans tous les aspects de la simultan¨¦it¨¦?: IOPS, d¨¦bit, latence et capacit¨¦. Id¨¦alement, le stockage HPC offre?:

• Une solution de stockage flash dot¨¦e d¡¯un syst¨¨me scale-out ¨¦lastique capable d¡¯offrir des performances 100?% flash ¨¤ des ensembles de donn¨¦es ¨¤ l¡¯¨¦chelle du p¨¦taoctet, id¨¦ale pour l¡¯analytique du Big Data
• ?volutivit¨¦ horizontale massive pour permettre des op¨¦rations de lecture/¨¦criture simultan¨¦es tandis que plusieurs n?uds acc¨¨dent au stockage en m¨ºme temps
• Efficacit¨¦ et simplicit¨¦ pour les architectes de stockage
• Acc¨¨s rapide aux donn¨¦es. Le stockage doit ¨ºtre capable de g¨¦rer des demandes rapides et fr¨¦quentes.
• Redondance et tol¨¦rance aux pannes
• NVMe pour un acc¨¨s ¨¤ faible latence
• Stockage d¡¯objets pour plus de simplicit¨¦ et r¨¦pondre aux besoins des applications cloud natives

Outils avanc¨¦s de gestion des donn¨¦es, comme la , qui facilitent la compression et la d¨¦duplication

Bien que le stockage HPC et le stockage cloud g¨¨rent les donn¨¦es, ils pr¨¦sentent des diff¨¦rences majeures.

• Le cloud est g¨¦n¨¦ral, le HPC est sp¨¦cifique. Le stockage HPC est con?u pour les applications de calcul haute performance, optimis¨¦ pour un traitement parall¨¨le efficace et un acc¨¨s rapide aux donn¨¦es. Le stockage cloud offre un stockage ¨¤ la demande g¨¦n¨¦ral pour un large ¨¦ventail d¡¯applications (y compris le HPC).
• Le cloud est un mod¨¨le op¨¦rationnel. Le stockage cloud est un mod¨¨le de service pour le stockage et la gestion des donn¨¦es ¨¤ distance.?
• Le HPC est con?u pour offrir des performances optimales. Les services de stockage cloud peuvent limiter le nombre de projets de personnalisation granulaire n¨¦cessaires pour des performances optimales. Le stockage HPC sera optimis¨¦ pour la vitesse et l¡¯acc¨¨s, tandis que le cloud privil¨¦gie davantage la flexibilit¨¦ et l¡¯¨¦volutivit¨¦.
• Les mod¨¨les de co?t du stockage cloud vous obligent ¨¤ ??acheter?? plus de capacit¨¦ pour obtenir plus de performances, m¨ºme si vous n¡¯avez pas besoin d¡¯espace de stockage suppl¨¦mentaire.

Il convient de noter que les charges de travail HPC des universit¨¦s et des centres de recherche se d¨¦placent de plus en plus vers le cloud, tandis que les charges de travail HPC commerciales et d¡¯entreprise ont tendance ¨¤ se trouver sur site. Cependant, le co?t total de possession (TCO) est ¨¦lev¨¦ pour les charges de travail HPC bas¨¦es sur le cloud, et le rapatriement des ensembles de donn¨¦es HPC sur site ou leur transfert vers un autre fournisseur de cloud est ¨¦galement co?teux.

Le calcul haute performance est d¨¦j¨¤ complexe et difficile, il n¡¯est donc pas surprenant que l¡¯environnement de stockage n¨¦cessaire pour le prendre en charge puisse ¨¦galement l¡¯¨ºtre. Les charges de travail complexes, le volume de donn¨¦es ¨¦lev¨¦ dans la plage des exaoctets, les exigences en mati¨¨re de s¨¦curit¨¦ des donn¨¦es, les int¨¦grations et la hi¨¦rarchisation des donn¨¦es compliquent la gestion des activit¨¦s HPC. Cependant, les solutions qui offrent ¨¤ la fois des fonctionnalit¨¦s robustes et une grande facilit¨¦ d¡¯utilisation, comme É«¿Ø´«Ã½ ? FlashBlade , peuvent g¨¦rer et m¨ºme compenser cette complexit¨¦ sans ajouter de goulets d¡¯¨¦tranglement ou de retards.

Le stockage HPC n¡¯est pas toujours la solution la plus ¨¦conomique pour chaque syst¨¨me ou r¨¦seau, car toutes les charges de travail ne n¨¦cessitent pas un stockage sp¨¦cialement adapt¨¦ aux d¨¦fis du HPC. Cependant, ¨¤ mesure que de plus en plus de charges de travail telles que l¡¯AI deviennent courantes dans l¡¯entreprise, les m¨ºmes performances et l¡¯¨¦volutivit¨¦ exig¨¦es par le stockage HPC pourraient se r¨¦v¨¦ler plus avantageuses sur le plan universel.

Le stockage HPC est con?u pour r¨¦pondre aux exigences uniques des t?ches de calcul ¨¤ grande ¨¦chelle, des simulations et des applications gourmandes en donn¨¦es, mais toutes les charges de travail ne n¨¦cessitent pas cette vitesse et cette ¨¦volutivit¨¦, et elles peuvent avoir d¡¯autres exigences uniques. Il est important de peser les avantages et les inconv¨¦nients, mais en g¨¦n¨¦ral, le stockage HPC est bon pour?:

• Ensembles de donn¨¦es massifs et charges de travail complexes
• Performances pour prendre en charge le traitement parall¨¨le et un acc¨¨s rapide aux donn¨¦es
• Croissance des donn¨¦es attendue
• Int¨¦grations ¨¦troites avec les clusters de calcul

FlashBlade est utilis¨¦ par plus de 25?% des entreprises du Fortune 100 pour sa simplicit¨¦, son agilit¨¦ et sa capacit¨¦ ¨¤?:

• Optimisez l¡¯utilisation des processeurs graphiques et des processeurs.
• B¨¦n¨¦ficiez IOPS seconde massives, d¡¯un d¨¦bit ¨¦lev¨¦ et d¡¯une faible latence sans compromettre les performances multidimensionnelles.
• Prenez en charge des dizaines de milliards de fichiers et d¡¯objets avec des performances maximales et des services de donn¨¦es enrichis.
• Tirez parti des API automatis¨¦es et de la prise en charge native haute performance des protocoles NFS, SMB et S3 pour simplifier les d¨¦ploiements, la gestion et les mises ¨¤ niveau.