É«¿Ø´«Ã½

O armazenamento de computa??o de alto desempenho (HPC, High-Performance Computing) inclui a rede de baixa lat¨ºncia com acesso a dados de alta velocidade necess¨¢rio para projetos de HPC. HPC ¨¦ o uso de computadores e supercomputadores em cluster e conectados para realizar tarefas complexas em paralelo.?

Mas ¨¦ mais do que apenas a velocidade computacional que torna a HPC t?o significativa. ? a capacidade da HPC de analisar grandes conjuntos de dados de escala de exabytes que a torna respons¨¢vel por tantas inova??es modernas. Para realizar essas tarefas complexas, os ambientes de HPC exigem solu??es de armazenamento modernas para clusters de HPC.?

Al¨¦m disso, ¨¤ medida que a intelig¨ºncia artificial (AI) e a HPC convergem, as empresas tradicionais podem se beneficiar ainda mais da compreens?o e da arquitetura da HPC enquanto adotam a AI. Alguns l¨ªderes de neg¨®cios est?o at¨¦ mesmo optando por abandonar suas equipes tradicionais de HPC em favor de uma infraestrutura de AI convergente mais est¨¢vel e ¨¢gil que implantam sozinhos ou por meio de parceiros integradores de sistemas.

Veja a seguir uma an¨¢lise detalhada das demandas da HPC sobre armazenamento e como as infraestruturas corporativas podem ser desenvolvidas para apoi¨¢-las.

HPC ¨¦ o uso de sistemas computacionais avan?ados (por exemplo, supercomputadores ou clusters de computadores de alto desempenho) para processar tarefas complexas em paralelo, geralmente em campos como pesquisa cient¨ªfica, engenharia, fabrica??o e ci¨ºncia da computa??o. A HPC potencializa simula??es cient¨ªficas, modelagem, verifica??es e AI, permitindo que pesquisadores e profissionais analisem grandes conjuntos de dados e resolvam problemas complexos com efici¨ºncia.?

O escopo ¨¦ um aspecto; o outro ¨¦ a velocidade. Quanto mais r¨¢pida a infraestrutura de dados abaixo desses sistemas, mais r¨¢pidos ser?o os c¨¢lculos.

H¨¢ diferentes tipos de computa??o de alto desempenho para v¨¢rios casos de uso. Uma coisa que todos eles t¨ºm em comum: Eles geram e processam grandes quantidades de dados. Os tipos mais comuns de computa??o de alto desempenho s?o definidos por como os computadores funcionam juntos e no que eles est?o trabalhando juntos, incluindo:

• Supercomputa??o: Desenvolvido para frequentemente usados em simula??es cient¨ªficas, modelagem clim¨¢tica, g¨ºmeos digitais, ambientes de realidade virtual ou aumentada e pesquisa avan?ada.
• Computa??o de cluster: Computadores em rede que trabalham em paralelo em tarefas distribu¨ªdas em v¨¢rias m¨¢quinas, frequentemente usadas em institui??es acad¨ºmicas e de pesquisa. Clusters de computa??o de alto desempenho (HPC, High-Performance Computing) s?o uma cole??o de computadores de alto desempenho interconectados desenvolvidos para processamento paralelo, frequentemente em aplicativos cient¨ªficos e de engenharia.
• Computa??o distribu¨ªda: V¨¢rios computadores conectados por meio de uma rede podem ser aproveitados quando os sistemas est?o ociosos, gra?as ao software que os volunt¨¢rios baixam para disponibilizar seus computadores quando n?o est?o em uso. aproveitam esses sistemas.?
• Computa??o em nuvem: Os servidores remotos armazenam, gerenciam e processam dados, oferecendo recursos de computa??o escal¨¢veis para v¨¢rios aplicativos. As solu??es de HPC baseadas em nuvem fornecem acesso sob demanda a recursos de computa??o de alto desempenho para que os usu¨¢rios possam acessar a energia computacional sem grandes investimentos iniciais.
• Computa??o Quantum: Embora ainda seja uma nova ¨¢rea de pesquisa e raramente usada na empresa, a computa??o qu?ntica tem o potencial de realizar c¨¢lculos em grande escala para resolver problemas complexos mais rapidamente do que os computadores cl¨¢ssicos.
• Computa??o acelerada: Usar aceleradores de hardware especializados, como unidades de processamento gr¨¢fico (GPUs, Graphics Processing Units) e unidades de processamento neural (NPUs, Neural Processing Units) para melhorar o desempenho computacional, especialmente em tarefas relacionadas ¨¤ AI e tamb¨¦m simula??es do mundo real, como g¨ºmeos digitais e o omniverse.?

Sim e n?o. Embora os projetos de AI quase sempre aproveitem os recursos de HPC, a maioria deles n?o est¨¢ estritamente relacionada ¨¤ AI.

? medida que as empresas buscam reformular suas infraestruturas de TI para dar suporte a novos projetos de AI, as infraestruturas de HPC s?o frequentemente vistas como modelos para infraestruturas de AI, apenas porque s?o semelhantes em escopo e escala. A HPC est¨¢ t?o pr¨®xima quanto muitas empresas conseguiram criar datacenters desenvolvidos para projetos desse escopo, hardware especializado como GPUs, chips e pot¨ºncia computacional; no entanto, os dois n?o s?o sin?nimos.

Os projetos de AI exigem muita pot¨ºncia computacional, aceleradores de hardware e arquiteturas de processamento paralelo, al¨¦m de computa??o em cluster durante a transforma??o de dados e o treinamento de modelos, semelhante ¨¤ HPC. Eles tamb¨¦m aproveitam uma variedade de tecnologias e m¨¦todos, incluindo HPC. (Outros incluem aprendizagem profunda, vis?o computacional, aprendizado de m¨¢quina e processamento de linguagem natural.)?

A HPC pode dar suporte AI, mas tamb¨¦m ¨¦ mais ampla. Embora a AI se concentre em modelos e algoritmos para ajudar na tomada de decis?es, no reconhecimento de padr?es e no processamento de linguagem (como vemos com a AI generativa ), os projetos de HPC podem ser aplicados a uma gama mais ampla de tarefas al¨¦m da AI, incluindo ci¨ºncia, simula??es, pesquisa, engenharia, an¨¢lise de dados e modelagem num¨¦rica.

Eles tamb¨¦m diferem em como lidam com dados. A AI funciona com grandes conjuntos de dados, necess¨¢rios para treinar modelos. A HPC consegue lidar com grandes conjuntos de dados, mas seu foco ¨¦ mais nos c¨¢lculos que realiza.?

¡°O HPC raramente esteve no dom¨ªnio da TI corporativa, normalmente permanecendo dentro dos limites da academia e da pesquisa. A maioria das empresas nem sequer se depara com a HPC, mas mesmo para aquelas que o fizeram, muitas vezes ela n?o se mistura com outros fluxos de trabalho; ela ¨¦ tratada como um silo e gerenciada como uma fera diferente.¡± - ?

A computa??o em nuvem ¨¦ igual ¨¤ HPC?

N?o, a computa??o em nuvem n?o ¨¦ sin?nimo de HPC. A computa??o em nuvem, como mencionado acima, ¨¦ mais um ¡°como¡±, fornecendo recursos que podem ser aproveitados para projetos de HPC. Em geral, a computa??o em nuvem ¨¦ um conceito que define como os servi?os e as infraestruturas s?o hospedados e fornecidos, e isso pode incluir a HPC.

Quais setores dependem da HPC?

Como mencionamos anteriormente, as organiza??es com maior probabilidade de aproveitar redes e ambientes de armazenamento de HPC s?o aquelas nas ¨¢reas de pesquisa cient¨ªfica, ci¨ºncia ambiental, previs?o do tempo, engenharia aeroespacial e automotiva, servi?os financeiros, petr¨®leo e g¨¢s, fabrica??o e sa¨²de, incluindo pesquisa gen?mica e testes farmac¨ºuticos.

No entanto, a HPC n?o se limita a esses campos e pode beneficiar qualquer empresa que precise realizar c¨¢lculos complexos, executar simula??es com muitos dados alta defini??o ou realizar an¨¢lise de Big Data.

Os ambientes de HPC normalmente t¨ºm tr¨ºs componentes principais: processadores de computador, rede e armazenamento. Uma demanda central dos projetos de HPC ¨¦ o acesso r¨¢pido aos dados, o que torna o armazenamento um componente essencial para o sucesso desses ambientes.?

Para operar com velocidade e escala, os ambientes de HPC exigem arquiteturas avan?adas de sistemas de arquivos com camadas quentes e frias e servidores de metadados de alta disponibilidade. A integra??o do NVMe e do armazenamento de objetos d¨¢ ao sistema HPC a capacidade de atender ¨¤s demandas de cargas de trabalho modernas com baixa lat¨ºncia e alta largura de banda.

O armazenamento de dados da HPC funciona descarregando dados de CPUs, controladores de mem¨®ria e armazenamento com rapidez e efici¨ºncia, para que as CPUs possam continuar o processamento sem interrup??es. A plataforma de dados para um sistema HPC tamb¨¦m precisa ser acess¨ªvel e em camadas, mantendo os dados ativos pr¨®ximos e acess¨ªveis pelos n¨®s.

Arquitetura de armazenamento HPC: Processamento paralelo, clustering e interconex?es de alta velocidade

Na computa??o de alto desempenho, h¨¢ tr¨ºs conceitos fundamentais que explicam como as tarefas s?o realizadas:

• Processamento paralelo: Isso descreve como os computadores (ou n¨®s) trabalham juntos para realizar uma tarefa. Na HPC, grandes problemas podem ser divididos em tarefas menores e, em seguida, resolvidos por v¨¢rios processadores ou n¨²cleos de computa??o de uma s¨® vez, e ¨¦ assim que a HPC ¨¦ capaz de lidar com grandes conjuntos de dados e computa??es t?o rapidamente. As tarefas podem ser tratadas de forma independente por processadores ou processadores podem colaborar em uma ¨²nica tarefa. N?o importa como eles dividem e conquistam, isso ¨¦ essencial.
• Clustering: O clustering ¨¦ uma arquitetura aproveitada pela HPC em que v¨¢rios n¨®s trabalham juntos como um s¨®, permitindo que o trabalho paralelo aconte?a, em uma escala maior. Tamb¨¦m ¨¦ uma maneira de criar confiabilidade em um ambiente de HPC. Como os n¨®s s?o conectados por uma rede em um sistema unificado e ¨²nico, as tarefas podem ser divididas e executadas, mesmo que um n¨® na rede falhe. Isso inclui orquestra??o e agendamento, em que o software gerencia os recursos dispon¨ªveis do cluster e delega de maneira inteligente o trabalho ao cluster mais adequado.?
• Interconex?es de alta velocidade: Isso descreve a comunica??o entre n¨®s em um cluster, e esses links (por exemplo, Ethernet de alta velocidade) s?o a espinha dorsal da pot¨ºncia e velocidade colaborativas da HPC. As interconex?es de alta velocidade permitem que a comunica??o r¨¢pida e o processamento paralelo aconte?am com rapidez e efici¨ºncia entre computadores no cluster e entre n¨®s de armazenamento e processamento.

Recursos a serem procurados no armazenamento HPC

O armazenamento est¨¢ se tornando cada vez mais importante na era dos aplicativos, Big Data e HPC. O que ¨¦ necess¨¢rio ¨¦ uma arquitetura nova e inovadora para dar suporte a aplicativos avan?ados enquanto oferece o melhor desempenho em todas as dimens?es da simultaneidade: IOPS, taxa de transfer¨ºncia, lat¨ºncia e capacidade. Idealmente, o armazenamento HPC oferece:

• Uma solu??o de armazenamento flash com um sistema flex¨ªvel de expans?o horizontal que pode oferecer desempenho totalmente flash para conjuntos de dados em escala de petabyte, ideal para an¨¢lise de Big Data
• Escala horizontal massiva para permitir opera??es simult?neas de leitura/grava??o enquanto v¨¢rios n¨®s acessam o armazenamento ao mesmo tempo
• Efici¨ºncia e simplicidade para arquitetos de armazenamento
• Acesso a dados de alta velocidade. O armazenamento precisa ser capaz de lidar com solicita??es r¨¢pidas e frequentes.
• Redund?ncia e toler?ncia a falhas
• NVMe para acesso de baixa lat¨ºncia
• Armazenamento de objetos para simplicidade e para atender ¨¤s necessidades de aplicativos nativos da nuvem

Ferramentas avan?adas de gerenciamento de dados, como , que ajudam na compacta??o e desduplica??o

Embora o armazenamento HPC e o armazenamento em nuvem gerenciem dados, eles t¨ºm diferen?as importantes.

• A nuvem ¨¦ geral; a HPC ¨¦ espec¨ªfica. O armazenamento HPC ¨¦ adaptado para aplicativos de computa??o de alto desempenho, otimizados para processamento paralelo eficiente e acesso r¨¢pido aos dados. O armazenamento em nuvem oferece armazenamento geral como servi?o para uma ampla gama de aplicativos (incluindo HPC).
• A nuvem ¨¦ um modelo operacional. O armazenamento em nuvem ¨¦ um modelo de servi?o para armazenar e gerenciar dados remotamente.?
• A HPC est¨¢ ajustada para desempenho. Os servi?os de armazenamento na nuvem podem limitar a quantidade de personaliza??o granular necess¨¢ria para o desempenho ideal. O armazenamento de HPC ser¨¢ otimizado para velocidade e acesso, enquanto a nuvem favorece mais flexibilidade e expans?o.
• Os modelos de custo de armazenamento na nuvem for?am voc¨º a "comprar" mais capacidade para obter mais desempenho, mesmo que n?o precise de espa?o de armazenamento extra.

? importante observar que as cargas de trabalho de HPC de universidades e centros de pesquisa est?o cada vez mais migrando para a nuvem, enquanto as cargas de trabalho de HPC comerciais e corporativas ainda tendem a estar no local. No entanto, o custo total de propriedade (TCO , Total Cost of Ownership) ¨¦ alto para cargas de trabalho de HPC baseadas em nuvem, e a repatria??o de conjuntos de dados de HPC para locais ou a transfer¨ºncia para outro provedor de nuvem tamb¨¦m ¨¦ cara.

A computa??o de alto desempenho j¨¢ ¨¦ complexa e desafiadora, por isso, n?o ¨¦ surpresa que o ambiente de armazenamento necess¨¢rio para apoi¨¢-la tamb¨¦m possa ser. Cargas de trabalho complexas, alto volume de dados na faixa de exabytes, requisitos de seguran?a de dados, integra??es e camadas de dados tornam a navega??o nos neg¨®cios complicados da HPC. No entanto, as solu??es que oferecem recursos robustos e facilidade de uso, como o FlashBlade ? da É«¿Ø´«Ã½, podem lidar e at¨¦ mesmo compensar essa complexidade sem adicionar gargalos ou atrasos.

O armazenamento de HPC nem sempre ¨¦ a solu??o mais econ?mica para todos os sistemas ou redes, pois nem todas as cargas de trabalho exigem armazenamento especificamente ajustado para desafios de HPC. No entanto, ¨¤ medida que mais cargas de trabalho, como AI, se tornam comuns na empresa, o mesmo desempenho e escalabilidade exigidos pelo armazenamento HPC podem acabar sendo mais universalmente ben¨¦ficos.

O armazenamento HPC foi desenvolvido para atender ¨¤s demandas exclusivas de tarefas computacionais, simula??es e aplicativos com uso intensivo de dados em larga escala, mas nem todas as cargas de trabalho exigir?o essa velocidade e escala, e elas podem ter outros requisitos exclusivos. ? importante ponderar os pr¨®s e os contras, mas, em geral, o armazenamento de HPC ¨¦ bom para:

• Conjuntos de dados em massa e cargas de trabalho complexas
• Desempenho para dar suporte ao processamento paralelo e acesso r¨¢pido aos dados
• Crescimento de dados esperado
• Integra??es rigorosas com clusters de computa??o

O FlashBlade ¨¦ usado por mais de 25% das empresas da Fortune 100 por sua simplicidade, agilidade e capacidade de:

• Maximizar a utiliza??o de GPUs e CPUs.
• Impulsione IOPS massivos, taxa de transfer¨ºncia com alta simultaneidade e baixa lat¨ºncia sem comprometer o desempenho multidimensional.
• D¨º suporte a dezenas de bilh?es de arquivos e objetos com desempenho m¨¢ximo e servi?os avan?ados de dados.
• Aproveite APIs automatizadas e suporte a protocolos NFS, SMB e S3 nativos de alto desempenho para fazer implanta??es, gerenciamento e upgrades sem complica??es.