色控传媒

Três desafios do Big Data (e como superá-los)

O Big Data tem muitas qualidades: n?o estruturado, din?mico e complexo. Mas, talvez o mais importante: O Big Data é grande. Os sensores humanos e IoT est?o produzindo trilh?es de gigabytes de dados todos os anos. Mas esses n?o s?o os dados de ontem: s?o dados modernos, em uma gama cada vez mais diversificada de formatos e de uma variedade cada vez maior de fontes.?

Isso está levando a um abismo entre os dados atuais e os sistemas de ontem. O grande tamanho e a escala, juntamente com sua velocidade e complexidade, est?o colocando um novo tipo de estresse nos sistemas tradicionais de armazenamento de dados. Muitos s?o simplesmente mal equipados, e as organiza??es que querem usar essa mina de ouro de dados est?o enfrentando obstáculos.?

Por que isso está acontecendo? Quais s?o os principais desafios do Big Data a serem conhecidos? Se você quiser aproveitar o poder do Big Data, suas solu??es de armazenamento ser?o suficientes para superá-las?

1. O Big Data é muito grande para o armazenamento tradicional

Talvez o mais óbvio dos desafios do Big Data seja sua enorme escala. Normalmente, medimos em petabytes (ou seja, 1.024 terabytes ou 1.048.576 gigabytes).

Para dar uma ideia de como o Big Big Data pode ser, veja um exemplo:??carregam pelo menos 14,58 milh?es de fotos por hora. Cada foto reúne intera??es armazenadas com ela, como curtidas e comentários. Os usuários “curtiram” pelo menos um trilh?o de publica??es, comentários e outros pontos de dados.?

Mas n?o s?o apenas gigantes da tecnologia como o Facebook que est?o armazenando e analisando grandes quantidades de dados. Até mesmo uma pequena empresa que recebe uma parte das informa??es de mídia social, por exemplo, para ver o que as pessoas est?o dizendo sobre sua marca, exige uma arquitetura de armazenamento de dados de alta capacidade.

Os sistemas tradicionais de armazenamento de dados podem, em teoria, lidar com grandes quantidades de dados. Mas quando temos a tarefa de oferecer a eficiência e os insights necessários, muitos simplesmente n?o conseguem acompanhar as demandas dos dados modernos.

O enigma do banco de dados relacional

Bancos de dados SQL relacionais s?o métodos confiáveis e demorados para armazenar, ler e gravar dados. Mas esses bancos de dados podem ter dificuldade para operar com eficiência, mesmo antes de atingirem a capacidade máxima. Um banco de dados relacional contendo grandes quantidades de dados pode se tornar lento por muitos motivos. Por exemplo, cada vez que você insere um registro em um banco de dados relacional, o índice deve ser atualizado automaticamente. Essa opera??o leva mais tempo cada vez que o número de registros aumenta. Inserir, atualizar, excluir e executar outras opera??es pode demorar mais, dependendo do número de relacionamentos com outras tabelas.?

Resumindo: Quanto mais dados estiverem em um banco de dados relacional, mais tempo cada opera??o levará.

Expans?o horizontal x expans?o horizontal

Também é possível expandir os sistemas tradicionais de armazenamento de dados para melhorar o desempenho. Mas como os sistemas tradicionais de armazenamento de dados s?o centralizados, você é for?ado a expandir “aumentar” em vez de “desativar”.

Expandir é menos eficiente em recursos do que expandir horizontalmente, pois exige que você adicione novos sistemas, migre dados e gerencie a carga em vários sistemas. A arquitetura de armazenamento de dados logo se torna muito ampla e difícil de gerenciar corretamente.

Tentar usar a arquitetura de armazenamento tradicional para Big Data está condenado a falhar em parte porque a quantidade de dados torna n?o realista expandir suficientemente. Isso torna a expans?o horizontal a única op??o realista. Usando uma arquitetura de armazenamento distribuído, você pode adicionar novos nós a um cluster assim que atingir uma determinada capacidade, e pode fazer isso indefinidamente.

2. O Big Data é muito complexo para o armazenamento tradicional

Outro grande desafio para o armazenamento tradicional quando se trata de Big Data? A complexidade dos estilos de dados. Os dados tradicionais s?o “estruturados”. Você pode organizá-lo em tabelas com linhas e colunas que têm uma rela??o direta entre si.

Um banco de dados relacional, o tipo de banco de dados que armazena dados tradicionais, consiste em registros contendo campos claramente definidos. Você pode acessar esse tipo de banco de dados usando um sistema de gerenciamento de banco de dados relacional (RDBMS ), como MySQL , Oracle DB ou SQL Server.

Um banco de dados relacional pode ser relativamente grande e complexo: Ela pode consistir em milhares de linhas e colunas. Mas, crucialmente, com um banco de dados relacional, você pode acessar um dado por referência à sua rela??o com outro dado.

O Big Data nem sempre se encaixa perfeitamente nas linhas e colunas relacionais de um sistema de armazenamento de dados tradicional. Ela é em grande parte n?o estruturada, consistindo em uma infinidade de tipos de arquivos e, muitas vezes, incluindo imagens, vídeos, áudio e conteúdo de mídia social. ? por isso que as solu??es de armazenamento tradicionais n?o s?o adequadas para trabalhar com Big Data: Eles n?o conseguem categorizá-la adequadamente.

Aplicativos avan?ados em contêiner também criam novos desafios de armazenamento. Por exemplo, os aplicativos Kubernetes s?o mais complexos do que os aplicativos tradicionais. Esses aplicativos contêm muitas partes, como pods, volumes e configmaps, e exigem atualiza??es frequentes. O armazenamento tradicional n?o pode oferecer a funcionalidade necessária para executar o Kubernetes com eficiência.

O uso de um banco de dados n?o relacional (NoSQL), como MongoDB, Cassandra ou Redis, pode permitir que você obtenha insights valiosos sobre conjuntos complexos e variados de dados n?o estruturados.

3. O Big Data é rápido demais para o armazenamento tradicional

Os sistemas tradicionais de armazenamento de dados s?o para reten??o constante de dados. Você pode adicionar mais dados regularmente e realizar análises no novo conjunto de dados. Mas o Big Data cresce quase instantaneamente, e a análise muitas vezes precisa ocorrer em tempo real. Um RDBMS n?o foi desenvolvido para flutua??es rápidas.

Veja os dados do sensor, por exemplo. Os dispositivos de Internet das coisas (IoT) precisam processar grandes quantidades de dados de sensores com latência mínima. Os sensores transmitem dados do “mundo real” a uma taxa quase constante. Os sistemas de armazenamento tradicionais lutam para armazenar e analisar dados que chegam a essa velocidade.

Ou outro exemplo: ciberseguran?a. Os departamentos de TI devem inspecionar cada pacote de dados que chega pelo firewall de uma empresa para verificar se ele contém código suspeito. Muitos gigabytes podem estar passando pela rede todos os dias. Para evitar ser vítima de um cibercrime, a análise deve ocorrer instantaneamente, armazenando todos os dados em uma tabela até o final do dia n?o é uma op??o.

A natureza de alta velocidade do Big Data n?o é gentil com os sistemas de armazenamento tradicionais, que podem ser a causa raiz da falha do projeto ou do ROI n?o realizado.

4. Desafios do Big Data exigem solu??es avan?adas de armazenamento

As arquiteturas de armazenamento tradicionais s?o adequadas para trabalhar com dados estruturados. Mas quando se trata da natureza vasta, complexa e de alta velocidade do Big Data n?o estruturado, as empresas precisam encontrar solu??es alternativas para come?ar a obter os resultados que est?o procurando.

Sistemas de armazenamento distribuídos, escaláveis e n?o relacionais podem processar grandes quantidades de dados complexos em tempo real. Essa abordagem pode ajudar as organiza??es a superar os desafios do Big Data com facilidade e come?ar a obter insights inovadores.

Se sua arquitetura de armazenamento estiver com dificuldades para acompanhar as necessidades da sua empresa, ou se você quiser obter a vantagem competitiva de uma empresa madura em dados, fazer upgrade para uma solu??o de armazenamento moderna capaz de aproveitar o poder do Big Data pode fazer sentido.?

A Pure oferece uma série de solu??es simples e confiáveis de armazenamento como servi?o (STaaS, Storage-as-a-Service) que s?o escaláveis para qualquer tamanho de opera??o e adequadas para todos os casos de uso.?Saiba mais ou comece hoje mesmo.