色控传媒

Atualmente, as empresas coletam um grande volume de dados de diversas fontes que, frequentemente, devem ser analisados em tempo real. Big Data refere-se a um volume de dados muito grande, muito rápido ou muito complexo a ser processado usando técnicas tradicionais. Porém, nesse ?mbito também podem ser incluídas diversas tecnologias e estratégias que o Big Data está tornando possível, como os campos de gera??o de inteligência, por exemplo, análise preditiva, a Internet das coisas, inteligência artificial, entre outros.

, a estimativa é de que o mercado global do Big Data atinja US$ 156 bilh?es até 2026 – e que as empresas tenham excelentes motivos para entrar nesse mercado. Veja a seguir uma explica??o do que é o Big Data, qual é a origem dele, para que ele pode ser usado e como as empresas podem preparar suas infraestruturas de TI para ter sucesso com o Big Data.

Embora o conceito de Big Data já exista há muito tempo, o analista do setor Doug Laney foi o primeiro a definir os três Vs do Big Data em 2001. Os três Vs s?o:

• Volume: a quantidade de dados que deve ser processada (geralmente gigabytes, exabytes ou mais)
• Variedade: a grande variedade de dados, estruturados e n?o estruturados, transmitidos de muitas fontes distintas
• Velocidade: a velocidade na qual novos dados est?o sendo transmitidos para o sistema

Alguns especialistas em dados ampliam a defini??o para quatro, cinco ou mais Vs. O quarto e o quinto V s?o:

• Veracidade: a qualidade dos dados em rela??o à sua exatid?o, precis?o e confiabilidade
• Valor: o valor que os dados fornecem; o quanto valem para sua empresa

Embora a lista possa ter até, esses cinco s?o os mais usados para definir o Big Data.

Também existem dois tipos diferentes de Big Data, cujas diferen?as est?o em como eles s?o processados e nos tipos de pergunta e consulta que eles podem ajudar a responder.

• Processamento em lote geralmente é usado com grandes quantidades de dados históricos armazenados para informar estratégias de longo prazo ou responder a perguntas importantes. Pense em quantidades gigantescas de dados com análise profunda e complexa.
• Dados de transmiss?o é menos sobre responder a grandes perguntas e mais sobre obter informa??es imediatas e em tempo real dinamicamente; por exemplo, para manter a precis?o de um processo de manufatura. Esse tipo geralmente é usado com grandes quantidade de dados que se movem em um ritmo acelerado. Pense em quantidades gigantescas de dados em alta velocidade com análise menos complexa, mas extremamente rápida.

Saiba mais sobre a diferen?a entre Big Data e dados tradicionais.

O Big Data descreve de fato todos os dados modernos e n?o estruturados coletados hoje e como eles s?o usados para inteligência e insights em profundidade. Normalmente, as fontes incluem:

• A Internet das coisas e os dados de bilh?es de dispositivos e sensores
• Dados de log gerados por máquina usados para análise de log
• Software, plataformas e aplicativos corporativos
• Seres humanos: mídia social, transa??es, cliques online, prontuários médicos, consumo de recursos naturais, etc.
• Dados de pesquisa da comunidade científica e outras organiza??es

Diferentes tipos de dados exigem diferentes tipos de armazenamento. Esse é o caso com dados estruturados e n?o estruturados, que exigem diferentes tipos de banco de dados, processamento, armazenamento e análise.

Dados estruturados s?o dados tradicionais que se encaixam perfeitamente em tabelas. Os dados estruturados muitas vezes s?o facilmente categorizados e formatados em entradas de valores padr?o, como pre?os, datas, horas, etc.

Dados n?o estruturados s?o dados modernos que n?o s?o t?o simples ou fáceis de colocar em uma tabela. Os dados n?o estruturados normalmente s?o sin?nimo de Big Data nos dias hoje e far?o parte dos 80% dos dados estimados nos próximos anos. Eles englobam todos os dados gerados por mídia social, IoT, criadores de conteúdo, vigil?ncia e muito mais. Podem incluir textos, imagens, sons e vídeos. S?o a for?a motriz por trás das novas categorias de armazenamento, como o armazenamento unificado e rápido de arquivos e objetos (UFFO, Unified Fast File and Object) do FlashBlade?. Para usar dados n?o estruturados, as empresas precisam de mais armazenamento, mais potência de processamento e melhor consolida??o de diversos tipos de dados.

Saiba mais sobre dados estruturados x dados n?o estruturados.

O ciclo de vida do Big Data pode incluir as seguintes etapas, entre outras:

1. Os dados s?o extraídos e coletados. Os dados podem ter a origem em várias fontes, incluindo sistemas de planejamento de recursos corporativos, sensores IoT, software, como aplicativos de marketing ou de ponto de venda, dados de streaming via APIs e muito mais. A saída desses dados irá variar, o que torna a entrada uma próxima etapa importante. Por exemplo, os dados originados no mercado de a??es ser?o totalmente diferentes dos dados do log de sistemas internos.
2. Os dados s?o ingeridos. Os fluxos de troca-transforma??o-carregamento (ETL, Exchange-Transform-Load) colocam os dados no formato certo. N?o importa se o destino é um banco de dados SQL ou uma ferramenta de virtualiza??o, os dados precisam ser transformados em um formato que a ferramenta possa entender. Por exemplo, os nomes podem estar em formatos inconsistentes. Nessa fase, os dados est?o prontos para análise.
3. Os dados s?o carregados no armazenamento para processamento. Em seguida, os dados s?o armazenados em algum lugar, seja em um data warehouse baseado em nuvem, seja em um armazenamento local. Isso pode acontecer de diferentes maneiras, que será determinada pelo modo de carregamento dos dados: em lotes ou por transmiss?o baseada em evento que ocorre o dia todo, por exemplo. (Observa??o: essa etapa pode acontecer antes da etapa de transforma??o, dependendo das necessidades dos negócios.)
   
   Saiba mais: O que é um data warehouse?
   
   
4. Os dados s?o consultados e analisados. As ferramentas modernas de computa??o baseada em nuvem, processamento e armazenamento est?o sofrendo um grande impacto na evolu??o do ciclo de vida do Big Data. (Observa??o: determinadas ferramentas modernas, como o Amazon Redshift, podem ignorar os processos de ETL e permitir que você consulte os dados com muito mais rapidez.)?
5. Os dados s?o arquivados. ?s vezes, eles s?o armazenados por longo período em armazenamento de dados inativos ou s?o mantidos “ao alcance” em um armazenamento mais acessível; o fato é que os dados que s?o pontuais e já cumpriram sua miss?o v?o parar no armazenamento. Se o acesso imediato n?o for mais necessário, o armazenamento de dados inativos é um meio financeiramente acessível e compacto de guardar dados, principalmente se for para atender aos requisitos de conformidade ou informar a tomada de decis?o estratégica de longo prazo. Ele também reduz os impactos sobre o desempenho quando é preciso manter petabytes de dados inativos em um servidor que também hospeda dados ativos.

Há muitos usos interessantes e eficazes para o Big Data. Seu valor está na inova??o dos negócios que os insights do Big Data podem ajudar a impulsionar. As metas e aplica??es para o Big Data muitas vezes incluem:

• Insights em tempo real e inteligência din?mica da análise dos dados de streaming para acionar alertas e identificar anomalias
• Análise preditiva
• Business intelligence
• Aprendizado de máquina
• Análise de risco para ajudar a evitar fraudes e viola??es de dados e reduzir riscos à seguran?a
• Inteligência artificial, incluindo reconhecimento de imagem, processamento de linguagem natural e redes neurais
• Aprimoramento da experiência do usuário e intera??es do cliente por meio de mecanismos de recomenda??o e suporte preditivo
• Redu??o de custo e ineficiências em processos (internos, na manufatura, etc.)
• Marketing e comunica??o orientados por dados, com análise de milh?es de pontos de dados de mídia social, consumidor e propaganda digital criados em tempo real

Veja mais casos de uso e aplica??es do Big Data específicos do setor.

O Big Data tem demandas exclusivas, principalmente em termos de armazenamento de dados. Ele quase sempre é gravado em um banco de dados (como é o caso dos dados de streaming em tempo real) e, frequentemente, contém uma enorme variedade de formatos. Consequentemente, o Big Data muitas vezes é mais bem armazenado em ambientes sem esquemas (n?o estruturados) para serem iniciados em um sistema de arquivos distribuídos, de modo que o processamento possa acontecer paralelamente nos conjuntos de dados massivos. Isso o torna uma excelente op??o para uma plataforma de armazenamento n?o estruturado que pode unificar dados de objetos e arquivos.

Saiba mais sobre a diferen?a entre um data hub e um data lake.

A ascens?o da Internet das coisas (IoT, Internet of Things) gerou um aumento no volume dos dados que devem ser gerenciados em todas as frotas de dispositivos distribuídos.?

Em vez de aguardar que os dados IoT sejam transferidos e processados remotamente em um local centralizado, como o datacenter, a computa??o de borda é uma topologia de computa??o distribuída onde as informa??es s?o processadas localmente na “borda”: a interse??o entre pessoas e dispositivos onde os novos dados s?o criados.?

Além de poupar dinheiro e largura de banda das empresas, a computa??o de borda também permite que elas desenvolvam aplicativos mais eficientes e em tempo real que proporcionam uma experiência do usuário superior a seus clientes. Essa tendência só vai acelerar nos próximos anos com o lan?amento de novas tecnologias sem fio, como a 5G.

Quanto mais dispositivos forem conectados à Internet, maior será o volume de dados que devem ser processados em tempo real e na borda. Sendo assim, como você fornece armazenamento de dados que seja distribuído e ágil o suficiente para atender às crescentes demandas de armazenamento de dados da computa??o de borda? Resposta rápida: armazenamento de dados nativo de contêiner.?

Quando nos atentamos às plataformas de borda que já existem, como AWS Snowball, Microsoft Azure Stack e Google Anthos, vemos que todas elas se baseiam em Kubernetes, uma plataforma popular de orquestra??o de contêineres. O Kubernetes permite que esses ambientes executem cargas de trabalho para entrada de dados, armazenamento, processamento, análise e aprendizado de máquina na borda.?

Um cluster Kubernetes de vários nós em execu??o na borda precisa de um eficiente que satisfa?a às necessidades específicas das cargas de trabalho centradas em dados. Em outras palavras, os aplicativos em contêineres em execu??o na borda exigem gerenciamento de armazenamento granular de contêiner. Portworx? é uma plataforma de servi?os de dados que fornece uma malha stateful para gerenciamento de volumes de dados que reconhecem o SLA do contêiner.

Saiba mais sobre a rela??o entre o Big Data e a IoT.

Veja os benefícios de hospedar o Big Data em arrays totalmente flash:

• Velocidades mais altas (55 a 180 IOPS para HDDs contra 3 mil a 40 mil IOPS com SSDs)
• Paralelismo em massa com mais de 64 mil filas para opera??es de E/S
• Confiabilidade e desempenho do NVMe

O volume, a variedade e a velocidade relativos do Big Data est?o em constante mudan?a. Se você precisa lidar com grandes quantidades de dados com velocidade, invista em tecnologias de armazenamento mais recentes. Os avan?os da memória flash permitem fornecer solu??es personalizadas de armazenamento totalmente flash para todas as camadas de dados. Veja como a Pure pode ajudar a melhorar o fluxo de análise de Big Data:

• Todos os benefícios dos arrays totalmente flash
• Consolida??o em um data hub unificado e de alto desempenho que pode lidar com transmiss?o de dados com alta taxa de transferência e de uma variedade de fontes
• Upgrades n?o disruptivos do programa Evergreen? Storage sem tempo de inatividade nem migra??o de dados
• Um sistema de gerenciamento de dados simplificado que combina a economia da nuvem com a eficiência e o controle locais

Armazenamento flash com expans?o horizontal rápido e eficiente com o FlashBlade