色控传媒

O que é um data warehouse?

Um data warehouse é um sistema otimizado de armazenamento de dados estruturados desenvolvido para realizar as consultas SQL de alta velocidade necessárias para oferecer business intelligence (BI) na hora certa. Desde o processamento de transa??es de alta velocidade até análise preditiva, os data warehouses têm um histórico de décadas como o armazenamento padr?o usado pelas empresas para potencializar o BI.

Os benefícios dos data warehouses

Os benefícios dos data warehouses incluem:

• consolida??o de dados estruturados de diversas fontes;?
• consultas analíticas rápidas de bancos de dados relacionais;
• uma solu??o de armazenamento dedicada para consultas mais econ?micas e relatórios mais rápidos.

Como os data warehouses funcionam

A complexidade da logística necessária para coletar de dados de diferentes partes da empresa para extrair informa??es úteis pode aumentar conforme sua empresa cresce. Os data warehouses podem oferecer à sua empresa uma forma confiável de consolidar essas informa??es em um só banco de dados, além de um modelo de dados que permita? aos analistas executar as consultas de que precisam.?

Veja como funciona:

1. Extrair (Extract): coletar dados brutos de diferentes fontes em uma empresa (por exemplo, ERP, CRM, vendas, marketing) para bancos de dados intermediários.
   
2. Transformar (Transform): dados da camada intermediária s?o transferidos para uma camada de integra??o, em que os dados s?o combinados e transformados em um Armazenamento de Dados Operacionais (ODS, Operational Data Store).
   
3. Carregar (Load): os dados s?o migrados da camada de integra??o para um data warehouse definindo o esquema que seus analistas querem usar para suas consultas SQL antes de gravá-las em um banco de dados relacional (esquema na grava??o).?

O banco de dados com que você interage em um data warehouse é relacional, o que significa que os dados s?o estruturados: s?o armazenados em tabelas com colunas e linhas. Essas tabelas s?o organizadas por um esquema que foi definido? durante a grava??o.?

Quando a etapa de transforma??o é tratada por um ODS externo para o data warehouse, ela é denominada processo de extra??o, transforma??o e carga (ETL, Extract, Transform, Load). Quando o data warehouse lida com as transforma??es internamente, o processo é de extra??o, carga e transforma??o (ELT, Extract, Load, Transform). Seja com ETL, ou com ELT, os data warehouses exigem dados estruturados e esquema na grava??o para trabalhar com bancos de dados relacionais.

Para que s?o usados data warehouses?

Aplica??es comuns de data warehouses incluem:

• Processamento de transa??es online (OLTP, Online Transaction Processing): um data warehouse pode ser otimizado para integridade dos dados e consultas rápidas para lidar com um volume alto de transa??es breves de dados. Um exemplo s?o transa??es que ocorrem em uma plataforma de negocia??o em alta frequência.?
• Processamento Analítico Online (OLAP): você pode otimizar um data warehouse para realizar consultas complexas mais rápidas para um volume relativamente menor de transa??es. Basicamente, é isso que um analista usa para gerar relatórios de BI.
• Análise preditiva: um sistema de OLAP pode ser otimizado para prever eventos e gerar cenários hipotéticos para sua empresa, normalmente com a ajuda de algoritmos de aprendizado de máquina.

Como os data warehouses s?o de esquema na grava??o, é importante saber quais tipos de consultas você quer realizar antes de adicionar o esquema ao data warehouse. Para gerenciar a complexidade de diferentes fontes de dados, um data warehouse pode ser segmentado em data marts para dedicar recursos de hardware e software a fun??es de negócios específicas, como CRM.

Data warehouse x Data lake x Data hub

Embora estes três conceitos possam parecer intercambiáveis, é importante entender as diferen?as:

• Data warehouse: um único repositório para integrar e armazenar dados estruturados extraídos de várias fontes de dados n?o estruturados em toda a sua empresa;
• Data lake: um único repositório n?o refinado de todas as fontes de dados brutos estruturados e n?o estruturados de uma empresa (incluindo data warehouses). Os dados ainda devem ser processados para extrair insights de BI;?
• Data hub: uma única interface que consolida todos os dados (estruturados e n?o estruturados) em uma camada de dados central acessível. ? diferente de um data warehouse porque consegue lidar com dados operacionais, e é diferente de um data lake porque consegue apresentar dados em vários formatos.?

Os data hubs oferecem a governan?a de dados necessária para simplificar o compartilhamento de dados entre um conjunto diversificado de pontos de extremidade. Dessa forma, os data hubs consolidam data lakes e data warehouses em uma só camada de acesso. O processamento de dados é abstraído por um data hub, dando à sua empresa um local centralizado para a extra??o de insights de BI.

Por que escolher a 色控传媒 para suas necessidades de data warehouse?

Se precisar adicionar um novo fluxo de OLAP e OLTP à sua infraestrutura atual de data warehouse, talvez seja a hora de considerar o investimento em uma Modern Data Experience? com as solu??es de armazenamento totalmente flash da 色控传媒.?

Como o primeiro data hub do setor, o ?FlashBlade?? da 色控传媒? n?o apenas lida com cargas de trabalho de análise e relatórios de um data warehouse, mas também oferece as qualidades essenciais de um data hub:

• compartilhamento de dados integrado em todos os seus pontos de extremidade de dados;
• armazenamento unificado de arquivos e objetos;
• capacidade de lidar com dados operacionais em tempo real;
• arquitetado de forma nativa para expandir horizontalmente;
• desenvolvido para oferecer desempenho multidimensional para qualquer tipo de dado;
• extremamente paralelo do software ao hardware.