É«¿Ø´«Ã½

Las empresas actuales recogen grandes cantidades de datos de diversas fuentes y a menudo deben analizarse en tiempo real. Los macrodatos se refieren a los datos que son demasiado grandes, demasiado r¨¢pidos o demasiado complejos de procesar usando las t¨¦cnicas tradicionales. Pero tambi¨¦n incluye numerosas tecnolog¨ªas y estrategias que los macrodatos est¨¢n haciendo posibles, como los campos generadores de inteligencia, como los an¨¢lisis predictivos, el Internet de las cosas, la inteligencia artificial y m¨¢s.

de que se espera que el mercado global de macrodatos alcance los 156 000 millones de d¨®lares en 2026 ¡ªy las empresas tienen muchas buenas razones para incorporarse¡ª. Aqu¨ª puede ver qu¨¦ son los macrodatos, de d¨®nde proceden, para qu¨¦ pueden usarse y c¨®mo las empresas pueden preparar sus infraestructuras de TI para el ¨¦xito de los macrodatos.

Si bien el concepto de macrodatos existe desde hace mucho tiempo, el analista del sector Doug Laney fue el primero en acu?ar las tres V de los macrodatos en 2001. Las tres V son:

• Volumen: La cantidad de datos que hay que procesar (normalmente muchos ¡ªgigabytes, exabytes o m¨¢s)
• Variedad: Los diversos tipos de datos, tanto estructurados como no estructurados, que se transmiten desde muchas fuentes diferentes.
• Velocidad: La velocidad a la que los nuevos datos se transmiten a su sistema

Algunos expertos en datos ampl¨ªan la definici¨®n a cuatro, cinco o m¨¢s Vs. La cuarta y la quinta V son:

• Veracidad: La calidad de los datos con respecto a su precisi¨®n y fiabilidad.
• Valor: El valor que proporcionan los datos: ?qu¨¦ valor tiene para su empresa?

Si bien la lista puede llegar hasta los , estos cinco son los que se utilizan con m¨¢s frecuencia para definir los macrodatos.

Tambi¨¦n hay dos tipos diferentes de macrodatos, que difieren en c¨®mo se procesan y qu¨¦ preguntas y consultas se utilizan para responder.

• El procesamiento por lotes suele usarse con grandes cantidades de datos hist¨®ricos almacenados para fundamentar estrategias a largo plazo o responder a grandes preguntas. Piense: enormes cantidades de datos con an¨¢lisis complejos y profundos.
• La transmisi¨®n de datos consiste menos en responder a grandes preguntas que en obtener informaci¨®n inmediata y en tiempo real sobre la marcha, como mantener la precisi¨®n de un proceso de fabricaci¨®n. Normalmente se usa con grandes cantidades de datos que se mueven a un ritmo r¨¢pido. Piense en enormes cantidades de datos de alta velocidad con un an¨¢lisis menos complejo pero extremadamente r¨¢pido.

Obtenga m¨¢s informaci¨®n sobre la diferencia entre los macrodatos y los datos tradicionales.

Los macrodatos est¨¢n pensados para describir todos los datos modernos y no estructurados que se recogen actualmente y c¨®mo se utilizan para la inteligencia y la informaci¨®n en profundidad. Estas fuentes suelen incluir:

• El Internet de las cosas y los datos de miles de millones de dispositivos y sensores
• Datos de registro generados por m¨¢quinas utilizados para an¨¢lisis de registros
• Software, plataformas y aplicaciones empresariales
• Los seres humanos: redes sociales, transacciones, clics en l¨ªnea, historias cl¨ªnicas, consumo de recursos naturales, etc.
• Datos de investigaci¨®n de la comunidad cient¨ªfica y de otras organizaciones

Los diferentes tipos de datos requieren diferentes tipos de almacenamiento. Este es el caso de los datos estructurados y no estructurados, que requieren diferentes tipos de bases de datos, procesamiento, almacenamiento y an¨¢lisis.

Los datos estructurados son datos tradicionales que pueden caber perfectamente en las tablas. Los datos estructurados suelen categorizarse y formatearse f¨¢cilmente en entradas con valores est¨¢ndar como precios, fechas, horas, etc.

Los datos no estructurados son datos modernos que no son tan sencillos o f¨¢ciles de introducir en una tabla. Los datos no estructurados a menudo son sin¨®nimos de macrodatos actualmente y representar¨¢n aproximadamente el 80% de los datos en los pr¨®ximos a?os. Incluye todos los datos generados por las redes sociales, IoT, los creadores de contenido, la vigilancia y m¨¢s. Puede incluir texto, im¨¢genes, sonido y v¨ªdeo. Es el motor que impulsa las nuevas categor¨ªas de almacenamiento, como los archivos y objetos r¨¢pidos y unificados (UFFO) de FlashBlade?. Para utilizar los datos no estructurados, las empresas necesitan m¨¢s almacenamiento, m¨¢s potencia de procesamiento y una mejor consolidaci¨®n de numerosos tipos de datos.

Obtenga m¨¢s informaci¨®n sobre los datos estructurados frente a los datos no estructurados.

El ciclo de vida de los macrodatos puede incluir, entre otros, los siguientes:

1. Los datos se extraen y recogen . Los datos pueden proceder de diversas fuentes, incluidos los sistemas de planificaci¨®n de recursos empresariales, los sensores de IoT, el software como las aplicaciones de marketing o de punto de venta, la transmisi¨®n de datos a trav¨¦s de API y m¨¢s. El resultado de estos datos variar¨¢, lo que hace que la ingesti¨®n sea un paso importante. Por ejemplo, los datos procedentes del mercado burs¨¢til ser¨¢n muy diferentes de los datos de registro de los sistemas internos.
2. Los datos se ingieren . Las canalizaciones de carga de intercambio-transformaci¨®n (ETL) transforman los datos en el formato adecuado. Tanto si se dirige a una base de datos SQL como a una herramienta de visualizaci¨®n de datos, los datos tienen que transformarse en un formato que la herramienta pueda entender. Por ejemplo, los nombres pueden tener formatos incoherentes, en este punto, todos los datos est¨¢n configurados para el an¨¢lisis.
3. Los datos se cargan en el almacenamiento para su procesamiento . Luego, los datos se almacenan en alg¨²n lugar, ya sea en un almac¨¦n de datos basado en la nube o en un almacenamiento local. Esto puede ocurrir de diferentes maneras, dependiendo de si los datos se cargan en lotes o si la transmisi¨®n basada en eventos se produce las 24 horas del d¨ªa. (Nota: este paso puede producirse antes del paso de transformaci¨®n, en funci¨®n de las necesidades de la empresa).
   
   M¨¢s informaci¨®n: ?Qu¨¦ es un almac¨¦n de datos?
   
   
4. Los datos se consultan y analizan . Las herramientas modernas de computaci¨®n, procesamiento y almacenamiento basadas en la nube est¨¢n teniendo un gran impacto en la evoluci¨®n del ciclo de vida de los macrodatos. (Nota: Ciertas herramientas modernas como Amazon Redshift pueden saltarse los procesos ETL y permitirle consultar los datos mucho m¨¢s r¨¢pidamente).?
5. Los datos se archivan . Tanto si se almacena a largo plazo en el almacenamiento fr¨ªo como si se mantiene ¡°caliente¡± en un almacenamiento m¨¢s accesible, los datos urgentes que han cumplido su prop¨®sito se almacenar¨¢n. Si ya no se necesita un acceso inmediato, el almacenamiento en fr¨ªo es una manera asequible y eficiente del espacio de almacenar los datos, sobre todo si es para cumplir los requisitos de cumplimiento o para fundamentar la toma de decisiones estrat¨¦gicas a largo plazo. Esto tambi¨¦n reduce los impactos en el rendimiento de mantener petabytes de datos fr¨ªos en un servidor que tambi¨¦n contiene datos calientes.

Hay muchos usos emocionantes y efectivos de los macrodatos. Su valor radica en los avances empresariales que la informaci¨®n sobre macrodatos puede ayudar a impulsar. Los objetivos y las aplicaciones de los macrodatos suelen incluir:

• Informaci¨®n e inteligencia en tiempo real sobre la marcha, a partir del an¨¢lisis de los datos de streaming, para activar alertas e identificar anomal¨ªas.
• La anal¨ªtica predictiva
• Inteligencia empresarial
• Aprendizaje autom¨¢tico (Machine Learning)
• An¨¢lisis de riesgos para ayudar a prevenir el fraude y las vulneraciones de datos y reducir los riesgos para la seguridad.
• La inteligencia artificial, incluido el reconocimiento de im¨¢genes, el procesamiento del lenguaje natural y las redes neuronales.
• Mejorar la experiencia del usuario y las interacciones con los clientes mediante motores de recomendaci¨®n y soporte predictivo.
• Reducir los costes y las ineficiencias en los procesos (internos, de fabricaci¨®n, etc.).
• Marketing y comunicaciones basados en datos, con an¨¢lisis de millones de puntos de datos de redes sociales, consumidores y publicidad digital creados en tiempo real.

Vea m¨¢s casos de uso y aplicaciones de macrodatos espec¨ªficos del sector.

Los macrodatos tienen unas exigencias ¨²nicas, sobre todo en lo que se refiere al almacenamiento de datos. Se escribe casi constantemente en una base de datos (como es el caso de los datos de transmisi¨®n en tiempo real) y a menudo contiene una gran variedad de formatos. Como resultado, los macrodatos suelen almacenarse mejor en entornos sin esquema (no estructurados) para empezar en un sistema de archivos distribuido, de manera que el procesamiento pueda realizarse en paralelo en conjuntos de datos masivos. Esto hace que sea una gran opci¨®n para una plataforma de almacenamiento no estructurado que puede unificar los datos de archivos y objetos.

Obtenga m¨¢s informaci¨®n sobre la diferencia entre un concentrador de datos y un lago de datos.

El auge del Internet de las cosas (IoT) ha provocado un aumento del volumen de datos que deben gestionarse en flotas de dispositivos distribuidos.?

En lugar de esperar a que los datos del IoT se transfieran y procesen de manera remota en una ubicaci¨®n centralizada, como un centro de datos, la computaci¨®n perimetral es una topolog¨ªa inform¨¢tica distribuida en la que la informaci¨®n se procesa localmente en el ¡°borde¡±: la intersecci¨®n entre las personas y los dispositivos en los que se crean nuevos datos.?

La computaci¨®n perimetral no solo ahorra dinero y ancho de banda a las empresas, sino que tambi¨¦n les permite desarrollar aplicaciones m¨¢s eficientes y en tiempo real que ofrecen una experiencia de usuario superior a sus clientes. Esta tendencia solo se acelerar¨¢ en los pr¨®ximos a?os con el despliegue de nuevas tecnolog¨ªas inal¨¢mbricas como el 5G.

A medida que cada vez hay m¨¢s dispositivos conectados a Internet, la cantidad de datos que deben procesarse en tiempo real y en el borde va a aumentar. Entonces, ?c¨®mo proporciona un almacenamiento de datos distribuido y lo suficientemente ¨¢gil para satisfacer las crecientes demandas de almacenamiento de datos de la computaci¨®n perimetral? La respuesta corta es el almacenamiento de datos nativo de contenedores.?

Cuando nos fijamos en las plataformas perimetrales existentes, como AWS Snowball, Microsoft Azure Stack y Google Anthos, vemos que todas se basan en Kubernetes , una plataforma de orquestaci¨®n de contenedores popular. Kubernetes permite que estos entornos ejecuten cargas de trabajo para la ingesti¨®n, el almacenamiento, el procesamiento, los an¨¢lisis y el aprendizaje autom¨¢tico de datos en el borde.?

Un cl¨²ster de Kubernetes multinodo que se ejecuta en el borde necesita un que satisfaga las necesidades espec¨ªficas de las cargas de trabajo centradas en datos. En otras palabras, las aplicaciones contenedorizadas que se ejecutan en el borde requieren una gesti¨®n del almacenamiento granular de contenedores. Portworx ? es una plataforma de servicios de datos que proporciona una estructura con estado para gestionar vol¨²menes de datos que son conscientes de los contenedores-SLA.

Obtenga m¨¢s informaci¨®n sobre la relaci¨®n entre los macrodatos y IoT.

Las ventajas de alojar macrodatos en cabinas totalmente flash incluyen:

• Velocidades m¨¢s altas (55-180 IOPS para HDD frente a 3K-40K IOPS con SSD)
• Paralelismo masivo con m¨¢s de 64 000 colas para las operaciones de E/S.
• Rendimiento y fiabilidad NVMe

El volumen, la variedad y la velocidad relativos de los macrodatos cambian constantemente. Si quiere que sus datos se mantengan grandes y r¨¢pidos, querr¨¢ asegurarse de que invierte constantemente en las ¨²ltimas tecnolog¨ªas de almacenamiento. Los avances en la memoria flash han permitido proporcionar soluciones de almacenamiento totalmente flash personalizadas para todos sus niveles de datos. As¨ª es como Pure puede ayudarle a impulsar su pipeline de an¨¢lisis de macrodatos:

• Todas las ventajas de las cabinas totalmente flash
• La consolidaci¨®n en un hub de datos unificado y eficiente, que puede gestionar el elevado caudal de datos procedente de una gran variedad de fuentes.
• Actualizaciones del programa Evergreen ? realmente no disruptivas, sin interrupciones y sin migraciones de datos.
• Un sistema de gesti¨®n de datos simplificado, que combina las ventajas econ¨®micas de la nube con el control y la eficiencia de los sistemas locales.

Almacenamiento flash escalable horizontalmente r¨¢pido y eficiente con FlashBlade