É«¿Ø´«Ã½

3 Big-Data-Herausforderungen (und wie man sie ¨¹berwindet)

Big Data hat viele Eigenschaften: Es ist unstrukturiert, dynamisch und komplex. Aber was vielleicht das Wichtigste ist: Big Data ist gro?. Menschen und IoT-Sensoren produzieren jedes Jahr Billionen von Gigabytes an Daten. Aber das sind keine Daten von gestern, sondern moderne Daten in immer mehr unterschiedlichen Formaten und aus immer mehr unterschiedlichen Quellen.?

Dies verursacht eine Kluft zwischen den Daten von heute und den Systemen von gestern. Die schiere Gr??e und der Umfang sowie die Geschwindigkeit und die Komplexit?t der Daten stellen herk?mmliche Daten-Storage-Systeme vor eine neue Herausforderung. Viele sind schlichtweg schlecht ausger¨¹stet, und Organisationen, die diese Goldgrube an Daten nutzen wollen, sto?en auf Blockaden.?

Warum passiert das? Was sind die wichtigsten Herausforderungen im Zusammenhang mit Big Data, die Sie kennen sollten? Wenn Sie das Potenzial von Big Data nutzen wollen, werden Ihre Storage-L?sungen ausreichen, um sie zu bew?ltigen?

1.?Big Data ist zu gro? f¨¹r herk?mmlichen Storage

Die vielleicht offensichtlichste Herausforderung im Zusammenhang mit Big Data ist der enorme Umfang dieser Daten. ?blicherweise wird dieser in Petabyte gemessen (das sind 1.024 Terabyte oder 1.048.576 Gigabyte).

Um Ihnen eine Vorstellung davon zu geben, wie gro? Big Data werden kann, hier ein Beispiel:??laden mindestens 14,58 Millionen Fotos pro Stunde hoch. Zu jedem Foto werden Interaktionen, wie Likes und Kommentare, gespeichert. Nutzer haben mindestens eine Billion Beitr?ge, Kommentare und andere Datenpunkte ?gelikt¡°.?

Aber es sind nicht nur Tech-Giganten wie Facebook, die riesige Datenmengen speichern und auswerten. Selbst ein kleines Unternehmen, das einen Teil der Informationen aus sozialen Medien auswertet, um beispielsweise zu sehen, was Leute ¨¹ber seine Marke sagen, ben?tigt eine leistungsstarke Daten-Storage-Architektur.

Herk?mmliche Daten-Storage-Systeme sind theoretisch in der Lage, gro?e Datenmengen zu verarbeiten. Doch wenn es darum geht, die ben?tigte Effizienz und die ben?tigten Einblicke zu liefern, k?nnen viele von ihnen einfach nicht mit den Anforderungen moderner Daten mithalten.

Das Problem mit relationalen Datenbanken

Relationale SQL-Datenbanken sind zuverl?ssige, altbew?hrte Methoden zum Speichern, Lesen und Schreiben von Daten. Diesen Datenbanken f?llt es jedoch schwer, effizient zu arbeiten, selbst wenn sie ihre maximale Kapazit?t noch nicht erreicht haben. Eine relationale Datenbank, die gro?e Datenmengen enth?lt, kann aus vielen Gr¨¹nden langsam werden. So muss zum Beispiel jedes Mal, wenn Sie einen Datensatz in eine relationale Datenbank einf¨¹gen, der Index aktualisiert werden. Dieser Vorgang dauert umso l?nger, je gr??er die Anzahl der Datens?tze ist. Das Einf¨¹gen, Aktualisieren, L?schen und Ausf¨¹hren anderer Vorg?nge kann je nach der Anzahl der Beziehungen zu anderen Tabellen l?nger dauern.?

Einfach ausgedr¨¹ckt: Je mehr Daten sich in einer relationalen Datenbank befinden, desto l?nger dauert jeder Vorgang.

Scale-up versus Scale-out

Es ist auch m?glich, herk?mmliche Daten-Storage-Systeme zu skalieren, um die Performance zu verbessern. Da herk?mmliche Daten-Storage-Systeme jedoch zentralisiert sind, sind Sie gezwungen, aufw?rts zu skalieren (Scale-up) statt horizontal (Scale-out).

Das Scale-up ist weniger ressourceneffizient als das Scale-out, da Sie neue Systeme hinzuf¨¹gen, Daten migrieren und dann die Last auf mehrere Systeme verteilen m¨¹ssen. Herk?mmliche Daten-Storage-Architekturen werden schnell zu umfangreich und unhandlich, um richtig verwaltet werden zu k?nnen.

Der Versuch, eine herk?mmliche Storage-Architektur f¨¹r Big Data zu verwenden, ist zum Teil deshalb zum Scheitern verurteilt, weil die Menge der Daten ein ausreichendes Scale-up unrealistisch macht. Dadurch wird das Scale-out zur einzig realistischen Option. Bei einer verteilten Storage-Architektur k?nnen Sie neue Knoten zu einem Cluster hinzuf¨¹gen, sobald Sie eine bestimmte Kapazit?t erreicht haben ¨C und zwar im Grunde unbegrenzt.

2.?Big Data ist zu komplex f¨¹r herk?mmlichen Storage

Was ist eine weitere gro?e Herausforderung f¨¹r herk?mmliche Storage-Systeme im Hinblick auf Big Data? Die Komplexit?t von Datenarten. Herk?mmliche Daten sind ?strukturiert¡°. Sie k?nnen sie in Tabellen mit Zeilen und Spalten organisieren, die in einem eindeutigen Verh?ltnis zueinander stehen.

Eine relationale Datenbank ¨C die Art von Datenbank, in der herk?mmliche Daten gespeichert werden ¨C besteht aus Datens?tzen mit klar definierten Feldern. Auf diese Art von Datenbank k?nnen Sie ¨¹ber ein relationales Datenbankmanagementsystem (RDBMS) wie MySQL, Oracle DB oder SQL Server zugreifen.

Eine relationale Datenbank kann relativ gro? und komplex sein: Sie kann aus mehreren tausend Zeilen und Spalten bestehen. Entscheidend ist jedoch, dass Sie bei einer relationalen Datenbank auf ein Datenelement unter Bezugnahme auf seine Beziehung zu einem anderen Datenelement zugreifen k?nnen.

Big Data passt nicht immer in die relationalen Zeilen und Spalten eines herk?mmlichen Daten-Storage-Systems. Sie sind weitgehend unstrukturiert, bestehen aus unz?hligen Dateitypen und enthalten oft Bilder, Videos, Audiodateien und Inhalte aus sozialen Medien. Aus diesem Grund sind herk?mmliche Storage-L?sungen f¨¹r die Arbeit mit Big Data ungeeignet: Sie k?nnen sie nicht richtig kategorisieren.

Moderne containerisierte Anwendungen stellen auch neue Anforderungen an den Storage. Kubernetes-Anwendungen sind zum Beispiel komplexer als herk?mmliche Anwendungen. Diese Anwendungen k?nnen viele Teile enthalten, zum Beispiel Pods, Volumes und ConfigMaps, und m¨¹ssen h?ufig aktualisiert werden. Herk?mmlicher Storage kann die notwendige Funktionalit?t f¨¹r das effektive Ausf¨¹hren von Kubernetes nicht bereitstellen.

Die Verwendung einer nicht-relationalen Datenbank (NoSQL) wie MongoDB, Cassandra oder Redis kann es Ihnen erm?glichen, wertvolle Einblicke in komplexe und vielf?ltige unstrukturierte Datens?tze zu erhalten.

3.?Big Data ist zu schnell f¨¹r herk?mmlichen Storage

Herk?mmliche Daten-Storage-Systeme dienen der dauerhaften Datenaufbewahrung. Sie k?nnen regelm??ig weitere Daten hinzuf¨¹gen und dann eine Analyse des neuen Datensatzes durchf¨¹hren. Big Data w?chst jedoch fast augenblicklich, und Analysen m¨¹ssen oft in Echtzeit erfolgen. Ein RDBMS ist nicht f¨¹r schnelle Fluktuationen ausgelegt.

Nehmen wir als Beispiel Sensordaten. IoT-Ger?te m¨¹ssen gro?e Mengen an Sensordaten mit minimaler Latenzzeit verarbeiten. Sensoren ¨¹bermitteln Daten aus der ?realen Welt¡° in nahezu konstanter Geschwindigkeit. Herk?mmliche Storage-Systeme haben Schwierigkeiten, Daten zu speichern und zu analysieren, die in einer solchen Geschwindigkeit anfallen.

Oder nehmen wir ein anderes Beispiel: Cybersicherheit IT-Abteilungen m¨¹ssen jedes Datenpaket, das durch die Firewall eines Unternehmens gelangt, daraufhin ¨¹berpr¨¹fen, ob es verd?chtigen Code enth?lt. Jeden Tag k?nnen viele Gigabyte durch das Netz flie?en. Um nicht Opfer von Cyberkriminalit?t zu werden, muss die Analyse sofort erfolgen; alle Daten bis zum Ende des Tages in einer Tabelle zu speichern, ist keine Option.

Die hohe Geschwindigkeit von Big Data ¨¹berlastet herk?mmliche Storage-Systeme, was ein Grund f¨¹r das Scheitern von Projekten oder einen nicht realisierten ROI sein kann.

4. Die Herausforderungen durch Big Data erfordern moderne Storage-L?sungen

Herk?mmliche Storage-Architekturen sind f¨¹r die Arbeit mit strukturierten Daten geeignet. Was allerdings die riesigen, komplexen und schnellen unstrukturierten Big Data angeht, m¨¹ssen Unternehmen alternative L?sungen finden, um die gew¨¹nschten Ergebnisse zu erzielen.

Verteilte, skalierbare, nicht-relationale Storage-Systeme k?nnen gro?e Mengen an komplexen Daten in Echtzeit verarbeiten. Dieser Ansatz kann Organisationen dabei helfen, die Herausforderungen von Big Data zu meistern und bahnbrechende Erkenntnisse zu gewinnen.

Wenn Ihre Storage-Architektur mit den Anforderungen Ihres Unternehmens nicht mehr Schritt halten kann ¨C oder wenn Sie sich den Wettbewerbsvorteil eines datenbasierten Unternehmens verschaffen m?chten ¨C kann ein Upgrade auf eine moderne Storage-L?sung, die das Potenzial von Big Data nutzbar machen kann, sinnvoll sein.?

Pure bietet eine Reihe von einfachen, zuverl?ssigen STaaS-L?sungen (Storage-as-a-Service), die f¨¹r jede Betriebsgr??e skalierbar sind und sich f¨¹r alle Anwendungsf?lle eignen.?Erfahren Sie mehr oder starten Sie noch heute durch.