É«¿Ø´«Ã½

Unter dem Management unstrukturierter Daten ist das Erfassen, Speichern, Pflegen, ?berwachen und Verarbeiten von Daten zu verstehen, die nicht vordefiniert wurden und sich nicht einfach in Datenbanktabellen wie etwa in einer Excel-Tabelle speichern lassen.?

Was sind unstrukturierte Daten genau?

Die meisten Daten von heute?¨C Experten sch?tzen etwa 90?% der Unternehmensdaten?¨C sind unstrukturiert. Das bedeutet, dass sie keinem herk?mmlichen Datenmodell oder -schema wie etwa dem einer relationalen Datenbank (man denke an die strukturierten Spalten und Zeilen einer Excel-Tabelle) entsprechen.?

Unstrukturierte Daten k?nnen durch menschliche Aktivit?ten oder durch Maschinen generiert werden. Beispiele hierf¨¹r sind Text in Word-Dokumenten, E-Mail-Inhalte, Bild- und Videodateien, Inhalte aus sozialen Medien, PowerPoint-Pr?sentationen, Satellitenbilder, Datenprotokolle von Mobiltelefonen und Gespr?chsaufzeichnungen usw.?

Unstrukturierte versus strukturierte Daten

Strukturierte Daten k?nnen in sch?nen Tabellen ¨¹bersichtlich angeordnet werden. Sie waren bislang wesentlich einfacher zu verwalten als unstrukturierte Daten. Beispiele hierf¨¹r sind Informationen wie Kundendateien, Bestandslisten, Buchhaltungsdaten und Reisereservierungen.?

Unstrukturierte Daten unterscheiden sich von strukturierten Daten, wie bereits erw?hnt, durch ihr Format, aber auch durch die Art und Weise, wie sie verwendet werden. Unstrukturierte Daten sind eher qualitative als quantitative Daten. Sie stellen eher Ideen, Gedanken und Gef¨¹hle als einfache relationale Zahlen und Werte dar.

Unstrukturierte Daten sind zwar schwieriger zu verwalten als strukturierte Daten, aber sie enthalten jede Menge wertvolle Informationen. Stellen Sie sich vor, Sie k?nnten unstrukturierte Daten analysieren und die Tageszeiten ermitteln, zu denen sich Kunden am besten in Einkaufszentren locken lassen, oder Sie k?nnen Verkehrsdaten und Wetterdaten in Echtzeit zusammen analysieren und so herausfinden, wie, wann und warum es im Stadtverkehr zu Staus kommt. Oder wie w?re es, wenn Sie anhand von Inhalten aus sozialen Medien feststellen k?nnten, wie Ihre Kunden auf eine k¨¹rzlich erfolgte Produkteinf¨¹hrung reagieren oder wie sich der Ruf Ihrer Marke aufgrund eines Produktr¨¹ckrufs ver?ndert? Das alles ist mit unstrukturierten Daten m?glich.?

Unstrukturierte Daten und Big-Data-Analysen

Unstrukturierte Daten sind die h?ufigste Art von Daten, die Unternehmen heute analysieren m?chten. Wie in den obigen Beispielen lassen sich durch die Analyse unstrukturierter Daten mithilfe von Datenanalysesystemen mit au?ergew?hnlicher Rechenleistung sowie KI- und ML-Funktionen unglaubliche Erkenntnisse gewinnen, die kein Mensch so schnell?¨C wenn ¨¹berhaupt?¨C entdecken k?nnte. Datenanalyseanwendungen k?nnen mehrere Str?me unverbundener Daten (wie Verkaufszahlen f¨¹r das vergangene Jahr, Wetterdaten, Aktivit?ten in sozialen Medien, aktuelle Neuigkeiten, Veranstaltungen und vieles mehr) analysieren, sodass Muster und Korrelationen deutlich werden, die bislang nicht zu erkennen waren. Wenn Unternehmen diese Muster kennen, k?nnen sie nach effizienteren M?glichkeiten suchen, wie sie das Serviceerlebnis f¨¹r Kunden anpassen, bessere und effizientere Services bereitstellen, neue Einnahmequellen erschlie?en, schneller auf Kunden und Markttrends und neue Anforderungen reagieren k?nnen und vieles mehr.

Analyse- und Management-Tools und Datenbanken f¨¹r unstrukturierte Daten

Unstrukturierte Daten sind im Vergleich zu strukturierten Daten zwar schwieriger zu speichern, zu verwalten, zu analysieren und zu verarbeiten, doch gibt es inzwischen zahlreiche Tools und Anwendungen, die Unternehmen beim Management ihrer unstrukturierten Daten und der Gewinnung des darin verborgenen Wertes unterst¨¹tzen. Im Folgenden werden die Tools zum Analysieren und Verwalten von Daten sowie die Datenbanken beschrieben, die den Umgang mit unstrukturierten Daten vereinfachen.?

G?ngige Tools zur Analyse von Daten

Die besten Datenanalysetools f¨¹r unstrukturierte Daten enthalten in der Regel Funktionen f¨¹r KI und maschinelles Lernen. Au?erdem verf¨¹gen sie h?ufig ¨¹ber Funktionen f¨¹r die Verarbeitung nat¨¹rlicher Sprache (Natural Language Processing, NLP), mit denen unstrukturierte Daten ohne ein herk?mmlich definiertes Format analysiert werden k?nnen. Mit diesen Tools k?nnen Inhalte aus E-Mails, sozialen Medien, Kundensupportaufzeichnungen und vielem mehr analysiert werden, sodass der Kontext und die Bedeutung der Daten verstanden werden kann. Dar¨¹ber hinaus gibt es Funktionen f¨¹r Text Mining, forensische Analyse von Inhalten, Urheberschaftsanalyse und Stilometrie.

Zu den g?ngigsten Tools f¨¹r die Analyse unstrukturierter Daten geh?ren Folgende:?

• MongoDB Charts: Stellt zuverl?ssige Visualisierungen f¨¹r Einblicke in Echtzeit und Embedded Analytics bereit.
• Power BI von Microsoft: Sorgt dank Datenintegration und zuverl?ssigen Visualisierungen f¨¹r gr??eren Erkenntnisgewinn.
• Apache Hadoop: Enth?lt ein Toolset, das die Analyse komplexer Datens?tze erleichtert.
• Apache Spark: Erm?glicht eine schnelle Verarbeitung bei Echtzeitanalysen.
• Tableau: Stellt leistungsstarke Visualisierungen bereit und ist auch f¨¹r technisch nicht versierte Benutzer geeignet.
• MonkeyLearn: Ist ein umfassendes Universal-Tool f¨¹r die Visualisierung und Datenanalyse.
• RapidMiner: Stellt eine solide Plattform zum Erstellen von pr?diktiven Datenmodellen bereit.
• KNIME: Ist ein Open-Source-Angebot, das umfassende Anpassungen zul?sst.

G?ngige Datenbanken f¨¹r unstrukturierte Daten

Wie bereits erw?hnt, entsprechen unstrukturierte Daten nicht dem Format der herk?mmlichen relationalen Datenbanken, bei denen in der Regel SQL (Structured Query Language) verwendet wird. Daher verwenden die meisten Unternehmen f¨¹r unstrukturierte Daten NoSQL-Datenbanken. NoSQL steht f¨¹r ?Not only SQL¡° (nicht nur SQL) und bezieht sich auf eine nicht relationale Datenbank. Bei NoSQL werden die Daten nicht wie bei relationalen Datenbanken in einzelne Tabellen aufgeteilt, d.?h., die Daten liegen nicht tabellarisch vor. Dabei wird zwischen vier verschiedenen Arten von NoSQL-Datenbanken unterschieden: dokumentbasierte Datenbanken, Schl¨¹ssel-Wert-Datenbanken, spaltenorientierte Datenbanken und Graphdatenbanken.?

Zu den wichtigsten NoSQL-Datenbanken zum Speichern von unstrukturierten Daten geh?ren folgende:?

• MongoDB: Hierbei handelt es sich um die am h?ufigsten verwendete Dokumentendatenbank, bei der alle gespeicherten Daten in einer Ansicht bereitgestellt werden.
• Apache Cassandra: Hierbei handelt es sich um ein verteiltes, spaltenbasiertes Open-Source-Datenbanksystem, das extrem skalierbar und schnell ist.
• ElasticSearch: Da mit diesem verteilten Open-Source-NoSQL-Datenbanksystem enorme Datenmengen gespeichert und durchsucht werden k?nnen und dabei eine unscharfe Suche nach Fuzzy-Matches verwendet wird (d.?h. Ergebnisse zur¨¹ckgegeben werden, die einem Suchbegriff in etwa entsprechen), ist dieses System ideal f¨¹r die Volltextsuche geeignet.
• Amazon DynamoDB: Mit diesem hoch skalierbaren, auf Schl¨¹ssel-Wert-Paaren basierenden verteilten Datenbanksystem k?nnen problemlos 10?Billionen Anfragen pro Tag verarbeitet werden.
• Apache HBase: Ein weiteres extrem skalierbares, verteiltes Open-Source-Datenbanksystem, mit dem riesige Datenmengen (mindestens im Petabyte-Bereich) verarbeitet werden k?nnen und das wahlfreien Zugriff auf Daten in Echtzeit erm?glicht.
• Neo4j: Diese graphbasierte Datenbank eignet sich f¨¹r Big-Data-Analyseanwendungen und ist h?ufig die Datenbank der Wahl f¨¹r Anwendungsf?lle wie Wissensgraphen, Netzwerkmanagement, Betrugserkennung, Personalisierung und vieles mehr.
• Redis: Dieser Open-Source-In-Memory-Datenspeicher kann als Cache, Message Broker und Datenbank mit schneller Performance verwendet werden.
• OrientDB: Dieses Open-Source-Projekt vereint Dokumente und Graphen in einer einzigen Datenbank und steht f¨¹r schnelle Lese- und Schreibvorg?nge.

G?ngige Tools f¨¹r die Verwaltung von unstrukturierten Daten

Bei der Wahl der besten Tools f¨¹r die Verwaltung von unstrukturierten Daten gibt es einige Dinge zu beachten. Die Tools m¨¹ssen Sie bei folgenden Aufgaben unterst¨¹tzen:

• Speichern und Strukturieren von Daten und deren Zug?nglichkeit und Durchsuchbarkeit: Cloud-Anbieter wie AWS oder Microsoft Azure stellen skalierbaren Storage f¨¹r unstrukturierte Daten in Form einer Datenbank, eines Data Warehouse oder eines Data Lake bereit. Unternehmen w?hlen zum Speichern von hochsensiblen unstrukturierten Daten bisweilen eine lokale Storage-L?sung.
• Bereinigen von unstrukturierten Daten: Dies ist ein wichtiger Schritt, bei dem es darum geht, die Datenstruktur zu vereinheitlichen, Datens?tze zu standardisieren, Datenfehler zu korrigieren, Syntaxfehler zu beheben, L¨¹cken in Daten zu erkennen und zu schlie?en und vieles mehr. Hierf¨¹r gibt es unter anderem folgende Tools: OpenRefine, Trifacta Wrangler, WinPure, TIBCO Clarity, Melissa Clean Suite und Data Ladder.
• Visualisieren von unstrukturierten Daten: als eine Methode zur grafischen Darstellung von Informationen, bei der Muster und Trends in Daten hervorgehoben werden und mit der Leser schnelle Erkenntnisse gewinnen k?nnen. Da dies Teil der Datenanalyse ist, k?nnen viele der bereits erw?hnten Analysetools f¨¹r die Visualisierung von Daten verwendet werden. Weitere Beispiele sind L?sungen wie Microsoft Power BI, Looker, Domo, Klipfolio und Qlik Sense.??

Management von strukturierten und unstrukturierten Daten?¨C ein Vergleich

Inwiefern sich strukturierte Daten von unstrukturierten Daten allgemein unterscheiden, wurde bereits erl?utert. Im Folgenden wird nun beschrieben, inwiefern sich das Management von strukturierten und unstrukturierten Daten unterscheidet.?

Strukturierte Daten haben den Vorteil, dass sie von Anwendungen f¨¹r maschinelles Lernen leicht analysiert werden k?nnen. Da sie strukturiert vorliegen, lassen sie sich einfach bearbeiten und abfragen. Der Umgang mit strukturierten Daten stellt auch f¨¹r Personen, die keine Datenwissenschaftler sind, keine besondere Herausforderung dar. Zudem gibt es inzwischen viele ausgereifte, umfangreich getestete L?sungen f¨¹r die Analyse, Suche und Verarbeitung dieser Daten.?

Strukturierte Daten sind zwar f¨¹r relationale Datenbanken gut geeignet, aber ihre Einrichtung kann kompliziert sein, und aufgrund der strukturierten Konfiguration der Daten kann sich eine sp?tere ?nderung schwierig gestalten. Da sie einer vordefinierten Struktur entsprechen, k?nnen sie in der Regel nur f¨¹r den urspr¨¹nglich vorgesehenen Zweck verwendet werden. Au?erdem werden strukturierte Daten in der Regel in Data Warehouses gespeichert, die starr und umfassend definiert sind. Daher ist es sehr zeit- und arbeitsaufwendig, wenn diese strukturierten Daten in einem Unternehmen anders genutzt werden sollen.?

Unstrukturierte Daten werden dagegen nicht in einem vordefinierten Format gespeichert. Da sie in ihrem urspr¨¹nglichen Format gespeichert werden, k?nnen sie sehr flexibel f¨¹r eine Vielzahl von Anwendungsf?llen und Anforderungen genutzt werden. Und da sie nicht vordefiniert sind, lassen sich unstrukturierte Daten in der Regel schnell und einfach erfassen. Meist werden sie nicht in Data Warehouses, sondern in Data Lakes gespeichert, die hoch skalierbar sind und gro?e Datenmengen aufnehmen k?nnen.?

Unstrukturierte Daten haben jedoch den Nachteil, dass sie im Allgemeinen komplizierter und komplexer aufzubereiten und zu analysieren sind. Unstrukturierte Daten erfordern geschulte Datenwissenschaftler, die wissen, wie die Daten bereinigt und genutzt werden?¨C und die auch verstehen, wie verschiedene Datens?tze mit anderen zusammenh?ngen. Zudem werden f¨¹r die Analyse von unstrukturierten Daten spezielle Tools ben?tigt. Die L?sungen sind inzwischen zwar ausgereift, aber immer noch ?j¨¹nger¡° als die Tools f¨¹r die Analyse von strukturierten Daten. Sie sind noch lange nicht so leistungsf?hig, wie es die Branche von der Bearbeitung und Analyse von strukturierten Daten gewohnt ist.

Deshalb ist das Management von unstrukturierten Daten schwieriger

Unstrukturierte Daten sind schwieriger zu verwalten, eben weil sie unstrukturiert sind. Das f¨¹hrt zu einer ganzen Reihe von Problemen, die bereits in den obigen Abschnitten erw?hnt wurden. Es ist schwieriger, unstrukturierte Daten zu strukturieren, zu analysieren, zu verarbeiten, zu speichern und abzurufen. Auch das Abfragen oder Durchsuchen der Daten ist schwieriger als bei strukturierten Daten, da es keine festen oder vordefinierten Formate gibt und die Daten in Form von vielen verschiedenen Datentypen vorliegen.?

Auch die Skalierbarkeit kann bei unstrukturierten Daten ein Problem darstellen, da Unternehmen herk?mmliche Storage-Systeme f¨¹r ein Scale-out mit zus?tzlichen Festplatten oder Storage-Knoten erweitern m¨¹ssen. Ein solches Scale-Out-Modell ist nicht unbegrenzt und kann mit der Zeit recht kostspielig werden.?

Unstrukturierte Daten erfordern einen Storage, der sich effizient und kosteng¨¹nstig skalieren l?sst. Bei vielen Storage-L?sungen f¨¹r unstrukturierte Daten handelt es sich um Objekt-Storage-L?sungen, da Objekte in einem Objekt-Storage detaillierte Metadaten und eine eindeutige ID enthalten, die den Datenzugriff und die Datenabfrage erleichtern. Dar¨¹ber hinaus erfordern unstrukturierte Daten einen flexiblen Storage, sodass eine Vielzahl von Datentypen verwendet werden kann und der Zugriff auf archivierte Daten erleichtert wird.?

Das Management und die Nutzung von unstrukturierten Daten ist zwar in der Regel immer noch schwieriger, aber der zus?tzliche Aufwand lohnt sich. Unstrukturierte Daten sind reich an verborgenen Mustern und Erkenntnissen, die Ihrem Unternehmen neue und innovative M?glichkeiten er?ffnen, um auf dem heutigen, immer h?rter werdenden Markt zu bestehen und erfolgreich zu sein.