É«¿Ø´«Ã½

Datenvorverarbeitung f¨¹r maschinelles Lernen (ML) bezieht sich auf die Vorbereitung und Transformation von Rohdaten in ein Format, das f¨¹r das Training von ML-Modellen geeignet ist. Dies ist ein wesentlicher Schritt in einer ML- (oder AI da es sich direkt auf die Performance und Genauigkeit der Modelle auswirkt.

Die Datenvorverarbeitung umfasst mehrere Techniken wie das Bereinigen der Daten, um fehlende Werte zu verarbeiten, das Entfernen von Ausrei?ern, das Skalieren von Funktionen, das Codieren kategorischer Variablen und das Aufteilen der Daten in Trainings- und Tests?tze. Diese Techniken sind entscheidend, um sicherzustellen, dass die Daten in einem konsistenten und nutzbaren Format f¨¹r die ML-Algorithmen vorliegen.

Dieser Artikel behandelt alles, was Sie ¨¹ber die Datenvorverarbeitung f¨¹r maschinelles Lernen wissen m¨¹ssen, einschlie?lich dessen, was es ist, seiner Vorteile, Schritte und Beispiele.?

Was ist Datenvorverarbeitung??

Datenvorverarbeitung ist die Transformation von Rohdaten in ein Format, das f¨¹r Analysen und Modellschulungen besser geeignet und sinnvoller ist. Die Datenvorverarbeitung spielt eine wichtige Rolle bei der Verbesserung der Qualit?t und Effizienz von ML-Modellen, indem sie Probleme wie fehlende Werte, St?rungen, Inkonsistenzen und Ausrei?er in den Daten angeht.

Vorteile der Datenvorverarbeitung f¨¹r maschinelles Lernen

Datenvorverarbeitung f¨¹r maschinelles Lernen hat viele Vorteile, und diese Vorteile sind dieselben wie die Schritte, die bei der Datenvorverarbeitung erforderlich sind. Werfen wir einen Blick darauf.?

1. Datenreinigung

Datenreinigung ist ein wesentlicher Bestandteil der Datenvorverarbeitungspipeline beim maschinellen Lernen. Dabei werden Fehler oder Inkonsistenzen im Datensatz identifiziert und korrigiert, um sicherzustellen, dass die Daten von hoher Qualit?t sind und f¨¹r Analysen oder Modellschulungen geeignet sind.?

Datenreinigung umfasst in der Regel:

Umgang mit fehlenden Werten

Fehlende Werte sind ein h?ufiges Problem in realen Datens?tzen und k?nnen die Performance von ML-Modellen beeintr?chtigen. So identifizieren und bew?ltigen Sie fehlende Werte:

• Verwenden Sie beschreibende Statistiken oder Visualisierungen, um Spalten/Funktionen mit fehlenden Werten zu identifizieren. H?ufige Indikatoren f¨¹r fehlende Werte sind NaN- (keine Zahl) oder NULL-Werte.
• Bestimmen Sie die Auswirkungen fehlender Werte auf Ihre Analyse oder Ihr Modell. Ber¨¹cksichtigen Sie den Prozentsatz fehlender Werte in jeder Spalte und ihre Bedeutung f¨¹r den gesamten Datensatz.
• Wenn der Prozentsatz der fehlenden Werte gering ist und diese Zeilen oder Spalten nicht kritisch sind, k?nnen Sie sie mithilfe von Methoden wie dropna() in Pandas oder ?hnlichen Funktionen in anderen Tools entfernen.
• Bei numerischen Merkmalen k?nnen Sie fehlende Werte mit Techniken wie Mittelwert, Median oder Modusimputation (Fillna()-Methode in Pandas) imputieren. F¨¹r kategorische Funktionen k?nnen Sie mit der h?ufigsten Kategorie imputieren.

Sie k?nnen auch erweiterte Imputationsmethoden wie Regressionsimputation, k-n?chste Nachbarimputation oder die Verwendung von ML-Modellen zur Vorhersage fehlender Werte basierend auf anderen Funktionen in Betracht ziehen.

Umgang mit Ausrei?ern

Ausrei?er sind Datenpunkte, die sich erheblich von anderen Beobachtungen im Datensatz unterscheiden und statistische Analysen oder maschinelle Lernmodelle verzerren k?nnen.?

So erkennen und handhaben Sie Ausrei?er:

• Verwenden Sie Box-Plots, Histogramme oder Streudiagramme, um die Verteilung numerischer Merkmale zu visualisieren und potenzielle Ausrei?er visuell zu identifizieren.
• Berechnen Sie zusammenfassende Statistiken wie Mittelwert, Standardabweichung, Quartile und Interquartilbereich (IQR). Ausrei?er werden oft als Datenpunkte definiert, die unter Q1 ¨C 1,5 * IQR oder ¨¹ber Q3 + 1,5 * IQR fallen.
• In einigen F?llen kann das Entfernen von Ausrei?ern angemessen sein, insbesondere wenn sie auf Dateneingabefehler oder Anomalien zur¨¹ckzuf¨¹hren sind. Verwenden Sie Filtertechniken basierend auf statistischen Schwellenwerten, um Ausrei?er zu entfernen.
• Wenden Sie Transformationen wie Protokolltransformation, Quadratwurzeltransformation oder Box-Cox-Transformation an, um die Daten normal zu verteilen und die Auswirkungen von Ausrei?ern zu reduzieren.
• Erw?gen Sie die Verwendung robuster Modelle f¨¹r maschinelles Lernen, die weniger empfindlich auf Ausrei?er reagieren, z. B. Support-Vektormaschinen (SVM), zuf?llige Forsten oder Ensemble-Methoden.

Umgang mit Duplikaten

Doppelte Datens?tze k?nnen die Analyse und das Modelltraining verzerren, indem sie bestimmte Muster oder Verzerrungen aufbl?hen.?

So erkennen und bearbeiten Sie Duplikate:

• Verwenden Sie Funktionen wie duplicated() in Pandas, um doppelte Zeilen basierend auf bestimmten Spalten oder der gesamten Zeile zu identifizieren.
• Wenn doppelte Datens?tze redundant sind und keine zus?tzlichen Informationen enthalten, k?nnen Sie sie mit der Funktion drop_duplicates() in Pandas oder ?hnlichen Methoden in anderen Tools entfernen.
• In einigen F?llen k?nnen Duplikate aufgrund mehrerer Eintr?ge auftreten, aber eindeutige Kennungen haben. Stellen Sie sicher, dass Sie eindeutige Kennungen oder Schl¨¹sselspalten aufbewahren, die zwischen doppelten Datens?tzen unterscheiden.

Wenn Sie diese Schritte befolgen und geeignete Techniken anwenden, k?nnen Sie Ihre Daten f¨¹r Aufgaben des maschinellen Lernens effektiv bereinigen und vorverarbeiten und so die Qualit?t und Zuverl?ssigkeit der Vorhersagen Ihrer Modelle verbessern.

2. Datennormalisierung

Normalisierung ist eine Datenvorverarbeitungstechnik, die zum Skalieren und Standardisierung der Werte von Merkmalen innerhalb eines Datensatzes verwendet wird. Das Hauptziel der Normalisierung besteht darin, alle Merkmalswerte in einen ?hnlichen Bereich zu bringen, ohne die Unterschiede in den Wertebereichen zu verzerren. Dies ist wichtig, da viele Algorithmen f¨¹r maschinelles Lernen besser funktionieren oder schneller konvergieren, wenn die Eingabefunktionen in einem ?hnlichen Umfang sind und eine ?hnliche Verteilung aufweisen.

Zu den Vorteilen der Normalisierung geh?ren:

• Verhindert, dass Funktionen mit gro?en Skalierungen w?hrend des Modelltrainings diejenigen mit kleineren Skalierungen dominieren.?
• Algorithmen wie Gradientenabf?lle konvergieren schneller, wenn Funktionen normalisiert werden, was zu schnelleren Trainingszeiten f¨¹hrt.?
• Reduzierung der Auswirkungen von Ausrei?ern, indem alle Werte in einen begrenzten Bereich gebracht werden. Normalisierte Daten k?nnen ¨¹ber verschiedene Funktionen hinweg einfacher zu interpretieren und zu vergleichen sein.

Normalisierungstechniken

Min-Max-Skalierung?

• Formel:Xnorm =Xmax ?Xmin /Xmax ?Xmin
• Bereich: Verwandelt Werte in einen Bereich zwischen 0 und 1.

?

Beispiel:

Z-Score-Normalisierung (Standardisierung):

• Formel: Xstd =¦ÒX/¦Ì
• Bereich: Verwandelt Werte in einen Mittelwert von 0 und eine Standardabweichung von 1.

?

Beispiel:

Richtlinien f¨¹r die Anwendung der Normalisierung

Min-Max-Skalierung: Die Min-Max-Skalierung eignet sich f¨¹r Algorithmen, bei denen Eingabefunktionen innerhalb eines bestimmten Bereichs liegen m¨¹ssen, z. B. neuronale Netzwerke und unterst¨¹tzende Vektormaschinen. Stellen Sie sicher, dass Ausrei?er angemessen gehandhabt werden, da sie die Skalierung beeintr?chtigen k?nnen.

Normalisierung des Z-Scores: Dies eignet sich f¨¹r Algorithmen wie k-Means-Clustering, lineare Regression und logistische Regression. Dies f¨¹hrt zu einer Verteilung, die um 0 mit einer Standardabweichung von 1 zentriert ist, was sie ideal f¨¹r Algorithmen macht, die normal verteilte Daten annehmen.

Sparse-Daten: F¨¹r sp?rliche Datens?tze (wobei die meisten Werte null sind) sollten Sie Techniken wie MaxAbsScaler oder RobustScaler f¨¹r die Normalisierung in Betracht ziehen.

Kategorische Daten: Bei kategorischen Funktionen sollten Sie vor der Normalisierung Techniken wie One-Hot-Codierung in Betracht ziehen, um eine sinnvolle Skalierung sicherzustellen.

Es ist wichtig zu beachten, dass die Wahl der Normalisierungstechnik von den spezifischen Eigenschaften Ihrer Daten und den Anforderungen des von Ihnen geplanten maschinellen Lernalgorithmus abh?ngt. Experimente und das Verst?ndnis der Auswirkungen auf die Modell-Performance sind wichtige Aspekte bei der effektiven Anwendung der Normalisierung.

3. Funktionsskalierung

Die Funktionsskalierung ist eine Datenvorverarbeitungstechnik, die verwendet wird, um den Bereich unabh?ngiger Variablen oder Funktionen eines Datensatzes zu standardisieren. Das Ziel der Funktionsskalierung ist es, alle Funktionen in eine ?hnliche Gr??enordnung oder einen ?hnlichen Bereich zu bringen, um zu vermeiden, dass eine Funktion w?hrend des Modelltrainings oder der Modellanalyse gegen¨¹ber anderen dominiert. Die Funktionsskalierung kann die Konvergenzgeschwindigkeit von Optimierungsalgorithmen verbessern und verhindern, dass bestimmte Funktionen ¨¹berm??igen Einfluss auf das Modell haben.

Die Rolle der Funktionsskalierung bei der Datenvorverarbeitung

Die Skalierungsfunktionen stellen sicher, dass ML-Algorithmen alle Funktionen gleich behandeln und so Verzerrungen gegen¨¹ber Funktionen mit gr??eren Skalierungen verhindern. Es verbessert auch Konvergenzen, da viele Optimierungsalgorithmen (z. B. Gradientenabstieg) schneller konvergieren, wenn Funktionen skaliert werden, was zu einem schnelleren Modelltraining f¨¹hrt. Es kann auch numerische Instabilit?tsprobleme verhindern, die aufgrund gro?er Unterschiede in den Funktionsgr??en auftreten k?nnen. Und schlie?lich kann die Skalierung die Interpretation der Auswirkungen von Funktionen auf die Vorhersagen des Modells erleichtern.

Skalierungsmethoden f¨¹r Funktionen

Neben der oben beschriebenen Min-Max-Skalierung und der Normalisierung des Z-Scores gibt es auch:

MaxAbsScaler: Dadurch wird jedes Merkmal nach seinem maximalen absoluten Wert skaliert, sodass die resultierenden Werte zwischen -1 und 1 liegen. Es eignet sich f¨¹r sp?rliche Daten, bei denen es wichtig ist, null Eintr?ge zu speichern, z. B. in Textklassifizierungs- oder Empfehlungssystemen.

RobustScaler: Hierbei werden Statistiken verwendet, die f¨¹r Ausrei?er wie den Median und den Interquartilbereich (IQR) robust sind, um Funktionen zu skalieren. Es eignet sich f¨¹r Datens?tze, die Ausrei?er oder verzerrte Verteilungen enthalten.

Richtlinien f¨¹r die Anwendung von Funktionsskalierung

So wenden Sie die Funktionsskalierung an:

• Wenden Sie Standardisierung (Z-Score-Normalisierung) an, wenn die Daten einer normalen Verteilung folgen oder wenn Sie Algorithmen wie lineare Regression, logistische Regression oder K-Means-Clustering verwenden.
• Wenden Sie Normalisierung (Min-Max-Skalierung) an, wenn Sie m?chten, dass die Daten innerhalb eines bestimmten Bereichs liegen, z. B. neuronale Netzwerke oder unterst¨¹tzende Vektormaschinen.
• Verwenden Sie MaxAbsScaler, wenn Sie mit sp?rlichen Daten wie Textdaten oder hochdimensionalen sp?rlichen Funktionen umgehen.
• Verwenden Sie RobustScaler beim Umgang mit Datens?tzen, die Ausrei?er oder nicht normal verteilte Funktionen enthalten.

Denken Sie daran, dass kategorische Funktionen m?glicherweise eine Codierung (z. B. One-Hot-Codierung) erfordern, bevor Sie die Funktionsskalierung anwenden, insbesondere wenn sie nominal sind (ungeordnete Kategorien).

4. Umgang mit kategorischen Daten

Kategorische Variablen stellen Gruppen oder Kategorien dar und sind oft nicht-numerischer Natur, was w?hrend des Modelltrainings Herausforderungen mit sich bringt, darunter:

• Nichtnumerische Darstellung: Kategorische Variablen werden in der Regel durch Zeichenfolgen oder Bezeichnungen dargestellt, die die meisten Algorithmen f¨¹r maschinelles Lernen nicht direkt verarbeiten k?nnen. Algorithmen erfordern numerische Eingaben f¨¹r Training und Vorhersagen.
• Ordinale vs. nominale Variablen: Kategorische Variablen k?nnen entweder ordinal (mit einer sinnvollen Reihenfolge) oder nominal (ohne eine bestimmte Reihenfolge) sein. Die Behandlung von Ordinalvariablen als nominal oder umgekehrt kann zu falschen Modellinterpretationen oder verzerrten Vorhersagen f¨¹hren.
• Fluch der Dimensionalit?t: Eine One-Hot-Codierung, eine g?ngige Technik f¨¹r den Umgang mit kategorischen Daten, kann zu einer Zunahme der Dimensionalit?t des Datensatzes f¨¹hren, insbesondere bei einer Vielzahl von eindeutigen Kategorien. Dies kann die Modell-Performance beeintr?chtigen und die Rechenkomplexit?t erh?hen.

Techniken zum Codieren kategorischer Variablen

Zu den Techniken zum Codieren kategorischer Variablen geh?ren:

Kennzeichnungscodierung: Die Kennzeichnungscodierung weist jeder Kategorie in einer kategorischen Variable eine eindeutige numerische Kennzeichnung zu. Es eignet sich f¨¹r ordinale Variablen, bei denen es eine sinnvolle Reihenfolge zwischen den Kategorien gibt.

Hier ist ein Beispiel f¨¹r Pythons wissenschaftliches Wissen:

von sklearn.preprocessing import LabelEncoder

le = LabelEncoder()

coded_labels = le.fit_transform(['cat', 'dog', 'kanbit', 'dog'])

Einmalige Codierung: One-Hot-Codierung erstellt bin?re Spalten f¨¹r jede Kategorie in einer kategorischen Variable, wobei jede Spalte das Vorhandensein oder Nichtvorhandensein dieser Kategorie angibt. Es eignet sich f¨¹r nominale Variablen ohne eine bestimmte Reihenfolge zwischen den Kategorien.

Hier ist ein Beispiel f¨¹r Pandas:

Pandas als PD importieren

df = pd.DataFrame({'category': ['A', 'B', 'C', 'A']})

one_hot_encoded = pd.get_dummies(df['category'], prefix='category')

Dummy-Codierung: Die Dummy-Codierung ?hnelt der One-Hot-Codierung, l?sst jedoch eine der bin?ren Spalten fallen, um Multikollinearit?tsprobleme in linearen Modellen zu vermeiden. Sie wird h?ufig in Regressionsmodellen verwendet, bei denen eine Kategorie als Referenzkategorie dient.

Hier ist ein Beispiel f¨¹r Pandas:

dummy_encoded = pd.get_dummies(df['category'], prefix='category', drop_first=True)

Richtlinien f¨¹r den Umgang mit kategorischen Daten

Um kategorische Daten korrekt zu verarbeiten, sollten Sie:

Variable Typen verstehen: Bestimmen Sie, ob kategorische Variablen ordinal oder nominal sind, um die geeignete Codierungstechnik auszuw?hlen.

Vermeiden Sie ordinale Fehlinterpretationen: Seien Sie vorsichtig, wenn Sie die Kennzeichnungscodierung f¨¹r nominale Variablen verwenden, da dies zu unbeabsichtigter Ordinalit?t in den Daten f¨¹hren kann.

Umgang mit hoher Kardinalit?t: Bei kategorischen Variablen mit einer Vielzahl von eindeutigen Kategorien sollten Techniken wie Frequenzcodierung, Zielcodierung oder Dimensionalit?tsreduktionstechniken wie PCA ber¨¹cksichtigt werden.

Dies alles ist zus?tzlich zu der bereits erw?hnten Handhabung fehlender Werte und der Normalisierung numerischer Daten.?

5. Umgang mit unausgewogenen Daten

Der Umgang mit unausgeglichenen Daten ist eine h?ufige Herausforderung beim maschinellen Lernen, insbesondere bei Klassifizierungsaufgaben, bei denen die Anzahl der Instanzen in einer Klasse (Minderheitsklasse) deutlich geringer ist als in den anderen Klassen (Mehrheitsklassen). Unausgewogene Daten k?nnen einen tiefgreifenden Einfluss auf das Modelltraining und die Bewertung haben, was zu voreingenommenen Modellen f¨¹hrt, die die Mehrheitsklasse bevorzugen und in Minderheitsklassen schlecht abschneiden.?

Hier sind einige wichtige Punkte in Bezug auf unausgewogene Daten und Techniken f¨¹r deren Handhabung:

Auswirkungen unausgewogener Daten auf die Modell-Performance

Modelle, die auf unausgewogenen Daten trainiert werden, neigen dazu, die Genauigkeit in der Mehrheitsklasse zu priorisieren und dabei die Minderheitsklasse zu vernachl?ssigen. Dies kann zu einer schlechten Performance bei den Vorhersagen der Minderheitsklasse f¨¹hren. Au?erdem k?nnen Metriken wie Genauigkeit in unausgewogenen Datens?tzen irref¨¹hrend sein, da eine hohe Genauigkeit dadurch entstehen kann, dass die Mehrheitsklasse richtig vorhergesagt und die Minderheitsklasse ignoriert wird. Bewertungskennzahlen wie Pr?zision, Erinnerung, F1-score und Fl?che unter der ROC-Kurve (AUC-ROC) sind f¨¹r unausgewogene Datens?tze aussagekr?ftiger als f¨¹r die Genauigkeit allein.

Techniken f¨¹r den Umgang mit unausgewogenen Daten

Die h?ufigsten Techniken f¨¹r den Umgang mit unausgewogenen Daten sind ?ber- und Unterbemusterung. Bei einer ?berbemusterung wird die Anzahl der Instanzen in der Minderheitsklasse erh?ht, um sie mit der Mehrheitsklasse in Einklang zu bringen. Unterbemusterung umfasst die Reduzierung der Anzahl der Instanzen in der Mehrheitsklasse, um sie mit der Minderheitsklasse in Einklang zu bringen. Sie k?nnen auch einen hybriden Ansatz verfolgen, indem Sie ?ber- und Unterbemusterung kombinieren.

Es gibt auch eine Klassengewichtung, bei der Sie die Klassengewichtungen w?hrend des Modelltrainings anpassen, um Fehler in der Minderheitsklasse mehr als Fehler in der Mehrheitsklasse zu bestrafen. Dies ist nur f¨¹r Algorithmen n¨¹tzlich, die Klassengewichtung unterst¨¹tzen, wie z. B. logistische Regression oder Vektormaschinen.

Richtlinien f¨¹r den Umgang mit unausgewogenen Daten

Um mit unausgewogenen Daten umzugehen, sollten Sie:

Datenverteilung verstehen: Analysieren Sie die Klassenverteilung in Ihrem Datensatz, um den Schweregrad des Ungleichgewichts zu bestimmen.

W?hlen Sie die geeignete Technik aus: W?hlen Sie die ?berproben-, Unterproben- oder Hybridtechnik basierend auf Ihrer Datensatzgr??e, Ihrem Ungleichgewichtsverh?ltnis und Ihren Rechenressourcen aus.

Metriken bewerten: Verwenden Sie geeignete Bewertungskennzahlen wie Pr?zision, R¨¹ckruf, F1-score oder AUC-ROC-Kurve, um die Modellleistung in beiden Klassen zu bewerten.

Kreuzvalidieren: Wenden Sie Techniken in validierungs¨¹bergreifenden Faltungen an, um Datenlecks zu vermeiden und zuverl?ssige Sch?tzungen der Modell-Performance zu erhalten.

Fazit

Die Datenvorverarbeitung tr?gt dazu bei, sicherzustellen, dass ML-Modelle auf qualitativ hochwertige, ordnungsgem?? formatierte Daten trainiert werden, was sich direkt auf die Performance, Genauigkeit und Verallgemeinerungsf?higkeit des Modells auswirkt. Durch die Behebung von Problemen wie fehlenden Werten, Ausrei?ern, kategorischen Variablen und Klassenungleichgewicht erm?glicht die Datenvorverarbeitung Modellen, fundiertere und genauere Vorhersagen zu treffen, was zu einer besseren Entscheidungsfindung in realen Anwendungen f¨¹hrt.

Mit der richtigen Datenvorverarbeitung k?nnen ML-Praktiker das volle Potenzial ihrer Daten aussch?pfen und genauere und zuverl?ssigere Vorhersagemodelle f¨¹r verschiedene Anwendungen in verschiedenen Dom?nen erstellen.

Um dies jedoch in der Praxis wirklich zu erreichen, ben?tigen Sie zun?chst eine flexible Daten-Storage-L?sung wie É«¿Ø´«Ã½, die Ihnen hilft, AI und maschinelles Lernen zu beschleunigen und Ihre KIAIInitiativen in Unternehmen voranzubringen.