Was ist Overfitting und Underfitting beim maschinellen Lernen? [Alles, was Sie lernen müssen]

Maschinelles Lernen ist nicht das am einfachsten zu meisternde Fach. Overfitting und Underfitting sind einige von vielen Begriffen, die in der Community für maschinelles Lernen gebräuchlich sind. Das Verständnis dieser Konzepte legt die Grundlage für Ihr zukünftiges Lernen.

Wir werden diese Konzepte in diesem Artikel ausführlich kennenlernen. Wir besprechen auch die Grundidee dieser Fehler, warum sie auftreten und wie Sie sie beheben können. Außerdem erfahren Sie etwas über Datenmodelle und ihre Beziehung zu diesen Fehlern.

Lassen Sie uns also, ohne um den heißen Brei herumzureden, direkt eintauchen:

Was ist ein Datenmodell?

Bevor wir anfangen zu diskutieren, was Overfitting und Underfitting sind, wollen wir zunächst verstehen, was ein Modell ist. Ein Datenmodell ist ein System zum Treffen von Vorhersagen mit der Eingabe. Man kann sagen, dass ein Modell eine Theorie zur Lösung eines Problems ist. Wenn Sie beispielsweise das Wachstum mehrerer Unternehmen vorhersagen möchten, können Sie deren Gewinne als Eingabe verwenden und Ergebnisse basierend auf der Beziehung zwischen ihren Einnahmen und ihrem Wachstum generieren. Die Ausgabe für dieses Beispiel wäre das prognostizierte Wachstum der Unternehmen.

Der Input ist also der aktuelle Gewinn der Unternehmen, während ihre Wachstumsprognosen der Output sind. Die Beziehung zwischen diesen beiden ist das Modell. Modelle sind notwendig, um Ergebnisse zu generieren.

Das Modell versteht die Beziehung zwischen Eingabe und Ausgabe durch einen Trainingsdatensatz. Wir nennen Inputs Features und Outputs Labels. Vielleicht sehen Sie diese Namen auch im Artikel. Während des Trainings des Modells geben Sie ihm die Merkmale sowie die Bezeichnungen und lassen es die Beziehung zwischen ihnen herausfinden. Sobald es das Training abgeschlossen hat, können Sie das Modell ausprobieren, indem Sie ihm nur eine Reihe von Funktionen geben, deren korrekte Vorhersagen Ihnen zur Verfügung stehen.

Nachdem es seine Vorhersagen generiert hat, würden Sie sie mit den korrekten Vorhersagen vergleichen, die Sie haben, und sehen, wie genau das Modell war. Modelle haben viele Formen.

Datentraining und -test

Sie können Ihrem Datenmodell als Anfänger vielleicht perfekte Eigenschaften verleihen, aber das ist nicht das, was in der realen Welt passiert. Daten in der realen Welt sind voller Rauschen und nutzloser Informationen. Unabhängig von der Quelle Ihrer Daten werden Sie einige Variablen darin finden, die nicht zum Trend passen.

In unserem Beispiel der Wachstumsprognosen von Unternehmen wissen Sie, dass ihr Wachstum nicht ausschließlich von ihren Gewinnen abhängen würde. Es würden viele Faktoren eine Rolle spielen. Während des Trainings Ihres Modells sollten Sie etwas Rauschen hinzufügen, um es realistisch zu machen. Sobald Sie Ihre Daten erstellt haben, müssen Sie sie zum Trainieren und Testen in zwei Sätze aufteilen.

Sie würden die Trainingsdaten verwenden, um dem Modell dabei zu helfen, die Beziehung zwischen Merkmalen und Beschriftungen zu lernen. Und Sie würden die Testdaten verwenden, um seine Leistung zu bewerten.

In der Datenwelt gibt es viele Formen von Modellen. Die Auswahl kann ein wenig entmutigend sein, aber mit ein wenig Übung wird es einfacher. Ein Standardmodell ist eine Polynomregression. Es ist eine Form der linearen Regression, bei der die Eingaben mit einer Vielzahl von Potenzen angehoben werden. Es ist eine Art lineare Regression, aber sie bildet keine gerade Linie. Lesen Sie mehr über die Implementierung der linearen Regression.

Sie definieren ein Polynom durch seine Ordnung. Die Ordnung eines Polynoms ist die höchste Potenz von x in seiner Gleichung. Und die Ordnung des Polynoms zeigt auch seinen Grad an. Zum Beispiel hat eine Geradengleichung 1 Grad.

Bedeutung der Behebung von Overfitting und Underfitting beim maschinellen Lernen

Overfitting und Underfitting treten auf, wenn Sie sich mit dem Polynomgrad Ihres Modells befassen. Wie wir bereits erwähnt haben, hängt der Grad des Polynoms von der höchsten Potenz von x in seiner Gleichung ab. Dieser Wert gibt an, wie flexibel Ihr Modell ist. Wenn Ihr Modell einen hohen Grad hat, hätte es viel mehr Freiheit. Bei einem hohen Grad kann ein Modell viele Datenobjekte abdecken.

Andererseits wäre ein Modell mit weniger als erforderlichen Graden nicht in der Lage, genügend Datenobjekte abzudecken. Beide Situationen können zu verschmutzten Ergebnissen führen, die nicht nützlich sind.

Das frühere Problem von mehr als nötigem Ausmaß war Overfitting. Und das zweite Problem von weniger als dem erforderlichen Grad war die unzureichende Anpassung. Wie Sie sehen können, können sich beide nachteilig auf Ihr Modell auswirken und Ihre Ergebnisse beeinträchtigen.

Wenn Sie diese Probleme nicht behoben haben, liefert Ihr Modell keine genauen Ergebnisse und Sie müssen nutzlose Beschriftungen verwenden.

Nun, da wir ihr Grundkonzept kennen, wollen wir sie im Detail besprechen:

Was ist Overfitting?

Wenn ein maschineller Lernalgorithmus beginnt, Rauschen in den Daten zu registrieren, nennen wir dies Overfitting. Einfacher gesagt, wenn der Algorithmus anfängt, den kleinen Details zu viel Aufmerksamkeit zu schenken. Beim maschinellen Lernen besteht das Ergebnis darin, die wahrscheinliche Ausgabe vorherzusagen, und aufgrund von Überanpassung kann die Genauigkeit stark beeinträchtigt werden. Wir wissen, dass es sich nach einer guten Sache anhört, aber das ist es nicht.

Ein schwerwiegendes Beispiel für Overfitting beim maschinellen Lernen kann ein Diagramm sein, bei dem alle Punkte linear verbunden sind. Wir möchten den Trend erfassen, aber das Diagramm tut dies nicht.

Ein Modell, das keine guten Vorhersagen treffen kann, aber alles Mögliche aus den Daten lernt, ist nutzlos, da es zu ungenauen Ergebnissen führt.

Was tun bei Overfitting?

Wir können dieses Problem beheben, indem wir einfach die Datenmenge verringern, die der Algorithmus verwendet, und das System nicht überlasten. Hohe Varianz (Overfitting) macht die Sache schlimmer als besser. Einige der herkömmlichen Techniken zur Lösung von Overfitting sind wie folgt:

Verringern der Iterationen

Indem wir die Anzahl der Wiederholungen reduzieren, die ausgeführt werden, bevor Overfitting auftritt, können wir es verhindern. Sie können die genaue Anzahl der Iterationen durch die Trial-and-Error-Methode ermitteln.

Regulierung

Es schränkt die Koeffizientenschätzungen ein, die nahe bei 0 liegen. Einfacher ausgedrückt können wir sagen, dass es den Algorithmus anweist, ein milderes Modell anstelle eines starren zu verwenden. Erfahre mehr über Regularisierung und wie du Overfitting vermeidest.

Beschneiden (Standard)

Der einfachste und gebräuchlichste Weg, um Overfitting zu vermeiden, ist Pruning. Es beseitigt alle Knoten, die wenig bis gar keine Vorhersagekraft hinzufügen.

Fünffache Kreuzvalidierung

Die Kreuzvalidierung ist eine der weniger komplizierten Methoden zur Überprüfung auf Overfitting.

Was ist Underfitting?

Wie der Name schon sagt, liegt Underfitting vor, wenn das Modell nicht fit genug ist, um Ihnen Ergebnisse zu liefern. Ein unzureichend angepasstes Datenmodell weiß nicht, wie es auf genügend Datenobjekte abzielen soll. Bei einem geringeren Grad fehlen dem Diagramm die meisten der vorhandenen Merkmale.

Mit anderen Worten, das Modell ist „zu einfach“, um Ergebnisse zu generieren, wenn es unzureichend angepasst ist. Die Lösung dieses Problems ist jedoch wesentlich komfortabler und erfordert nicht so viel Aufwand wie zuvor beim Overfitting.

Was tun bei Underfitting?

Wenn Ihr Modell nicht fit genug ist, sollten Sie ihm mehr Funktionen geben. Mit mehr Funktionen wird es einen größeren Hypothesenraum haben. Es kann diesen Raum nutzen, um genaue Ergebnisse zu generieren. Das Erkennen von Underfitting ist im Vergleich zu Overfitting komfortabler, so dass Sie keine Probleme haben würden, diesen Fehler zu identifizieren. Allerdings sollten Sie bei einem Underfit-Modell nur die Features und nicht die gesamten Daten erhöhen. Das Erweitern der Daten führt in diesem Fall zu mehr Fehlern.

Lesen Sie: Interessante Projektideen für maschinelles Lernen

Treffen Sie den Sweetspot

Beim maschinellen Lernen möchten Sie, dass Ihr Datenmodell zwischen Underfitting und Overfitting bleibt. Es sollte weder zu viele noch zu wenige Datenpunkte abdecken. Während Sie Ihr Modell weiter trainieren, können Sie es weiter verbessern und seine Fehler beheben. Die Fehler Ihres Modells werden mit dem Trainingssatz und dem Testsatz zahlenmäßig sinken.

Eine gute Möglichkeit, den idealen Punkt zwischen Overfitting und Underfitting zu erreichen, besteht darin, das Training Ihres Modells zu beenden, bevor seine Fehler zuzunehmen beginnen. Es ist eine allgemeine Lösung, die Sie abgesehen von den Methoden verwenden können, die wir zuvor in diesem Artikel erwähnt haben.

Fazit

Jeder Datenprofi ist mit dem Problem des Overfitting und Underfitting konfrontiert. Das Trainieren eines Datenmodells ist nicht einfach, und es erfordert viel Übung, sich damit vertraut zu machen. Mit der Erfahrung werden Sie jedoch Probleme frühzeitig erkennen und Fehlerursachen ganz vermeiden.

Es ist wichtig, mit solchen Fehlern vertraut zu sein, wenn Sie ein Experte für maschinelles Lernen werden möchten. Wenn Sie mehr über maschinelles Lernen und Datenwissenschaft erfahren möchten, sehen Sie sich das PG-Diplom in maschinellem Lernen und KI von IIIT-B & upGrad an, das für Berufstätige konzipiert ist und mehr als 450 Stunden strenge Schulungen, mehr als 30 Fallstudien und Aufgaben bietet , IIIT-B-Alumni-Status, mehr als 5 praktische Schlusssteinprojekte und Arbeitsunterstützung bei Top-Unternehmen.