Entscheidungsbäume im maschinellen Lernen: Funktionen, Klassifizierung, Vor- und Nachteile

Jeder Mensch muss in seinem Leben Entscheidungen treffen. Diese Entscheidungen sind situationsabhängig. Die richtige Entscheidung zu treffen hilft, einer Situation am besten zu begegnen und das Problem auf die einfachste Weise zu lösen. In der Kindheit drehten sich die meisten Ihrer Entscheidungen darum, was Sie essen und was mit Ihrer Schule zu tun hat.

Je älter Sie werden, desto schwerwiegendere Auswirkungen haben Ihre Entscheidungen nicht nur auf Ihr Leben, sondern auch auf das anderer. Irgendwann in Ihrem Leben werden Sie Entscheidungen treffen, die Ihre Karriere oder Ihr Geschäft betreffen. Diese Analogie soll Sie in das Konzept eines Entscheidungsbaums beim maschinellen Lernen einführen.

Was ist ein Entscheidungsbaum?

Lassen Sie uns zunächst sagen, dass ein Entscheidungsbaum ein Vorhersagemodell oder Werkzeug ist, das Entscheidungen unterstützt. Es ist bekannt, genaue Schlussfolgerungen zu liefern, indem Entwürfe, Entwurfsmodelle oder Darstellungen verwendet werden, die einer baumartigen Struktur folgen. Das Hauptziel dieses Modells oder maschinellen Lernmodells besteht darin, bestimmte Attribute eines Ziels zu berücksichtigen und dann Entscheidungen auf der Grundlage dieser Attribute zu treffen.

Die meisten Entscheidungen in einem Entscheidungsbaum folgen bedingten Anweisungen – if und else. Damit ein Entscheidungsbaummodell besser als andere ist, muss es eine tiefere Struktur und komplexere Regeln haben, denen es unterliegt. Es ist eines der am meisten bevorzugten überwachten Lernmodelle im maschinellen Lernen und wird in einer Reihe von Bereichen eingesetzt. Es könnte wie ein Flussdiagramm erscheinen, das unter Berücksichtigung algorithmischer Techniken entwickelt wurde, um sicherzustellen, dass die Aufteilung gemäß den Bedingungen erfolgt.

Die Struktur dieses Flussdiagramms ist recht einfach. Es hat einen Wurzelknoten, der als Grundlage für den Aufbau des Modells dient. Dann zeigen einige interne Knoten und Verzweigungen Funktionen oder Tests bzw. Ergebnisse von Tests. Der Blattknoten stellt eine Gruppe mit Werten dar, die jenen Werten ähnlich sind, die erreicht werden, wenn Entscheidungen über zugehörige Attribute getroffen werden.

Entscheidungsbäume finden ihre Anwendung vor allem bei Klassifikations- und Regressionsproblemen. Sie werden verwendet, um automatisierte Vorhersagemodelle zu erstellen, die mehr als ein paar Anwendungen dienen, nicht nur in Algorithmen für maschinelles Lernen, sondern unter anderem auch in Statistik, Data Science und Data Mining. Diese baumbasierten Strukturen liefern einige der genauesten Vorhersagemodelle, die sowohl leicht interpretierbar als auch stabiler sind als die meisten anderen Vorhersagemodelle.

Im Gegensatz zu linearen Modellen, die nur für eine bestimmte Anzahl von Problemen gut sind, können Modelle, die auf Entscheidungsbäumen basieren, auch zur Abbildung nichtlinearer Zusammenhänge verwendet werden. Kein Wunder, dass Entscheidungsbäume so beliebt sind. Ein sehr wichtiger Grund dafür ist, wie einfach das endgültige Entscheidungsbaummodell zu verstehen ist. Es kann ganz klar beschreiben, was alles hinter einer Vorhersage steckt. Sie sind auch die Grundlage der fortgeschritteneren kollaborativen oder Ensemble-Methoden, darunter unter anderem Gradient Boosting, Bagging und Random Forests.

Wie definiert man einen Entscheidungsbaum?

Nachdem wir nun ein grundlegendes Verständnis des Konzepts entwickelt haben, lassen Sie es uns für Sie definieren. Ein Entscheidungsbaum ist ein überwachter maschineller Lernalgorithmus, der verwendet werden kann, um sowohl klassifikationsbasierte als auch regressionsbasierte Probleme zu lösen. Lassen Sie uns sehen, wie es für die Klassifizierung verwendet wird.

Nehmen wir an, es gibt einen Datensatz, an dem wir gerade arbeiten. Wir erstellen einen 2D-Plan, der in verschiedene Bereiche unterteilt werden kann, sodass die Punkte in jedem Bereich der gleichen Klasse zugeordnet sind. Die Divisionen oder Splits werden durch ein eindeutiges Zeichen gekennzeichnet. Dies ist ein binärer Baum, an dem wir hier arbeiten.

Nun gibt es verschiedene Dinge dieses Entscheidungsbaums, die keine vorherige Repräsentation haben, sondern unter Verwendung der uns zur Verfügung gestellten Trainingsdaten erstellt werden. Zu diesen Dingen gehören die Anzahl der Knoten, die dieser Baum haben wird, seine Kantenpositionierung und seine Struktur. Wir werden den Baum hier nicht von Grund auf neu erstellen. Wir werden uns nur vorwärts bewegen, wenn man bedenkt, dass unser Baum bereits da ist.

Wie können wir nun neue Eingabepunkte klassifizieren? Dazu müssen wir nur den Baum herunterklettern. Während des Durchlaufens werden wir weiterhin eine Frage zum Datenpunkt stellen, wenn wir jeden Knoten erreichen. Wenn wir diese Frage zum Beispiel am Wurzelknoten stellen, würde uns die Antwort entweder nach rechts oder links verzweigen lassen. Die allgemeine Regel lautet: Wenn die gestellte Frage wahr ist oder die in der Bedingung aufgestellte Bedingung erfüllt ist, müssen wir nach links verzweigen. Wenn es nicht wahr ist, müssen wir nach rechts verzweigen. Wenn uns unsere Bedingung zu einem linken Knoten führt, wüssten wir, welcher Klasse ein Eingabepunkt zugewiesen werden muss.

Wenn es darum geht, wie ein Entscheidungsbaum dargestellt wird, gibt es einige Dinge, die niemals vergessen werden sollten. Es gibt keine Regel oder Notwendigkeit, die besagt, dass wir zwischen den beiden Koordinaten eines Entscheidungsbaums wechseln müssen, während wir ihn durchlaufen. Wir können wählen, ob wir nur mit einem einzigen Merkmal oder einer einzigen Dimension arbeiten möchten. Wir müssen bedenken, dass Entscheidungsbäume mit einem Datensatz beliebiger Dimension verwendet werden können. Wir haben in unserem Beispiel 2D-Daten genommen, aber das bedeutet nicht, dass Entscheidungsbäume nur für zweidimensionale Datensätze gelten.

Checkout: Arten von Binärbäumen

Haben Sie schon einmal an einem Zwanzig-Fragen-Wettbewerb teilgenommen? Es ist ziemlich ähnlich wie Entscheidungsbäume funktionieren. Lassen Sie uns herausfinden, wie? Das ultimative Ziel des Twenty Questions-Spiels ist es, das Objekt herauszufinden, an das die Person, die die Fragen beantwortet, denkt, während sie die Fragen beantwortet. Die Fragen können nur mit ja oder nein beantwortet werden.

Während Sie im Spiel vorankommen, wissen Sie aus den vorherigen Antworten, welche spezifischen Fragen Sie stellen müssen, um die richtige Antwort zu erhalten, bevor das Spiel endet. Ein Entscheidungsbaum ist Ihre Reihe von Fragen, die Ihnen helfen, die ultimative Antwort zu finden, indem er Sie dazu anleitet, relevantere Fragen zu stellen.

Erinnern Sie sich, wie Sie per Voicemail zu Ihrem Gesprächspartner in einem Unternehmen geleitet werden? Sie sprechen zuerst mit dem computergestützten Assistenten und drücken dann eine Reihe von Tasten auf Ihren Telefonen und geben einige Details zu Ihrem Konto ein, bevor Sie die Person erreichen, mit der Sie überhaupt sprechen wollten. Dies könnte für Sie eine unangenehme Erfahrung sein, aber auf diese Weise verwenden die meisten Unternehmen Entscheidungsbäume, um ihren Kunden zu helfen, die richtige Abteilung zu erreichen oder mit der richtigen Person zu sprechen. Lesen Sie auch 6 Arten von überwachtem Lernen, die Sie kennen müssen.

Wie funktioniert ein Entscheidungsbaum?

Denken Sie darüber nach, wie Sie einen perfekten Entscheidungsbaum erstellen können? Wie wir bereits erwähnt haben, sind Entscheidungsbäume eine Klasse von Algorithmen, die verwendet werden, um Probleme des maschinellen Lernens zu lösen, die zu den Klassifizierungs- und Regressionstypen gehören. Es kann sowohl für kategoriale als auch für kontinuierliche Variablen verwendet werden.

Dieser Algorithmus bewegt sich auf einfache Weise vorwärts – er partitioniert den Datensatz oder die Beispieldaten in verschiedene Datensätze, wobei jeder Datensatz gruppiert ist und dieselben Attribute aufweist. Entscheidungsbäume verwenden eine Reihe von Algorithmen für verschiedene Zwecke – identifizieren Sie die Aufteilung, die wichtigsten Variablen und den besten Ergebniswert, der weitere Unterteilungen erzeugen kann.

Typischerweise umfasst der Arbeitsablauf eines Entscheidungsbaums die Aufteilung von Daten in Trainings- und Testdatensätze, die Anwendung von Algorithmen und die Bewertung der Modellleistung. Lassen Sie uns anhand eines sehr einfachen Beispiels verstehen, wie es funktioniert. Angenommen, wir wollen prüfen, ob eine Person für eine Stelle geeignet ist oder nicht. Dies wird die Wurzel des Baumes sein.

Nun gehen wir zu den Merkmalen oder Attributen des Baums über, die die internen Knoten bilden. Basierend auf diesen Attributen werden Entscheidungen getroffen – die Bildung von Ästen des Baumes. Lassen Sie uns hier eine andere Annahme treffen. Der Parameter für eine Person, die als geeignet für den Job angesehen wird, ist ihre Erfahrung von 5 oder mehr Jahren. Die erste Teilung findet auf diesem Parameter statt, den wir gerade eingestellt haben.

Wir brauchen mehr Parametersätze für die weitere Aufspaltung. Bei diesen Parametern kann es sich um die Zugehörigkeit zu einer bestimmten Altersgruppe oder nicht, um einen bestimmten Abschluss oder nicht und so weiter handeln. Die Ergebnisse werden durch die Blätter des Baumes dargestellt, anders als Wurzeln und Zweige. Blätter spalten sich nie und zeigen die Entscheidungen. Dieser Baum hilft Ihnen bei der Entscheidung, ob ein Kandidat für die Stelle geeignet ist oder nicht.

Wie bereits erwähnt, hat ein Entscheidungsbaum seine eigene besondere Repräsentation, die es ihm ermöglicht, ein Problem für uns zu lösen. Es hat Wurzeln, interne Knoten, Zweige und Blätter, die jeweils einem bestimmten Zweck dienen oder eine bestimmte Aufgabe erfüllen. Diese Schritte helfen Ihnen bei der Baumdarstellung:

1. Die Wurzel des Baums enthält die optimierte Version des besten Attributs
2. Teilen Sie die Beispieldaten mithilfe geeigneter Attribute in Teilmengen auf. Stellen Sie sicher, dass die neuen Teilmengen oder Datengruppen keine unterschiedlichen Werte für dasselbe Attribut enthalten
3. Wiederholen Sie die beiden obigen Schritte, bis Sie die Blätter für jeden Zweig in Ihrem Entscheidungsbaum haben

Klassifikations- oder Regressionsbaum (CART)

Nehmen wir ein Beispiel. Stellen Sie sich vor, wir hätten die Aufgabe, Stellenkandidaten anhand einiger vordefinierter Attribute zu klassifizieren, um sicherzustellen, dass am Ende des Prozesses nur verdiente Kandidaten ausgewählt werden. Die Entscheidung, einen Kandidaten auszuwählen, würde von einem Echtzeit- oder möglichen Ereignis abhängen. Alles, was wir brauchen, ist ein Entscheidungsbaum, um die richtigen Kriterien für die Klassifizierung zu finden. Die Ergebnisse würden davon abhängen, wie die Klassifizierung durchgeführt wird.

Wie wir alle wissen, besteht die Klassifizierung aus zwei Schritten. Der erste Schritt besteht darin, ein Zufallsmodell auf dem Stichprobendatensatz aufzubauen. Der zweite Schritt beinhaltet die Vorhersage – das im ersten Schritt trainierte Modell wird implementiert, um eine Vorhersage bezüglich der Reaktion für gegebene Daten zu treffen.

Nun gibt es bestimmte Situationen, in denen die Zielvariable eine reelle Zahl ist oder Entscheidungen auf kontinuierlichen Daten getroffen werden. Möglicherweise werden Sie gebeten, eine Vorhersage über den Preis eines Artikels auf der Grundlage der Arbeitskosten zu treffen. Oder Sie werden gebeten, das Gehalt eines Kandidaten auf der Grundlage seines vorherigen Gehalts, seiner Fähigkeiten, seiner Erfahrung und anderer relevanter Informationen festzulegen.

Der Wert des Zielwerts ist in diesen Situationen entweder ein realer Wert oder ein Wert, der einem kontinuierlichen Datensatz zugeordnet ist. Wir werden die Regressionsversion eines Entscheidungsbaums verwenden, um diese Probleme zu lösen. Dieser Baum berücksichtigt die Beobachtungen, die an den Merkmalen eines Objekts gemacht wurden, und trainiert das Modell, um Vorhersagen zu treffen und eine kontinuierliche Ausgabe zu liefern, die absolut sinnvoll ist.

Lassen Sie uns nun über einige Ähnlichkeiten und Unterschiede zwischen Klassifikations- und Regressionsentscheidungsbäumen sprechen. Entscheidungsbäume werden als Klassifikationsmodelle in Situationen verwendet, in denen Zielvariablen kategorialer Natur sind. Der Wert, den der Trainingsdatensatz direkt am Höhepunkt eines Endknotens erhält, ist gleich dem Wert, den wir erhalten, wenn wir einen Modus der Beobachtungen für diesen bestimmten Abschnitt verwenden. Falls diesem Abschnitt des Baums eine neue Beobachtung hinzugefügt wird, ersetzen wir sie durch den Moduswert und treffen dann die Vorhersage.

Andererseits werden Entscheidungsbäume als Regressionsmodelle verwendet, wenn Zielvariablen Teil eines kontinuierlichen Datensatzes sind. Der Wert, der an demselben Punkt erhalten wird, den wir für Klassifikationsbäume besprochen haben, ist der Mittelwert der Beobachtungen in diesem Abschnitt, wenn es um Regressionsbäume geht.

Es gibt auch ein paar Ähnlichkeiten. Beide Entscheidungsbaummodelle verwenden einen rekursiven binären Ansatz und unterteilen unabhängige Variablen in Regionen, die sich nicht überschneiden und eindeutig sind. In diesen beiden Bäumen beginnt die Teilung an der Spitze des Baums, und die Beobachtungen liegen in einer Region. Diese Beobachtungen teilten die Variablen in zwei Zweige auf. Diese Teilung ist ein kontinuierlicher Prozess, der einem ausgewachsenen Baum Platz macht.

Lesen Sie: Projektideen für maschinelles Lernen

Wie lerne ich ein CART-Modell?

Es gibt ein paar wichtige Dinge, die Sie tun müssen, um ein CART-Modell zu erstellen. Dazu gehört die Auswahl von Eingabevariablen sowie von Teilungspunkten in einer Weise, dass der Baum richtig aufgebaut ist. Der Greedy-Algorithmus, der die Kostenfunktion reduziert, wird verwendet, um die Eingabevariablen sowie die Teilungspunkte auszuwählen.

Die Einschnürung des Baumes wird mit Hilfe des vorab definierten Abbruchkriteriums beendet. Das Stoppkriterium könnte alles angeben, wie beispielsweise wie viele Trainingsinstanzen den Blattknoten des Baums zugewiesen sind.

1. Gieriger Algorithmus : Der Eingaberaum muss korrekt aufgeteilt werden, um einen Binärbaum zu erstellen. Rekursives binäres Splitten ist der Greedy-Algorithmus, der für diesen Zweck verwendet wird. Es ist eine numerische Methode, bei der verschiedene Werte aneinandergereiht werden. Eine Kostenfunktion wird dann verwendet, um mehrere Teilungspunkte auszuprobieren und zu testen. Der Teilungspunkt mit den minimalen Kosten wird gewählt. Mit dieser Methode werden alle Teilungspunkte sowie Eingangsgrößen ausgewertet.

2. Baumbeschneidung : Das Stoppkriterium verbessert die Leistung Ihres Entscheidungsbaums. Um es noch besser zu machen, können Sie versuchen, den Baum nach dem Lernen zu beschneiden. Die Anzahl der Unterteilungen eines Entscheidungsbaums sagt viel darüber aus, wie komplex er ist. Jeder bevorzugt Bäume, die einfacher sind als andere. Sie passen die Daten nicht zu stark an und sind leicht zu entschlüsseln.

Der beste Weg, einen Baum zu beschneiden, besteht darin, sich jeden Blattknoten anzusehen und herauszufinden, wie sich das Entfernen auf den Baum auswirkt. Das Entfernen von Blattknoten findet statt, wenn diese Aktion einen Abfall der Kostenfunktion rechtfertigt. Wenn Sie der Meinung sind, dass Sie die Leistung nicht weiter verbessern können, können Sie diesen Entfernungsprozess stoppen. Zu den Beschneidungsmethoden, die Sie verwenden können, gehören

3. Stoppkriterium : Die zuvor erwähnte Greedy-Splitting-Methode muss einen Stoppbefehl oder eine Stoppbedingung haben, um zu wissen, wann gestoppt werden muss. Ein übliches Kriterium besteht darin, die Anzahl der Instanzen zu nehmen, die jedem Blattknoten zugewiesen wurden. Wenn diese Zahl erreicht ist, findet die Teilung nicht statt und dieser Knoten wird als der letzte betrachtet.

Nehmen wir zum Beispiel an, dass das vordefinierte Stoppkriterium als fünf Instanzen erwähnt wird. Auch diese Zahl sagt viel über die Genauigkeit des Baumes nach den Trainingsdaten aus. Wenn es zu genau oder zu genau ist, führt dies zu einer Überanpassung, was eine schlechte Leistung bedeutet.

Wie vermeidet man Overfitting in einem Entscheidungsbaum?

Die meisten Entscheidungsbäume sind Overfitting ausgesetzt. Wir können einen Entscheidungsbaum aufbauen, der in der Lage ist, die Daten optimal zu klassifizieren, oder wir haben eine Situation, in der wir keine Attribute für die Aufteilung haben. Dies wird mit dem Testdatensatz nicht so gut funktionieren; es würde jedoch zum Trainingsdatensatz passen. Sie können einem der beiden Ansätze folgen, die wir erwähnen werden, um diese Situation zu vermeiden.

Sie können den Baum entweder beschneiden, wenn er zu groß ist, oder sein Wachstum stoppen, bevor er diesen Zustand der Überanpassung erreicht. In den meisten Fällen ist eine Grenze definiert, um das Wachstum der Strähnen zu kontrollieren, die die Tiefe, die Anzahl der Schichten und andere Dinge erwähnt, die sie haben kann. Der Datensatz, auf dem der Baum trainiert werden soll, wird in einen Testdatensatz und einen Trainingsdatensatz aufgeteilt. Diese beiden Datensätze haben maximale Tiefen auf der Grundlage des Trainingsdatensatzes und werden gegen den Testdatensatz getestet. Sie können bei diesem Ansatz auch die Kreuzvalidierung verwenden.

Wenn Sie sich entscheiden, den Baum zu beschneiden, testen Sie die beschnittenen Editionen des Baums gegen die Originalversion. Wenn der beschnittene Baum beim Testen gegen den Testdatensatz besser abschneidet als seine Version, stehen dem Baum keine Blätter zur Verfügung, solange diese Situation andauert.

Erfahren Sie mehr über: Entscheidungsbaum in R

Vorteile des Entscheidungsbaumansatzes

1. Es kann sowohl mit kontinuierlichen als auch mit kategorialen Daten verwendet werden.
2. Es kann mehrere Ausgaben liefern
3. Es kann präzise Ergebnisse interpretieren, und Sie können die Zuverlässigkeit von Bäumen quantifizieren und ihr vertrauen
4. Mit dieser Methode können Sie Daten untersuchen, wichtige Variablen finden und Beziehungen zwischen verschiedenen Variablen finden, um Zielvariablen zu stärken und neue Funktionen in viel kürzerer Zeit zu erstellen.
5. Es ist leicht zu verstehen und anderen zu erklären
6. Es ist hilfreich beim Bereinigen von Daten. Im Vergleich zu anderen Methoden nimmt es nicht zu viel Zeit in Anspruch, da es ab einem bestimmten Punkt keine Auswirkungen von fehlenden Werten und Ausreißern gibt
7. Die Effizienz und Leistung von Entscheidungsbäumen werden nicht durch nichtlineare Beziehungen zwischen Merkmalen beeinträchtigt
8. Das Vorbereiten von Daten nimmt nicht viel Zeit in Anspruch, da fehlende Werte nicht ersetzt, Daten normalisiert und mehr werden müssen.
9. Es handelt sich um einen nichtparametrischen Ansatz. Es hat nichts mit der Gestaltung und räumlichen Anordnung von Klassifikatoren zu tun

Nachteile von Entscheidungsbäumen

1. Einige Benutzer können Entscheidungsbäume erstellen, die selbst für ihren eigenen Geschmack zu komplex sind. Diese Bäume verallgemeinern die Daten nicht wie einfachere Bäume.
2. Voreingenommene Bäume werden oft aufgrund der Dominanz bestimmter Klassen erstellt. Aus diesem Grund ist es sehr wichtig, die Probendaten vor der Verwendung auszugleichen
3. Manchmal sind diese Bäume nicht allzu stabil. Datenvariationen können dazu führen, dass ein Baum erstellt wird, der nicht der Rechnung entspricht. Diese Anomalie wird als Varianz bezeichnet. Es kann mit Boosting und Bagging behandelt werden.
4. Sie können nicht erwarten, mit gierigen Algorithmen den besten Entscheidungsbaum zu erhalten. Um dieses Problem zu beseitigen, können Sie mehrere Bäume trainieren.

Fazit

Dieser Blog behandelt alle wichtigen Dinge, die ein Lernender über Entscheidungsbäume wissen muss. Nachdem Sie diesen Blog gelesen haben, werden Sie das Konzept besser verstehen und besser in der Lage sein, es im wirklichen Leben umzusetzen.

Wenn Sie mehr über maschinelles Lernen und KI erfahren möchten, sehen Sie sich das PG-Diplom in maschinellem Lernen und KI von IIIT-B & upGrad an, das für Berufstätige konzipiert ist und mehr als 450 Stunden strenge Schulungen, mehr als 30 Fallstudien und Aufgaben bietet. IIIT-B Alumni-Status, mehr als 5 praktische Schlusssteinprojekte und Arbeitsunterstützung bei Top-Unternehmen.