Lineare Algebra für maschinelles Lernen: Kritische Konzepte, warum Lernen vor ML

Maschinelles Lernen, Robotik, Data Science, künstliche Intelligenz und Computer Vision gehören zu den Bereichen, die maßgeblich dazu beigetragen haben, unsere Technologie auf das heutige Niveau zu bringen. Wenn Sie beginnen, sich mehr Wissen über diese Technologien anzueignen, werden Sie auf eine Reihe von Fachjargons oder spezifischen Wörtern stoßen, die diesen Technologien gemeinsam sind.

Einige dieser Begriffe umfassen unter anderem Lasso-Regression, KKT-Bedingungen, Kernel-PCA, Support-Vektor-Maschinen (SVM), Lagrange-Multiplikatoren und Ridge-Regression. Nun, diese Fachjargons sind zwar geprägt worden, um Außenstehende fernzuhalten, aber sie sagen viel über ihre Assoziation mit der typischen linearen Algebra aus, die wir aus unserer Schulzeit kennen.

Daher ist es für jeden, der maschinelles Lernen oder Data Science lernt, unerlässlich, sich zunächst damit auseinanderzusetzen, was lineare Algebra und Optimierungstheorie sind. Sie müssen auch Data Science lernen und wissen, wie man sie einsetzt, wenn Sie Probleme mit ML lösen oder die enormen verfügbaren Daten mithilfe von Data Science besser verstehen.

In diesem Blog konzentrieren wir uns darauf, wie maschinelles Lernen und lineare Algebra zusammenhängen und wie ein besseres Verständnis der letzteren Ihnen helfen kann, die erstere zu meistern.

Es gibt Konzepte des maschinellen Lernens wie SVM und Regression, die Sie nicht richtig verstehen können, wenn Sie sich ihrer Verbindung zur linearen Algebra nicht bewusst sind. Sie können darauf verzichten, tief in die lineare Algebra und ihre Verbindung zum maschinellen Lernen einzusteigen, wenn Sie diese Konzepte nur durchgehen, um zu wissen, was diese eigentlich sind, und keine Lust haben, ihr Studium weiter fortzusetzen.

Wenn Sie jedoch vorhaben, ein Ingenieur für maschinelles Lernen zu werden, der künftig Maschinen trainiert oder forscht und bedeutende Beiträge auf diesem Gebiet leistet, müssen Sie tief graben. Es gibt keine andere Alternative. Ein solider Hintergrund in linearer Algebra ist ein Muss. Unser Hauptziel beim Schreiben dieses Blogs ist es, Ihnen die Grundlagen der linearen Algebra vorzustellen und sicherzustellen, dass wir präsentieren, wie sie beim maschinellen Lernen verwendet werden. Beginnen wir damit, zu verstehen, was lineare Algebra genau ist.

Was ist Lineare Algebra?

Mit einfachen Worten, es ist ein Zweig der Mathematik, der bedeutende Anwendungen in Technik und Wissenschaft findet. Obwohl es so wichtig ist und Anwendungen hat, die weit über unsere Vorstellungskraft hinausgehen, sehen wir, dass unsere Wissenschaftler hinterherhinken, wenn es darum geht, ein tieferes Verständnis davon zu erlangen. Der Hauptgrund dafür ist, dass es keine diskrete Mathematik ist, die die meisten Wissenschaftler häufig verwenden.

Sie gehört zum kontinuierlichen Teil der Mathematik, was sie für Wissenschaftler und Techniker weniger interessant macht. Nun lassen Sie uns eines ganz klar machen. Wenn Sie nicht einmal ein grundlegendes Verständnis dafür haben, wie lineare Algebra funktioniert, werden Sie es sehr schwierig finden, mehrere maschinelle Lernalgorithmen zu lernen und zu verwenden, einschließlich der Deep-Learning-Algorithmen.

Wenn Sie damit fertig sind, wie maschinelles Lernen grundsätzlich funktioniert und wie und wo Sie seine Algorithmen einsetzen können, müssen Sie dem Lernen von Mathematik etwas mehr Zeit widmen. Dies wird Ihnen helfen, viele neue Dinge über maschinelle Lernalgorithmen zu verstehen, die Sie zuvor nicht verstanden haben. Sie werden viel über ihre Einschränkungen, zugrunde liegenden Annahmen und so weiter wissen.

Jetzt werden Sie auf verschiedene Bereiche der Mathematik stoßen, die Sie an dieser Stelle studieren, um zu lernen, mehr mit maschinellem Lernen zu tun. Sie können unter anderem Geometrie, Algebra, Analysis und Statistik studieren; Sie müssen hier jedoch weise vorgehen und den Bereich auswählen, von dem Sie glauben, dass er Ihnen wirklich dabei helfen wird, Ihre Erfahrung zu bereichern und Ihnen auf Ihrem Weg in Ihre Karriere im Bereich maschinelles Lernen einen solideren Stand zu bieten. Sie können sogar Experten um Hilfe bei der Entscheidungsfindung bitten.

Die nächste Frage, die Sie sich jetzt stellen werden, wird sein, wie Sie diesen Lernprozess angehen müssen. Lineare Algebra kann man nicht von Grund auf studieren. Sie müssen Themen auswählen, die beim maschinellen Lernen auf die eine oder andere Weise verwendet werden. Im nächsten Abschnitt werden wir einige dieser Themen der linearen Algebra besprechen, die Sie studieren können.

Mehr wissen: Die 5 besten Modelle für maschinelles Lernen für Anfänger erklärt

Wichtige Konzepte der linearen Algebra

Es ist sehr wichtig, über ausreichende Kenntnisse einiger Konzepte der linearen Algebra zu verfügen, wenn Sie die zugrunde liegenden Konzepte des maschinellen Lernens verstehen möchten. Wenn Sie die Mathematik hinter diesen fortschrittlichen maschinellen Lernalgorithmen nicht kennen, können Sie sie nicht beherrschen wollen. Hier sind einige Konzepte der linearen Algebra, die Sie kennen lernen müssen, um zu wissen, wie maschinelles Lernen funktioniert.

1. Vektoren und Matrix

Es ist nicht falsch zu sagen, dass diese beiden Konzepte wohl die beiden wichtigsten sind, die Sie lernen müssen, wenn man bedenkt, dass sie eng mit maschinellem Lernen verbunden sind. Vektoren bestehen aus einem Array von Zahlen, während eine Matrix 2-D-Vektoren umfasst, die normalerweise in Großbuchstaben angegeben werden.

Lassen Sie uns nun sehen, wie sie mit maschinellen Lernalgorithmen verknüpft sind. Vektoren finden sich in überwachten maschinellen Lernalgorithmen nützlich, wo sie in Form von Zielvariablen vorhanden sind. Andererseits bilden in den Daten verfügbare Merkmale die Matrix. Sie können eine Reihe von Operationen mit der Matrix durchführen – konjugieren, multiplizieren, rangieren, transformieren und andere. Zwei Vektoren mit der gleichen Anzahl von Elementen und Formgleichheit können auch verwendet werden, um eine Subtraktion und Addition durchzuführen.

2. Symmetrische Matrix

Die symmetrische Matrix ist sowohl in der linearen Algebra als auch im maschinellen Lernen von Bedeutung. Matrizen der linearen Algebra werden hauptsächlich verwendet, um Funktionen zu übertragen. Meistens sind diese Funktionen symmetrisch, ebenso wie die Matrizen, die ihnen entsprechen. Diese Funktionen und die Werte, die sie enthalten, können verwendet werden, um die Feature-Entfernung zu messen. Sie können auch verwendet werden, um die Merkmalskovarianz zu messen. Nachfolgend sind einige Eigenschaften symmetrischer Matrizen aufgeführt:

• Symmetrische Matrizen und ihre Umkehrung sind beide symmetrisch.
• Alle Werte in den Eigenwerten sind reelle Zahlen. Es sind keine komplexen Zahlen vorhanden.
• Eine symmetrische Matrix entsteht, wenn eine Matrix mit ihrer Transponierten multipliziert wird.
• Symmetrische Matrizen besitzen auch die Eigenschaft der Faktorisierung.
• Bei Matrizen mit linear unabhängigen Spalten ist das Ergebnis der Multiplikation der Matrix mit ihrer Transponierten umkehrbar.

3. Eigenwerte und Eigenvektor

Eigenvektoren sind Vektoren, die sich nur um einen Skalarfaktor ändern und in ihrer Richtung keinerlei Änderung erfahren. Der den Eigenvektoren entsprechende Eigenwert ist die Größe, mit der sie skaliert sind. Eigenwerte und Eigenvektoren finden sich in den Grundlagen der Mathematik und des Rechnens. Wenn wir einen Vektor in einem XY-Diagramm zeichnen, folgt er einer bestimmten Richtung. Wenn wir die lineare Transformation auf einige Vektoren anwenden, sehen wir, dass sie ihre Richtung nicht ändern. Diese Vektoren sind beim maschinellen Lernen sehr wichtig.

Eigenwerte und Eigenvektoren werden verwendet, um Datenrauschen zu minimieren. Wir können die beiden auch verwenden, um die Effizienz der Aufgaben zu verbessern, die bekanntermaßen rechenintensiv sind. Sie können auch verwendet werden, um Overfitting zu beseitigen. Es gibt auch mehrere andere Szenarien, in denen sich Eigenwerte und Eigenvektoren als nützlich erweisen.

Es ist ziemlich schwierig, die Merkmale von Ton-, Text- oder Bilddaten zu visualisieren. Diese Daten werden üblicherweise in 3-D dargestellt. Hier kommen Eigenwerte und Eigenvektoren ins Spiel. Sie können verwendet werden, um all die riesigen Mengen zu erfassen, die in einer Matrix gespeichert sind. Eigenwerte und Eigenvektoren werden auch in der Gesichtserkennung verwendet.

Lesen Sie: Projektideen für maschinelles Lernen für Anfänger

4. Hauptkomponentenanalyse (PCA)

Es gibt viele Fälle, in denen die Dimensionalität die Lösung bestimmter Probleme des maschinellen Lernens erschwert. Bei diesen Problemen haben wir es mit Daten zu tun, deren Merkmale untereinander sehr stark korrelieren und in einer Dimension liegen, die höher als üblich ist.

Das Problem, das sich bei diesem Dimensionalitätsproblem ergibt, besteht darin, dass es sehr schwierig wird, den Einfluss zu verstehen, den jedes Merkmal auf die Zielvariable hat. Dies liegt daran, dass Merkmale mit einer höheren Korrelation als normal dazu neigen, das Ziel auf die gleiche Weise zu beeinflussen. Es ist auch sehr schwierig, Daten zu visualisieren, die in einer höheren Dimension liegen.

Die Hauptkomponentenanalyse ist die Lösung dieser Probleme. Es hilft Ihnen, Ihre Datendimension auf 2-D oder 3-D zu reduzieren. Dadurch wird sichergestellt, dass keine Informationen aufgrund von Änderungen der maximalen Varianz verloren gehen. Mathematik hinter PCA bezieht sich auf Orthogonalität. PCA ist die beste verfügbare Methode, um das Modell weniger komplex zu machen, indem die Anzahl der Merkmale im Datensatz verringert wird.

Sie sollten es jedoch vermeiden, es als ersten Schritt zu verwenden, um eine Überanpassung zu beseitigen. Sie sollten damit beginnen, die Anzahl der Merkmale in den Daten zu begrenzen oder die Datenmenge zu erhöhen. Sie sollten dann versuchen, die L1- oder L2-Regularisierung zu verwenden. Wenn nichts funktioniert, sollten Sie sich nur an PCA wenden.

Lesen Sie auch: Top 9 Bibliotheken für maschinelles Lernen, die Sie kennen sollten

Warum sollten Sie vor dem maschinellen Lernen lineare Algebra lernen?

1. Lineare Algebra ist der Schlüssel zum maschinellen Lernen

Es lässt sich nicht leugnen, dass die Analysis die lineare Algebra übertrumpft, wenn es um fortgeschrittene Mathematik geht. Integral- und Differentialrechnung helfen Ihnen viel mehr als nur beim Integrieren, Differenzieren und Grenzen, sie dienen auch als grundlegendes Wissen, das für Anwendungen wie Tensoren und Vektoren benötigt wird.

Das Erlernen dieser Dinge wird Ihnen helfen, unter anderem lineare Gleichungen und lineare Funktionen besser zu verstehen. Sie kennen auch fortgeschrittene Konzepte wie die Simplex-Methode und räumliche Vektoren. Wenn Sie Hilfe bei der linearen Programmierung benötigen, können Sie die Simplex-Methode verwenden. Um in diesen Konzepten besser zu werden, beginnen Sie damit, der linearen Algebra mehr Zeit zu widmen.

2. Vorhersage durch maschinelles Lernen

Wenn Sie lineare Algebra lernen, verbessern Sie das Bewusstsein oder den Instinkt, der beim maschinellen Lernen eine so wichtige Rolle spielt. Sie können nun weitere Perspektiven bereitstellen. Die Matrizen und Vektoren, die Sie studiert haben, werden Ihnen helfen, Ihr Denken zu erweitern und unerschütterlicher zu machen. Die Möglichkeiten sind endlos. Sie könnten anfangen, Dinge zu tun, die für andere um Sie herum sehr schwer zu verstehen sind. Sie könnten damit beginnen, verschiedene Diagramme zu visualisieren und einzurichten. Sie könnten damit beginnen, mehr Parameter für verschiedene Komponenten des maschinellen Lernens zu verwenden.

3. Lineare Algebra hilft bei der Entwicklung besserer Algorithmen für maschinelles Lernen

Sie können Ihr Erlernen der linearen Algebra nutzen, um besser überwachte und nicht überwachte maschinelle Lernalgorithmen zu entwickeln. Logistische Regression, lineare Regression, Entscheidungsbäume und Support Vector Machines (SVM) sind einige überwachte Lernalgorithmen, die Sie mit Hilfe der linearen Algebra von Grund auf neu erstellen können.

Andererseits können Sie es auch für unüberwachte Algorithmen verwenden, einschließlich Einzelwertzerlegung (SVD), Clustering und Komponentenanalyse. Lineare Algebra hilft Ihnen dabei, ein tieferes Verständnis für das maschinelle Lernprojekt zu entwickeln, an dem Sie arbeiten, und gibt Ihnen somit die Flexibilität, verschiedene Parameter anzupassen. Sie können mehr über die lineare Regression beim maschinellen Lernen erfahren.

4. Lineare Algebra für eine bessere grafische Verarbeitung beim maschinellen Lernen

Machine-Learning-Projekte bieten Ihnen verschiedene grafische Interpretationen, an denen Sie arbeiten können – Bilder, Audio, Video und Kantenerkennung. Algorithmen für maschinelles Lernen verfügen über Klassifikatoren, die einen Teil des gegebenen Datensatzes basierend auf ihren Kategorien trainieren. Eine weitere Aufgabe von Klassifikatoren besteht darin, Fehler in den bereits trainierten Daten zu beseitigen.

In diesem Stadium kommt die lineare Algebra ins Spiel, um bei der Berechnung dieses komplexen und großen Datensatzes zu helfen. Es verwendet Matrixzerlegungstechniken, um große Datenmengen für verschiedene Projekte zu verarbeiten und zu handhaben. Die beliebtesten Methoden zur Matrixzerlegung sind die QR- und die LU-Zerlegung.

5. Lineare Algebra, um Ihre Vorstellung von Statistiken zu verbessern

Statistiken sind sehr wichtig, um Daten beim maschinellen Lernen zu organisieren und zu integrieren. Wenn Sie statistische Konzepte besser verstehen wollen, müssen Sie zunächst wissen, wie lineare Algebra funktioniert. Lineare Algebra verfügt über Methoden, Operationen und Notationen, mit denen Sie fortgeschrittene statistische Themen wie die multivariate Analyse in Ihr Projekt integrieren können.

Angenommen, Sie arbeiten an Patientendaten, die Gewicht, Größe, Blutdruck und Herzfrequenz umfassen. Dies sind die mehreren Variablen des Datensatzes, an dem Sie arbeiten. Gehen wir hier davon aus, dass eine Gewichtszunahme zu einer Erhöhung des Blutdrucks führt. Es ist nicht allzu schwer zu verstehen, dass dies eine lineare Beziehung ist. Um also besser zu verstehen, wie sich eine Erhöhung einer Variablen auf die andere auswirkt, müssen Sie ein gutes Verständnis der linearen Algebra haben.

Fazit

Maschinelles Lernen an sich ist ein ziemlich umfangreiches Thema; Es gibt jedoch andere Konzepte wie lineare Algebra, die ebenso wichtig zu lernen sind wie ML selbst. Das Erlernen linearer Algebra und anderer solcher Themen wird dazu beitragen, die Konzepte des maschinellen Lernens besser zu verstehen.

Wenn Sie mehr über maschinelles Lernen erfahren möchten, sehen Sie sich das PG-Diplom in maschinellem Lernen und KI von IIIT-B & upGrad an, das für Berufstätige konzipiert ist und mehr als 450 Stunden strenge Schulungen, mehr als 30 Fallstudien und Aufgaben bietet, IIIT- B-Alumni-Status, mehr als 5 praktische, praktische Abschlussprojekte und Jobunterstützung bei Top-Unternehmen.