Multikollinearität in der Regressionsanalyse: Alles, was Sie wissen müssen

Einführung

Die Regression versucht, den Charakter und die Stärke der Beziehung zwischen einer abhängigen Variablen und einer Reihe anderer unabhängiger Variablen zu bestimmen. Es hilft, die Stärke der Beziehung zwischen verschiedenen Variablen zu beurteilen und ein Modell der zukünftigen Beziehungen zwischen ihnen zu erstellen. „Multikollinearität“ in der Regression bezieht sich auf den Prädiktor, der mit den anderen Prädiktoren korreliert,

Was ist Multikollinearität?

Immer wenn die Korrelationen zwischen zwei oder mehr Prädiktorvariablen hoch sind, tritt Multikollinearität in der Regression auf. Mit einfachen Worten, eine Prädiktorvariable, auch multikollinearer Prädiktor genannt, kann verwendet werden, um die andere Variable vorherzusagen. Dadurch entstehen redundante Informationen, die die Ergebnisse im Regressionsmodell verzerren.

Beispiele für multikollineare Prädiktoren wären der Verkaufspreis und das Alter eines Autos, das Gewicht, die Größe einer Person oder das Jahreseinkommen und die Ausbildungsjahre.

Die Berechnung von Korrelationskoeffizienten ist die einfachste Methode, um Multikollinearität für alle Paare von Prädiktorwerten zu erkennen. Wenn r, dieser Korrelationskoeffizient, genau +1 oder -1 ist, spricht man von perfekter Multikollinearität. Wenn der Korrelationskoeffizient genau oder nahe bei +1 oder -1 liegt, muss eine der Variablen nur dann aus dem Modell verworfen werden, wenn dies möglich ist.

Es ist selten bei experimentellen Daten, aber es kommt sehr häufig vor, dass Multikollinearität ihr hässliches Gesicht zeigt, wenn es um Beobachtungsstudien geht. Es kann zu einer unzuverlässigen und instabilen Schätzung der Regression führen, wenn die Bedingung vorhanden ist. Mithilfe der Analyse des Ergebnisses können einige andere Probleme behoben werden, wie zum Beispiel:

• Die t-Statistik ist normalerweise ziemlich klein und die Konfidenzintervalle des Koeffizienten sind breit. Das bedeutet, dass es schwierig wird, die Nullhypothese abzulehnen.
• Es kann eine Änderung der Größe und/oder des Vorzeichens in den partiellen Regressionskoeffizienten geben, wenn sie von Stichprobe zu Stichprobe weitergegeben werden.
• Die Standardfehler können groß sein und die Schätzung des partiellen Regressionskoeffizienten kann ungenau sein.
• Aufgrund der Multikollinearität wird es schwierig, den Einfluss unabhängiger Variablen auf abhängige Variablen abzuschätzen.

Lesen Sie: Arten von Regressionsmodellen beim maschinellen Lernen

Warum ist Multikollinearität ein Problem?

Die Änderung einer einzelnen Variablen kann eine Änderung der übrigen Variablen bewirken, was passiert, wenn die unabhängigen Variablen stark korrelieren. Das Modell führt also zu einem stark schwankenden Ergebnis. Da die Ergebnisse des Modells instabil und sehr unterschiedlich sind, selbst wenn nur eine kleine Änderung in den Daten auftritt, führt dies zu den folgenden Problemen:

• Die Schätzung des Koeffizienten wäre instabil und das Modell schwer zu interpretieren. Das heißt, Sie können das Ausmaß der Unterschiede in der Ausgabe nicht vorhersagen, wenn sich auch nur einer Ihrer Vorhersagefaktoren um 1 Einheit ändert.
• Es wäre schwierig, die Liste der signifikanten Variablen für das Modell auszuwählen, wenn es jedes Mal unterschiedliche Ergebnisse liefert.
• Eine Überanpassung kann aufgrund der Instabilität des Modells verursacht werden. Sie werden feststellen, dass die Genauigkeit erheblich abgenommen hat, wenn Sie dasselbe Modell auf eine andere Datenstichprobe anwenden, verglichen mit der Genauigkeit, die Sie mit Ihrem Trainingsdatensatz erhalten haben.

In Anbetracht der Situation ist es für Ihr Modell möglicherweise nicht problematisch, wenn nur moderate Kollinearitätsprobleme auftreten. Es wird jedoch immer empfohlen, das Problem zu lösen, wenn ein schwerwiegendes Problem bei der Kollinearität besteht.

Was ist die Ursache für Multikollinearität?

Es gibt zwei Arten:

1. Strukturelle Multikollinearität in der Regression: Dies wird normalerweise durch den Forscher oder Sie beim Erstellen neuer Prädiktorvariablen verursacht.
2. Datenbasierte Multikollinearität in der Regression: Dies wird in der Regel durch schlecht konzipierte Experimente, nicht manipulierbare Datenerfassungsmethoden oder reine Beobachtungsdaten verursacht. In einigen Fällen können die Variablen aufgrund der Datenerhebung aus 100 % Beobachtungsstudien hochgradig korrelieren, und es liegt kein Fehler seitens des Forschers vor. Aus diesem Grund wird immer empfohlen, die Experimente durchzuführen, wann immer dies möglich ist, indem das Niveau der Prädiktorvariablen im Voraus festgelegt wird.

Lesen Sie auch: Ideen und Themen für lineare Regressionsprojekte

Die anderen Ursachen können auch umfassen

1. Fehlen von Daten. In einigen Fällen kann das Sammeln einer großen Datenmenge bei der Lösung des Problems helfen.
2. Die als Dummy verwendeten Variablen könnten falsch verwendet werden. Beispielsweise kann es dem Forscher misslingen, für jede Kategorie eine Dummy-Variable hinzuzufügen oder eine Kategorie auszuschließen.
3. Betrachten einer Variablen in der Regression, die eine Kombination der anderen Variablen in der Regression ist – zum Beispiel die Betrachtung des „Gesamtanlageertrags“, wenn es sich um Einkünfte aus Sparzinsen + Einkünfte aus Anleihen und Aktien handelt.
4. Einschließlich zwei fast oder vollständig identischer Variablen. Zum Beispiel Renten-/Sparerträge und Anlageerträge, Gewicht in Kilo und Gewicht in Pfund.

Um zu prüfen, ob Multikollinearität aufgetreten ist

Sie können die Korrelationsmatrix aller unabhängigen Variablen darstellen. Alternativ können Sie VIF verwenden, d. h. den Varianzinflationsfaktor für jede unabhängige Variable. Es misst die Multikollinearität im Variablensatz der multiplen Regression. Der Wert von VIF ist proportional zur Korrelation zwischen dieser Variablen und dem Rest. Das heißt, je höher der VIF-Wert, desto höher die Korrelation.

Wie können wir das Problem der Multikollinearität lösen?

1. Auswahl der Variablen: Am einfachsten ist es, einige Variablen zu entfernen, die stark miteinander korrelieren, und nur die signifikantesten in der Menge zu belassen.
2. Transformation der Variablen: Die zweite Methode ist eine Variablentransformation, die die Korrelation reduziert und dennoch das Merkmal beibehält.
3. Analyse der Hauptkomponente: Die Hauptkomponentenanalyse wird normalerweise verwendet, um die Datendimension zu reduzieren, indem die Daten in eine Reihe unabhängiger Faktoren zerlegt werden. Es hat viele Anwendungen, wie z. B. kann die Modellberechnung vereinfacht werden, indem die Anzahl der Vorhersagefaktoren reduziert wird.

Related Read: Lineare Regression beim maschinellen Lernen

Fazit

Vor dem Aufbau des Regressionsmodells sollten Sie immer das Problem der Multikollinearität prüfen. Um jede unabhängige Variable einfach zu betrachten, wird VIF empfohlen, um zu sehen, ob sie eine beträchtliche Korrelation mit dem Rest haben. Die Korrelationsmatrix kann bei der Auswahl der wichtigen Faktoren helfen, wenn Sie sich nicht sicher sind, welche Variablen Sie auswählen sollten. Es hilft auch zu verstehen, warum einige Variablen einen hohen VIF-Wert haben.

Wenn Sie mehr über maschinelles Lernen erfahren möchten, sehen Sie sich das PG-Diplom in maschinellem Lernen und KI von IIIT-B & upGrad an, das für Berufstätige konzipiert ist und mehr als 450 Stunden strenge Schulungen, mehr als 30 Fallstudien und Aufgaben bietet, IIIT- B-Alumni-Status, mehr als 5 praktische, praktische Abschlussprojekte und Jobunterstützung bei Top-Unternehmen.