6 typów modeli regresji w uczeniu maszynowym, o których powinieneś wiedzieć

Wstęp

Regresja liniowa i regresja logistyczna to dwa rodzaje technik analizy regresji , które są używane do rozwiązywania problemu regresji za pomocą uczenia maszynowego. Są to najważniejsze techniki regresji. Istnieje jednak wiele rodzajów technik analizy regresji w uczeniu maszynowym, a ich użycie różni się w zależności od charakteru danych.

W tym artykule wyjaśnimy różne rodzaje regresji w uczeniu maszynowym i pod jakim warunkiem można zastosować każdy z nich. Jeśli jesteś nowy w uczeniu maszynowym, ten artykuł z pewnością pomoże Ci zrozumieć koncepcję modelowania regresji.

Co to jest analiza regresji?

Analiza regresji to predykcyjna technika modelowania, która analizuje związek między zmienną docelową lub zależną a zmienną niezależną w zbiorze danych. Różne typy technik analizy regresji są używane, gdy zmienna docelowa i zmienna niezależna wykazują między sobą liniową lub nieliniową zależność, a zmienna docelowa zawiera wartości ciągłe. Technika regresji jest wykorzystywana głównie do określenia siły predyktora, trendu prognozy, szeregów czasowych oraz w przypadku związku przyczynowo-skutkowego.

Analiza regresji jest podstawową techniką rozwiązywania problemów regresji w uczeniu maszynowym za pomocą modelowania danych. Polega na określeniu najlepszej linii dopasowania, czyli linii przechodzącej przez wszystkie punkty danych w taki sposób, że odległość linii od każdego punktu danych jest zminimalizowana.

Rodzaje technik analizy regresji

Istnieje wiele rodzajów technik analizy regresji , a zastosowanie każdej metody zależy od liczby czynników. Czynniki te obejmują typ zmiennej docelowej, kształt linii regresji oraz liczbę zmiennych niezależnych.

Poniżej znajdują się różne techniki regresji:

1. Regresja liniowa
2. Regresja logistyczna
3. Regresja grzbietowa
4. Regresja Lasso
5. Regresja wielomianowa
6. Bayesowska regresja liniowa

Poniżej szczegółowo wyjaśniono różne rodzaje regresji w technikach uczenia maszynowego:

1. Regresja liniowa

Regresja liniowa jest jednym z najbardziej podstawowych typów regresji w uczeniu maszynowym . Model regresji liniowej składa się ze zmiennej predykcyjnej i zmiennej zależnej powiązanych liniowo ze sobą. W przypadku, gdy dane obejmują więcej niż jedną zmienną niezależną, regresja liniowa nazywana jest wielokrotnymi modelami regresji liniowej.

Poniższe równanie służy do oznaczenia modelu regresji liniowej:

y=mx+c+e

gdzie m jest nachyleniem linii, c jest punktem przecięcia, a e reprezentuje błąd w modelu.

Źródło

Linia najlepszego dopasowania jest określana przez zmianę wartości m i c. Błąd predykcyjny to różnica między wartościami obserwowanymi a wartościami przewidywanymi. Wartości mic są dobierane w taki sposób, aby dać minimalny błąd predykcyjny. Należy zauważyć, że prosty model regresji liniowej jest podatny na wartości odstające. Dlatego nie należy go stosować w przypadku danych o dużych rozmiarach.

2. Regresja logistyczna

Regresja logistyczna jest jednym z rodzajów techniki analizy regresji, która jest stosowana, gdy zmienna zależna jest dyskretna. Przykład: 0 lub 1, prawda lub fałsz itd. Oznacza to, że zmienna docelowa może mieć tylko dwie wartości, a krzywa sigmoidalna oznacza relację między zmienną docelową a zmienną niezależną.

Funkcja logit jest używana w regresji logistycznej do pomiaru relacji między zmienną docelową a zmiennymi niezależnymi. Poniżej znajduje się równanie oznaczające regresję logistyczną.

logit(p) = ln(p/(1-p)) = b0+b1X1+b2X2+b3X3….+bkXk

gdzie p jest prawdopodobieństwem wystąpienia cechy.

Źródło

Przy wyborze regresji logistycznej, jako techniki analizy regresji, należy zauważyć, że rozmiar danych jest duży, przy prawie równym występowaniu wartości w zmiennych docelowych. Ponadto nie powinno być współliniowości, co oznacza, że ​​nie powinno być korelacji między zmiennymi niezależnymi w zbiorze danych.

3. Regresja grzbietowa

Źródło

Jest to kolejny rodzaj regresji w uczeniu maszynowym, który jest zwykle używany, gdy istnieje wysoka korelacja między zmiennymi niezależnymi. Dzieje się tak dlatego, że w przypadku danych wielokoliniowych szacunki metodą najmniejszych kwadratów dają wartości nieobciążone. Ale w przypadku, gdy kolinearność jest bardzo wysoka, może istnieć pewna wartość odchylenia. Dlatego do równania regresji grzbietowej wprowadzono macierz odchylenia. Jest to potężna metoda regresji, w której model jest mniej podatny na nadmierne dopasowanie.

Poniżej znajduje się równanie używane do oznaczenia regresji grzbietowej, w której wprowadzenie λ (lambda) rozwiązuje problem współliniowości:

β = (X^{T}X + λ*I)^{-1}X^{T}y

Sprawdź: 5 przełomowych zastosowań uczenia maszynowego

4. Regresja Lasso

Regresja Lasso to jeden z rodzajów regresji w uczeniu maszynowym , który dokonuje regularyzacji wraz z wyborem funkcji. Zabrania bezwzględnego rozmiaru współczynnika regresji. W rezultacie wartość współczynnika zbliża się do zera, co nie ma miejsca w przypadku regresji grzbietowej.

Z tego powodu selekcja cech jest wykorzystywana w regresji Lasso, która pozwala na wybranie zestawu cech z zestawu danych w celu zbudowania modelu. W przypadku regresji Lasso używane są tylko wymagane cechy, a pozostałe są zerowane. Pomaga to uniknąć nadmiernego dopasowania modelu. W przypadku, gdy zmienne niezależne są wysoce współliniowe, regresja Lasso wybiera tylko jedną zmienną i zmniejsza inne zmienne do zera.

Źródło

Poniżej znajduje się równanie reprezentujące metodę regresji Lasso:

N^{-1}Σ^{N}_{i=1}f(x_{i}, y_{I}, α, β)

5. Regresja wielomianowa

Regresja wielomianowa to kolejny rodzaj technik analizy regresji w uczeniu maszynowym, który jest taki sam jak wielomianowa regresja liniowa z niewielką modyfikacją. W regresji wielomianowej związek między zmiennymi niezależnymi i zależnymi, czyli X i Y, jest oznaczony n-tym stopniem.

Jest to model liniowy jako estymator. Metoda najmniejszych kwadratów jest również używana w regresji wielomianowej. Linia najlepszego dopasowania w regresji wielomianowej, która przechodzi przez wszystkie punkty danych, nie jest linią prostą, ale linią krzywą, która zależy od potęgi X lub wartości n.

Źródło

Podczas próby zredukowania błędu średniokwadratowego do minimum i uzyskania najlepszego dopasowania linii, model może być podatny na nadmierne dopasowanie. Zaleca się przeanalizowanie krzywej pod koniec, ponieważ wyższe wielomiany mogą dawać dziwne wyniki w ekstrapolacji.

Poniższe równanie przedstawia regresję wielomianową:

l = β0+ β0x1+ε

Przeczytaj: Pomysły na projekty uczenia maszynowego

6. Bayesowska regresja liniowa

Regresja Bayesowska to jeden z typów regresji w uczeniu maszynowym , który wykorzystuje twierdzenie Bayesa do określenia wartości współczynników regresji. W tej metodzie regresji zamiast znajdowania najmniejszych kwadratów określany jest rozkład cech a posteriori. Bayesowska regresja liniowa jest podobna do regresji liniowej i regresji grzbietowej, ale jest bardziej stabilna niż prosta regresja liniowa.

Źródło

Ucz się kursów AI i ML online z najlepszych uniwersytetów na świecie — Masters, Executive Post Graduate Programs i Advanced Certificate Program w ML & AI, aby przyspieszyć swoją karierę.

Wniosek

Oprócz powyższych metod regresji istnieje wiele innych rodzajów regresji w uczeniu maszynowym , w tym regresja elastyczna netto, regresja JackKnife'a, regresja krokowa i regresja ekologiczna.

Te różne rodzaje technik analizy regresji można wykorzystać do zbudowania modelu w zależności od rodzaju dostępnych danych lub takich, które zapewniają maksymalną dokładność. Możesz bardziej zgłębić te techniki lub przejść przez kurs nadzorowanej nauki na naszej stronie internetowej .

Jeśli chcesz dowiedzieć się więcej o uczeniu maszynowym, zapoznaj się z programem IIIT-B i upGrad Executive PG w zakresie uczenia maszynowego i sztucznej inteligencji , który jest przeznaczony dla pracujących profesjonalistów i oferuje ponad 450 godzin rygorystycznych szkoleń, ponad 30 studiów przypadków i zadań, IIIT Status -B Alumni, ponad 5 praktycznych praktycznych projektów zwieńczenia i pomoc w pracy z najlepszymi firmami.