5 rodzajów algorytmów klasyfikacji w uczeniu maszynowym [2022]

Wstęp

Uczenie maszynowe to jeden z najważniejszych tematów w Sztucznej Inteligencji. Jest on dalej podzielony na uczenie nadzorowane i nienadzorowane, które można powiązać z analizą danych oznaczonych i nieoznakowanych lub przewidywaniem danych. W uczeniu nadzorowanym mamy jeszcze dwa rodzaje problemów biznesowych, zwane regresją i klasyfikacją.

Klasyfikacja to algorytm uczenia maszynowego, w którym otrzymujemy oznaczone dane jako dane wejściowe i musimy przewidzieć dane wyjściowe do klasy. Jeśli istnieją dwie klasy, nazywa się to klasyfikacją binarną. Jeśli istnieje więcej niż dwie klasy, nazywa się to klasyfikacją wieloklasową. W rzeczywistych scenariuszach mamy tendencję do obserwowania obu typów Klasyfikacji.

W tym artykule przyjrzymy się kilku rodzajom algorytmów klasyfikacji wraz z ich zaletami i wadami. Dostępnych jest tak wiele algorytmów klasyfikacji, ale skupmy się na poniższych 5 algorytmach:

1. Regresja logistyczna
2. K Najbliższy sąsiad
3. Drzewa decyzyjne
4. Losowy las
5. Maszyny wektorów nośnych

1. Regresja logistyczna

Chociaż nazwa sugeruje regresję, jest to algorytm klasyfikacji. Regresja logistyczna to statystyczna metoda klasyfikacji danych, w której istnieje co najmniej jedna niezależna zmienna lub cecha określająca wynik mierzony za pomocą zmiennej (TARGET), która ma dwie lub więcej klas. Jego głównym celem jest znalezienie najlepiej dopasowanego modelu opisującego związek między zmienną docelową a zmiennymi niezależnymi.

Plusy

1) Łatwy do wdrożenia, interpretacji i skuteczny w szkoleniu, ponieważ nie przyjmuje żadnych założeń i jest szybki w klasyfikowaniu.

2) Może być używany do klasyfikacji wieloklasowej.

3) Jest mniej podatny na nadmierne dopasowanie, ale przesadza w wielowymiarowych zestawach danych.

Cons

1) Overfits, gdy obserwacje są mniejsze niż cechy.

2) Działa tylko z funkcjami dyskretnymi.

3) Nieliniowych problemów nie da się rozwiązać.

4) Trudne do nauczenia się złożonych wzorców, a sieci neuronowe zwykle je przewyższają.

2. K Najbliższy sąsiad

Algorytm K-najbliższych sąsiadów (KNN) wykorzystuje technikę „podobieństwa cech” lub „najbliżsi sąsiedzi” do przewidywania klastra, do którego należy nowy punkt danych. Poniżej kilka kroków, na podstawie których możemy lepiej zrozumieć działanie tego algorytmu

Krok 1 – Do implementacji dowolnego algorytmu w uczeniu maszynowym potrzebujemy oczyszczonego zestawu danych gotowych do modelowania. Załóżmy, że mamy już wyczyszczony zbiór danych, który został podzielony na zbiór danych uczących i testowych.

Krok 2 − Ponieważ mamy już gotowe zestawy danych, musimy wybrać wartość K (liczba całkowita), która mówi nam, ile najbliższych punktów danych musimy wziąć pod uwagę, aby zaimplementować algorytm. Jak określić wartość k, możemy dowiedzieć się w dalszych etapach artykułu.

Krok 3 – Ten krok jest etapem iteracyjnym i należy go zastosować dla każdego punktu danych w zbiorze danych

1. Oblicz odległość między danymi testowymi a każdym rzędem danych treningowych za pomocą dowolnego miernika odległości
2. Odległość euklidesowa
3. Odległość Manhattanu
4. Odległość Minkowskiego
5. Odległość Hamminga.

Wielu naukowców zajmujących się danymi ma tendencję do używania odległości euklidesowych, ale możemy poznać znaczenie każdego z nich w dalszej części tego artykułu.

Musimy posortować dane na podstawie miernika odległości, którego użyliśmy w powyższym kroku.

Wybierz górne K wierszy w przekształconych posortowanych danych.

Następnie przypisze klasę do punktu testowego na podstawie najczęstszej klasy tych wierszy.

Krok 4 – Koniec

Plusy

1. Łatwy w użyciu, zrozumieniu i interpretacji.
2. Szybki czas obliczeń.
3. Brak założeń dotyczących danych.
4. Wysoka dokładność prognoz.
5. Wszechstronny — może być używany zarówno w przypadku problemów biznesowych z klasyfikacją, jak i regresją.
6. Może być również używany do problemów z wieloma klasami.
7. Mamy tylko jeden parametr Hyper do dostrojenia w kroku Hyperparameter Tuning.

Cons

1. Kosztowne obliczeniowo i wymaga dużej ilości pamięci, ponieważ algorytm przechowuje wszystkie dane treningowe.
2. Algorytm staje się wolniejszy wraz ze wzrostem zmiennych.
3. Jest bardzo wrażliwy na nieistotne cechy.
4. Przekleństwo wymiarowości.
5. Wybór optymalnej wartości K.
6. Niezrównoważony zestaw danych klas spowoduje problem.
7. Brakujące wartości w danych również powodują problem.

Przeczytaj: Pomysły na projekty uczenia maszynowego

3. Drzewa decyzyjne

Drzewa decyzyjne mogą być używane zarówno do klasyfikacji, jak i regresji, ponieważ mogą obsługiwać zarówno dane liczbowe, jak i kategoryczne. Dzieli zestaw danych na coraz mniejsze podzbiory lub węzły w miarę rozwoju drzewa. Drzewo decyzyjne zawiera dane wyjściowe z węzłami decyzyjnymi i liśćmi, w których węzeł decyzyjny ma co najmniej dwie gałęzie, podczas gdy węzeł liścia reprezentuje decyzję. Najwyższy węzeł odpowiadający najlepszemu predyktorowi nazywany jest węzłem głównym.

Plusy

1. Proste do zrozumienia
2. Łatwa wizualizacja
3. Mniej danych Interpretacja
4. Obsługuje zarówno dane liczbowe, jak i kategoryczne.

Cons

1. Czasami nie uogólniają dobrze
2. Niestabilny na zmiany w danych wejściowych

4. Losowe lasy

Lasy losowe to zespołowa metoda uczenia się, której można użyć do klasyfikacji i regresji. Działa poprzez skonstruowanie kilku drzew decyzyjnych i wyprowadza wyniki, biorąc średnią wszystkich drzew decyzyjnych w regresji lub głosowaniu większościowym w problemach klasyfikacji. Już sama nazwa wskazuje, że grupa drzew nazywa się Lasem.

Plusy

1. Może obsługiwać duże zbiory danych.
2. Podaje znaczenie zmiennych.
3. Potrafi obsłużyć brakujące wartości.

Cons

1. Jest to algorytm czarnej skrzynki.
2. Powolne przewidywanie w czasie rzeczywistym i złożone algorytmy.

5. Wsparcie maszyn wektorowych

Maszyna wektorów nośnych jest reprezentacją zbioru danych w postaci punktów w przestrzeni rozdzielonych na kategorie wyraźną przerwą lub linią, która jest możliwie najdalej wysunięta. Nowe punkty danych są teraz mapowane w tej samej przestrzeni i klasyfikowane jako należące do kategorii na podstawie tego, po której stronie linii lub separacji leżą.

Plusy

1. Działa najlepiej w przestrzeniach wielowymiarowych.
2. Wykorzystuje podzbiór treningowych punktów danych w funkcji decyzyjnej, co czyni go algorytmem wydajnym pamięciowo.

Cons

1. Nie poda szacunków prawdopodobieństwa.
2. Potrafi obliczyć szacunki prawdopodobieństwa za pomocą walidacji krzyżowej, ale jest to czasochłonne.

Przeczytaj także: Kariera w uczeniu maszynowym

Wniosek

W tym artykule omówiliśmy 5 algorytmów klasyfikacji, ich krótkie definicje, zalety i wady. To tylko kilka algorytmów, które omówiliśmy, ale istnieją bardziej wartościowe algorytmy, takie jak naiwne Bayes, sieci neuronowe, uporządkowana regresja logistyczna. Nie można powiedzieć, który algorytm działa dobrze dla którego problemu, więc najlepszą praktyką jest wypróbowanie kilku i wybranie ostatecznego modelu na podstawie metryk oceny.

Jeśli chcesz dowiedzieć się więcej o uczeniu maszynowym, sprawdź dyplom PG IIIT-B i upGrad w uczeniu maszynowym i sztucznej inteligencji, który jest przeznaczony dla pracujących profesjonalistów i oferuje ponad 450 godzin rygorystycznego szkolenia, ponad 30 studiów przypadków i zadań, IIIT- Status absolwenta B, ponad 5 praktycznych, praktycznych projektów zwieńczenia i pomoc w pracy z najlepszymi firmami.