Grupowanie a klasyfikacja: różnica między grupowaniem a klasyfikacją

Wstęp

Algorytmy uczenia maszynowego są ogólnie kategoryzowane w oparciu o typ zmiennej wyjściowej i rodzaj problemu, który należy rozwiązać. Algorytmy te są ogólnie podzielone na trzy typy, tj. regresję, klastrowanie i klasyfikację. Regresja i klasyfikacja to rodzaje nadzorowanych algorytmów uczenia się, podczas gdy klastrowanie jest rodzajem algorytmu nienadzorowanego.

Gdy zmienna wyjściowa jest ciągła, jest to problem regresji, natomiast gdy zawiera wartości dyskretne, jest to problem klasyfikacji. Algorytmy klastrowania są zwykle używane, gdy musimy utworzyć klastry w oparciu o charakterystykę punktów danych. Ten artykuł koncentruje się na krótkim wprowadzeniu do grupowania, klasyfikacji i wymienieniu niektórych różnic między nimi.

Klasyfikacja

Klasyfikacja to rodzaj nadzorowanego algorytmu uczenia maszynowego. Dla dowolnego wejścia algorytmy klasyfikacji pomagają w przewidywaniu klasy zmiennej wyjściowej. Może istnieć wiele typów klasyfikacji, takich jak klasyfikacja binarna, klasyfikacja wieloklasowa itp. Zależy to od liczby klas w zmiennej wyjściowej.

Rodzaje algorytmów klasyfikacji

Regresja logistyczna : – Jest to jeden z modeli liniowych, który można wykorzystać do klasyfikacji. Wykorzystuje funkcję sigmoidalną do obliczenia prawdopodobieństwa wystąpienia określonego zdarzenia. Jest to idealna metoda klasyfikacji zmiennych binarnych.

K-Nearest Neighbors (kNN) : – Wykorzystuje metryki odległości, takie jak odległość euklidesowa, odległość Manhattan itp., aby obliczyć odległość jednego punktu danych od każdego innego punktu danych. Aby sklasyfikować dane wyjściowe, potrzeba większości głosów od k najbliższych sąsiadów każdego punktu danych.

Drzewa decyzyjne : – Jest to model nieliniowy, który przezwycięża kilka wad algorytmów liniowych, takich jak regresja logistyczna. Buduje model klasyfikacji w postaci struktury drzewiastej obejmującej węzły i liście. Algorytm ten obejmuje wiele instrukcji if-else, które pomagają rozbić strukturę na mniejsze struktury i ostatecznie dostarczyć ostateczny wynik. Może być używany do problemów regresji, a także klasyfikacji.

Losowy las : – Jest to metoda uczenia zespołowego, która obejmuje wiele drzew decyzyjnych w celu przewidzenia wyniku zmiennej docelowej. Każde drzewo decyzyjne zapewnia własny wynik. W przypadku problemu z klasyfikacją, większość tych drzew decyzyjnych wymaga większości głosów, aby sklasyfikować ostateczny wynik. W przypadku problemu regresji przyjmuje średnią wartości przewidywanych przez drzewa decyzyjne.

Naiwny Bayes : – Jest to algorytm oparty na twierdzeniu Bayesa. Zakłada, że ​​jakakolwiek konkretna cecha jest niezależna od włączenia innych cech. tzn. nie są ze sobą skorelowane. Ogólnie rzecz biorąc, nie działa dobrze ze złożonymi danymi ze względu na to założenie, ponieważ w większości zestawów danych istnieje pewien rodzaj relacji między funkcjami.

Support Vector Machine : – Reprezentuje punkty danych w przestrzeni wielowymiarowej. Te punkty danych są następnie segregowane na klasy za pomocą hiperpłaszczyzn. Wykreśla n-wymiarową przestrzeń dla liczby n cech w zbiorze danych, a następnie próbuje utworzyć hiperpłaszczyzny tak, aby dzieliła punkty danych z maksymalnym marginesem.

Przeczytaj: Typowe przykłady eksploracji danych.

Aplikacje

• Wykrywanie spamu w wiadomościach e-mail.
• Rozpoznawanie twarzy.
• Identyfikacja, czy klient odejdzie, czy nie.
• Zatwierdzenie kredytu bankowego.

Grupowanie

Klastrowanie to rodzaj nienadzorowanego algorytmu uczenia maszynowego. Służy do grupowania punktów danych o podobnych cechach jak klastry. Idealnie, punkty danych w tym samym klastrze powinny wykazywać podobne właściwości, a punkty w różnych klastrach powinny być jak najbardziej odmienne.

Klastrowanie dzieli się na dwie grupy – klastrowanie twarde i klastrowanie miękkie. W twardym grupowaniu punkt danych jest przypisywany tylko do jednego z klastrów, podczas gdy w miękkim grupowaniu zapewnia prawdopodobieństwo, że punkt danych znajdzie się w każdym z klastrów.

Rodzaje algorytmów klastrowania

Grupowanie k-średnich : – inicjuje wstępnie zdefiniowaną liczbę k skupień i wykorzystuje metryki odległości do obliczenia odległości każdego punktu danych od środka ciężkości każdego skupienia. Przypisuje punkty danych do jednego z k klastrów na podstawie ich odległości.

Aglomeracyjne grupowanie hierarchiczne (podejście oddolne) : – traktuje każdy punkt danych jako klaster i łączy te punkty danych na podstawie miernika odległości i kryterium, które jest używane do łączenia tych klastrów.

Podziałowe grupowanie hierarchiczne (podejście od góry do dołu) : – Inicjuje ze wszystkimi punktami danych jako jednym skupieniem i dzieli te punkty danych na podstawie metryki odległości i kryterium. Grupowanie aglomeracyjne i podziałowe może być przedstawione jako dendrogram, a liczba klastrów, które należy wybrać, odwołuje się do tego samego.

DBSCAN (przestrzenne klastrowanie aplikacji z szumem na podstawie gęstości) : – Jest to metoda klastrowania oparta na gęstości. Algorytmy takie jak K-Means działają dobrze na klastrach, które są dość odseparowane i tworzą klastry o kulistym kształcie. DBSCAN jest używany, gdy dane mają dowolny kształt, a także są mniej wrażliwe na wartości odstające. Grupuje punkty danych, które mają wiele sąsiednich punktów danych w określonym promieniu.

OPTYKA (Punkty porządkowania do identyfikacji struktury klastrów) : – Jest to inny rodzaj metody klastrowania opartej na gęstości i jest podobny w procesie do DBSCAN, z tym wyjątkiem, że uwzględnia kilka dodatkowych parametrów. Ale jest bardziej złożony obliczeniowo niż DBSCAN. Ponadto nie rozdziela punktów danych na klastry, ale tworzy wykres osiągalności, który może pomóc w interpretacji tworzenia klastrów.

BIRCH (Balanced Iterative Reducing and Clustering using Hierarchies) : – Tworzy klastry, generując podsumowanie danych. Działa dobrze z ogromnymi zestawami danych, ponieważ najpierw podsumowuje dane, a następnie używa ich do tworzenia klastrów. Może jednak zajmować się tylko atrybutami liczbowymi, które można przedstawić w przestrzeni.

Przeczytaj także: Algorytmy eksploracji danych, które powinieneś znać

Aplikacje

• Segmentacja bazy konsumenckiej na rynku.
• Analiza sieci społecznościowej.
• Segmentacja obrazu.
• Systemy rekomendacji.

Różnica między klastrowaniem a klasyfikacją

1. Typ : – Grupowanie to metoda uczenia się nienadzorowanego, podczas gdy klasyfikacja to metoda uczenia nadzorowanego.
2. Proces : – W przypadku grupowania punkty danych są grupowane jako klastry na podstawie ich podobieństwa. Klasyfikacja polega na sklasyfikowaniu danych wejściowych jako jednej z etykiet klas ze zmiennej wyjściowej.
3. Predykcja : – Klasyfikacja obejmuje predykcję zmiennej wejściowej na podstawie budowy modelu. Grupowanie jest zwykle używane do analizy danych i wyciągania z nich wniosków w celu lepszego podejmowania decyzji.
4. Podział danych : – Algorytmy klasyfikacji wymagają podziału danych jako danych uczących i testowych w celu przewidywania i oceny modelu. Algorytmy klastrowania nie wymagają dzielenia danych do ich wykorzystania.
5. Etykieta danych : – Algorytmy klasyfikacji zajmują się danymi oznaczonymi, podczas gdy algorytmy grupowania zajmują się danymi nieoznakowanymi.
6. Etapy : – Proces klasyfikacji obejmuje dwa etapy – Szkolenie i Testowanie. Proces klastrowania obejmuje jedynie grupowanie danych.
7. Złożoność : – Ponieważ klasyfikacja obejmuje większą liczbę etapów, złożoność algorytmów klasyfikacji jest wyższa niż algorytmów grupowania, których celem jest jedynie pogrupowanie danych.

Wniosek

Metodologia klasyfikacji i grupowania jest inna, podobnie jak oczekiwany wynik ich algorytmów. Krótko mówiąc, zarówno klasyfikacja, jak i grupowanie służą do rozwiązywania różnych problemów. Artykuł ten zawierał krótkie wprowadzenie do klasyfikacji i grupowania.

Czytamy również trochę o różnych typach algorytmów stosowanych w każdym przypadku wraz z kilkoma aplikacjami. Algorytmy wymienione w tym artykule nie są wyczerpujące. tzn. nie jest to pełna lista i istnieje wiele innych algorytmów, które można wykorzystać do rozwiązania takich problemów.

Jeśli jesteś ciekawy nauki o danych, sprawdź nasz dyplom PG w dziedzinie Data Science, który jest stworzony dla pracujących profesjonalistów i oferuje ponad 10 studiów przypadków i projektów, praktyczne warsztaty praktyczne, mentoring z ekspertami branżowymi, 1 na 1 z branżą mentorów, ponad 400 godzin nauki i pomocy w pracy w najlepszych firmach.