Walidacja krzyżowa w uczeniu maszynowym: 4 rodzaje walidacji krzyżowej

Wstęp

Opracowywanie modeli jest kluczowym krokiem w cyklu życia projektu Data Science, w którym postaramy się przeszkolić nasz zbiór danych za pomocą różnych typów modeli uczenia maszynowego, zarówno nadzorowanych, jak i nienadzorowanych algorytmów opartych na problemie biznesowym.

Ponieważ zdajemy sobie sprawę, że mamy wiele modeli, które można wykorzystać do rozwiązania problemu biznesowego, musimy zapewnić, że dowolny model, który wybierzemy na końcu tej fazy, powinien dobrze działać na niewidocznych danych. Dlatego nie możemy po prostu skorzystać z metryk oceny, aby wybrać nasz najskuteczniejszy model.

Potrzebujemy czegoś więcej poza metryką, która pomoże nam zdecydować o ostatecznym modelu uczenia maszynowego, który możemy wdrożyć do produkcji.

Proces określania, czy wyniki matematyczne obliczające relacje między zmiennymi są akceptowalne jako opisy danych, jest znany jako Walidacja . Zwykle oszacowanie błędu dla modelu jest wykonywane po uczeniu modelu na zestawie danych pociągu, lepiej znanego jako ocena reszt.

W tym procesie mierzymy błąd treningu , obliczając różnicę między przewidywaną reakcją a pierwotną reakcją. Ale tej metryce nie można ufać, ponieważ działa dobrze tylko z danymi uczącymi. Możliwe, że model jest niedopasowany lub przesadnie dopasowany do danych.

Tak więc problem z tą techniką oceny lub jakąkolwiek inną metryką oceny polega na tym, że nie daje ona wskazówki, jak dobrze model będzie działać w przypadku niewidocznego zestawu danych. Technika, która pomaga dowiedzieć się tego o naszym modelu, jest znana jako Cross-Validation .

W tym artykule dowiemy się więcej o różnych rodzajach technik walidacji krzyżowej, zaletach i wadach każdej techniki. Zacznijmy od definicji walidacji krzyżowej.

Weryfikacja krzyżowa

Cross-Validation to technika ponownego próbkowania, która pomaga zapewnić naszemu modelowi pewność co do wydajności i dokładności na niewidocznych danych. Jest to metoda oceny modeli uczenia maszynowego poprzez trenowanie kilku innych modeli uczenia maszynowego na podzbiorach dostępnego zestawu danych wejściowych i ocenianie ich na podzbiorze zestawu danych.

Mamy różne rodzaje technik walidacji krzyżowej, ale zobaczmy podstawową funkcjonalność walidacji krzyżowej: Pierwszym krokiem jest podzielenie oczyszczonego zestawu danych na partycje K o równym rozmiarze.

1. Następnie musimy potraktować Fold-1 jako fałd testowy, podczas gdy inne K-1 jako fałdy pociągowe i obliczyć wynik dla fałdy testowej.
2. Musimy powtórzyć krok 2 dla wszystkich fałd, biorąc kolejny fałd jako test, pozostając jako pociąg.
3. Ostatnim krokiem byłoby wzięcie średniej wyników ze wszystkich fałd.

Przeczytaj: Projekty uczenia maszynowego dla początkujących

Rodzaje walidacji krzyżowej

1. Metoda wstrzymania

Ta technika polega na usunięciu części zestawu danych szkoleniowych i wysłaniu jej do modelu, który został przeszkolony na pozostałej części zestawu danych, aby uzyskać prognozy. Następnie obliczamy oszacowanie błędu, które mówi, jak nasz model radzi sobie z niewidocznymi zestawami danych. Jest to znane jako metoda wstrzymania.

Plusy

1. Ta metoda jest w pełni niezależna od danych.
2. Ta metoda musi być uruchomiona tylko raz, więc ma niższe koszty obliczeniowe.

Cons

1. Wydajność podlega większej rozbieżności ze względu na mniejszy rozmiar danych.

2. Weryfikacja krzyżowa K-Fold

W świecie opartym na danych nigdy nie ma wystarczającej ilości danych do trenowania modelu, ponadto usunięcie jego części do walidacji stwarza większy problem niedopasowania i ryzykujemy utratę ważnych wzorców i trendów w naszym zbiorze danych, co z kolei zwiększa Bias. Idealnie więc, potrzebujemy metody, która zapewnia wystarczającą ilość danych do trenowania modelu i pozostawia wystarczającą ilość danych dla zestawów walidacyjnych.

W walidacji krzyżowej K-Fold dane są dzielone na k podzbiorów lub możemy przyjąć je jako metodę wstrzymania powtarzaną k razy, tak że za każdym razem jeden z k podzbiorów jest używany jako zbiór walidacyjny, a drugi k-1 podzbiory jako zbiór uczący. Błąd jest uśredniany ze wszystkich k prób, aby uzyskać całkowitą wydajność naszego modelu.

Widzimy, że każdy punkt danych będzie w zbiorze walidacyjnym dokładnie raz i będzie w zbiorze uczącym czas k-1. Pomaga nam to zredukować błąd systematyczny, ponieważ większość danych wykorzystujemy do dopasowania i zmniejsza wariancję, ponieważ większość danych jest również wykorzystywana w zestawie walidacyjnym.

Plusy

1. Pomoże to przezwyciężyć problem mocy obliczeniowej.
2. Modele mogą nie ulec znacznemu wpływowi, jeśli w danych występują wartości odstające.
3. Pomaga nam przezwyciężyć problem zmienności.

Cons

1. Niezrównoważone zbiory danych wpłyną na nasz model.

3. Stratyfikowana walidacja krzyżowa K-Fold

Technika walidacji krzyżowej K Fold nie będzie działać zgodnie z oczekiwaniami dla zestawu danych niezrównoważonych. Kiedy mamy niezrównoważony zestaw danych, potrzebujemy niewielkiej zmiany w technice walidacji krzyżowej K-Fold, tak aby każdy fold zawierał w przybliżeniu te same warstwy próbek każdej klasy wyjściowej, co kompletne. Ta odmiana używania warstwy w walidacji krzyżowej K-fold jest znana jako warstwowa walidacja krzyżowa K-fold.

Plusy

1. Może ulepszać różne modele za pomocą dostrajania hiperparametrów.
2. Pomaga nam porównać modele.
3. Pomaga w zmniejszeniu zarówno odchylenia, jak i wariancji.

4. Opuść weryfikację krzyżową z wypisem

W tym podejściu pozostawiamy p punktów danych z danych uczących z łącznej liczby n punktów danych, następnie np próbki są używane do trenowania modelu, a p punktów jest używanych jako zestaw walidacyjny. Powtarza się to dla wszystkich kombinacji, a następnie uśrednia się błąd.

Plusy

1. Ma zero losowości
2. Odchylenie będzie niższe

Cons

1. Ta metoda jest wyczerpująca i niewykonalna obliczeniowo.

Przeczytaj także: Kariera w uczeniu maszynowym

Wniosek

W tym artykule dowiedzieliśmy się o znaczeniu walidacji modelu uczenia maszynowego w cyklu życia projektu Data Science, dowiedzieliśmy się, co to jest walidacja i walidacja krzyżowa, zbadaliśmy różne rodzaje technik walidacji krzyżowej, poznaliśmy kilka zalety i wady tych technik.

Jeśli chcesz dowiedzieć się więcej o uczeniu maszynowym, sprawdź dyplom PG IIIT-B i upGrad w uczeniu maszynowym i sztucznej inteligencji, który jest przeznaczony dla pracujących profesjonalistów i oferuje ponad 450 godzin rygorystycznego szkolenia, ponad 30 studiów przypadków i zadań, IIIT- Status absolwenta B, ponad 5 praktycznych, praktycznych projektów zwieńczenia i pomoc w pracy z najlepszymi firmami.