Insaccamento vs potenziamento nell'apprendimento automatico: differenza tra insacco e potenziamento

A causa della proliferazione delle applicazioni di apprendimento automatico e dell'aumento della potenza di calcolo, i data scientist hanno intrinsecamente implementato algoritmi nei set di dati. La chiave per l'implementazione di un algoritmo è il modo in cui vengono prodotti bias e varianza. I modelli con bassa distorsione sono generalmente preferiti.

Le organizzazioni utilizzano tecniche di apprendimento automatico supervisionato come alberi decisionali per prendere decisioni migliori e generare maggiori profitti. Diversi alberi decisionali, se combinati, creano metodi di insieme e forniscono risultati predittivi.

Lo scopo principale dell'utilizzo di un modello d'insieme è quello di raggruppare un insieme di studenti deboli e formare uno studente forte. Il modo in cui viene eseguito è definito nelle due tecniche: Bagging e Boosting che funzionano in modo diverso e vengono utilizzate in modo intercambiabile per ottenere risultati migliori con elevata precisione e accuratezza e meno errori. Con i metodi dell'insieme, più modelli vengono riuniti per produrre un modello potente.

Questo post sul blog introdurrà vari concetti di apprendimento d'insieme. In primo luogo, la comprensione del metodo dell'insieme aprirà percorsi verso metodi relativi all'apprendimento e alla progettazione di soluzioni adattate. Inoltre, discuteremo i concetti estesi di Bagging e Boosting per avere un'idea chiara ai lettori di come differiscono questi due metodi, delle loro applicazioni di base e dei risultati predittivi ottenuti da entrambi.

Partecipa ai corsi online di Machine Learning delle migliori università del mondo: master, programmi post-laurea per dirigenti e programma di certificazione avanzata in ML e AI per accelerare la tua carriera.

Che cos'è un metodo di ensemble?

L'ensemble è un metodo utilizzato nell'algoritmo di apprendimento automatico. In questo metodo, più modelli o "studenti deboli" vengono formati per correggere lo stesso problema e integrati per ottenere i risultati desiderati. I modelli deboli combinati giustamente danno modelli accurati.

In primo luogo, i modelli di base sono necessari per impostare un metodo di apprendimento d'insieme che verrà raggruppato in seguito. Negli algoritmi di Bagging e Boosting, viene utilizzato un unico algoritmo di apprendimento di base. La ragione di ciò è che avremo a portata di mano studenti omogenei deboli, che saranno formati in modi diversi.

Il modello d'insieme realizzato in questo modo sarà infine chiamato modello omogeneo. Ma la storia non finisce qui. Esistono alcuni metodi in cui sono implicati anche diversi tipi di algoritmi di apprendimento di base con studenti eterogenei deboli che creano un "modello di insieme eterogeneo". Ma in questo blog, ci occuperemo solo del precedente modello di ensemble e discuteremo i due metodi di ensemble più popolari.

1. Il bagging è un modello omogeneo degli studenti deboli che impara gli uni dagli altri indipendentemente in parallelo e li combina per determinare la media del modello.
2. Anche il boosting è un modello omogeneo degli studenti deboli, ma funziona in modo diverso dal Bagging. In questo modello, gli studenti apprendono in modo sequenziale e adattivo per migliorare le previsioni del modello di un algoritmo di apprendimento.

Quello era insaccamento e potenziamento a colpo d'occhio. Diamo un'occhiata a entrambi in dettaglio. Alcuni dei fattori che causano errori nell'apprendimento sono rumore, bias e varianza. Il metodo dell'insieme viene applicato per ridurre questi fattori determinando la stabilità e l'accuratezza del risultato.

Leggi anche: Idee per progetti di apprendimento automatico

Insaccamento

Bagging è l'acronimo di "Bootstrap Aggregation" e viene utilizzato per diminuire la varianza nel modello di previsione. Il bagging è un metodo parallelo che si adatta a discenti diversi, considerati indipendentemente l'uno dall'altro, rendendo possibile la loro formazione simultanea.

Il bagging genera dati aggiuntivi per l'addestramento dal set di dati. Ciò si ottiene mediante campionamento casuale con sostituzione dal set di dati originale. Il campionamento con sostituzione può ripetere alcune osservazioni in ogni nuovo set di dati di addestramento. Ogni elemento in Bagging è ugualmente probabile che appaia in un nuovo set di dati.

Questi set di dati multipli vengono utilizzati per addestrare più modelli in parallelo. Viene calcolata la media di tutte le previsioni di diversi modelli di ensemble. In sede di graduatoria si tiene conto del voto di maggioranza ottenuto dal meccanismo di voto. Il bagging riduce la varianza e sintonizza la previsione su un risultato atteso.

Esempio di insacco:

Il modello Random Forest utilizza Bagging, dove sono presenti modelli di albero decisionale con varianza maggiore. Effettua una selezione casuale delle caratteristiche per far crescere gli alberi. Diversi alberi casuali creano una foresta casuale.

Potenziamento

Il boosting è un metodo di insieme sequenziale che regola iterativamente il peso dell'osservazione secondo l'ultima classificazione. Se un'osservazione è classificata in modo errato, aumenta il peso di tale osservazione. Il termine "Boost" in un linguaggio profano, si riferisce ad algoritmi che convertono uno studente debole in uno più forte. Riduce l'errore di bias e crea modelli predittivi solidi.

I punti dati predetti erroneamente in ogni iterazione vengono individuati e il loro peso viene aumentato. L'algoritmo Boosting assegna i pesi a ciascun modello risultante durante l'addestramento. A uno studente con buoni risultati di previsione dei dati di allenamento verrà assegnato un peso maggiore. Quando si valuta un nuovo studente, Boosting tiene traccia degli errori dello studente.

Esempio di potenziamento:

AdaBoost utilizza tecniche di potenziamento, in cui è richiesto un errore del 50% in meno per mantenere il modello. Qui, Boosting può mantenere o scartare un singolo studente. In caso contrario, l'iterazione viene ripetuta fino al raggiungimento di uno studente migliore.

Somiglianze e differenze tra insacco e potenziamento

Il bagging e il boosting, essendo entrambi i metodi comunemente usati, hanno una somiglianza universale nell'essere classificati come metodi d'insieme. Qui evidenzieremo più somiglianze tra loro, seguite dalle differenze che hanno l'una dall'altra. Cominciamo prima con le somiglianze poiché comprenderle renderà più facile la comprensione delle differenze.

Insacco e potenziamento: somiglianze

1. Il Bagging e il Boosting sono metodi d'insieme incentrati sull'ottenere N studenti da un singolo studente.
2. Il bagging e il boosting effettuano campionamenti casuali e generano diversi set di dati di addestramento
3. Insaccamento e potenziamento arrivano alla decisione finale facendo una media di N studenti o prendendo il grado di voto fatto dalla maggior parte di loro.
4. Il bagging e il boosting riducono la varianza e forniscono una maggiore stabilità riducendo al minimo gli errori.

Leggi: Spiegazione dei modelli di apprendimento automatico

Insacco e potenziamento: differenze

Come abbiamo già detto,

Il bagging è un metodo per unire lo stesso tipo di previsioni. Il boosting è un metodo per unire diversi tipi di previsioni.

Il bagging riduce la varianza, non la distorsione, e risolve i problemi di overfitting in un modello. Il potenziamento riduce la distorsione, non la varianza.

In Bagging, ogni modello riceve un peso uguale. In Boosting, i modelli vengono pesati in base alle loro prestazioni.

I modelli sono costruiti in modo indipendente in Bagging. I nuovi modelli sono influenzati dalle prestazioni di un modello costruito in precedenza in Potenziamento.

In Bagging, i sottoinsiemi di dati di addestramento vengono estratti casualmente con una sostituzione del set di dati di addestramento. In Boosting, ogni nuovo sottoinsieme comprende gli elementi che sono stati classificati erroneamente dai modelli precedenti.

L'insacco viene solitamente applicato laddove il classificatore è instabile e presenta una varianza elevata. L'aumento viene solitamente applicato quando il classificatore è stabile e semplice e ha un'elevata polarizzazione.

Insacco e potenziamento: un riassunto conclusivo

Ora che abbiamo descritto a fondo i concetti di Bagging e Boosting, siamo arrivati ​​alla fine dell'articolo e possiamo concludere come entrambi siano ugualmente importanti in Data Science e dove applicarli in un modello dipenda dagli insiemi di dati forniti, dal loro simulazione e le circostanze date. Pertanto, da un lato, in un modello Random Forest viene utilizzato il Bagging e il modello AdaBoost implica l'algoritmo Boosting.

Le prestazioni di un modello di apprendimento automatico vengono calcolate confrontando la precisione dell'addestramento con l'accuratezza della convalida, ottenuta suddividendo i dati in due insiemi: l'insieme di addestramento e l'insieme di convalida. Il set di addestramento viene utilizzato per addestrare il modello e il set di convalida viene utilizzato per la valutazione.

Puoi controllare il programma Executive PG di IIT Delhi in Machine Learning in associazione con upGrad . IIT Delhi è una delle istituzioni più prestigiose in India. Con più di oltre 500 docenti interni che sono i migliori nelle materie.