6 tipi di modelli di regressione nell'apprendimento automatico che dovresti conoscere

introduzione

La regressione lineare e la regressione logistica sono due tipi di tecniche di analisi di regressione utilizzate per risolvere il problema di regressione utilizzando l'apprendimento automatico. Sono le tecniche più importanti di regressione. Tuttavia, esistono molti tipi di tecniche di analisi di regressione nell'apprendimento automatico e il loro utilizzo varia in base alla natura dei dati coinvolti.

Questo articolo spiegherà i diversi tipi di regressione nell'apprendimento automatico e in quali condizioni ciascuno di essi può essere utilizzato. Se non conosci l'apprendimento automatico, questo articolo ti aiuterà sicuramente a comprendere il concetto di modellazione di regressione.

Che cos'è l'analisi di regressione?

L'analisi di regressione è una tecnica di modellazione predittiva che analizza la relazione tra la variabile target o dipendente e la variabile indipendente in un set di dati. I diversi tipi di tecniche di analisi di regressione vengono utilizzati quando la variabile target e quella indipendente mostrano una relazione lineare o non lineare tra loro e la variabile target contiene valori continui. La tecnica di regressione viene utilizzata principalmente per determinare la forza del predittore, l'andamento della previsione, le serie temporali e in caso di relazione di causa ed effetto.

L'analisi di regressione è la tecnica principale per risolvere i problemi di regressione nell'apprendimento automatico utilizzando la modellazione dei dati. Implica la determinazione della linea di adattamento migliore, che è una linea che passa attraverso tutti i punti dati in modo tale da ridurre al minimo la distanza della linea da ciascun punto dati.

Tipi di tecniche di analisi di regressione

Esistono molti tipi di tecniche di analisi di regressione e l'uso di ciascun metodo dipende dal numero di fattori. Questi fattori includono il tipo di variabile target, la forma della retta di regressione e il numero di variabili indipendenti.

Di seguito sono elencate le diverse tecniche di regressione:

1. Regressione lineare
2. Regressione logistica
3. Regressione della cresta
4. Regressione con lazo
5. Regressione polinomiale
6. Regressione lineare bayesiana

Di seguito sono spiegati in dettaglio i diversi tipi di regressione nelle tecniche di apprendimento automatico:

1. Regressione lineare

La regressione lineare è uno dei tipi più basilari di regressione nell'apprendimento automatico . Il modello di regressione lineare è costituito da una variabile predittiva e da una variabile dipendente correlate linearmente tra loro. Nel caso in cui i dati coinvolgano più di una variabile indipendente, la regressione lineare viene chiamata modelli di regressione lineare multipla.

L'equazione di seguito viene utilizzata per denotare il modello di regressione lineare:

y=mx+c+e

dove m è la pendenza della linea, c è un'intercetta ed e rappresenta l'errore nel modello.

Fonte

La linea di miglior adattamento è determinata variando i valori di m e c. L'errore predittore è la differenza tra i valori osservati e il valore previsto. I valori di m e c vengono selezionati in modo tale da fornire l'errore predittore minimo. È importante notare che un modello di regressione lineare semplice è suscettibile di valori anomali. Pertanto, non dovrebbe essere utilizzato in caso di dati di grandi dimensioni.

2. Regressione logistica

La regressione logistica è uno dei tipi di tecnica di analisi di regressione, che viene utilizzata quando la variabile dipendente è discreta. Esempio: 0 o 1, vero o falso, ecc. Ciò significa che la variabile target può avere solo due valori e una curva sigmoidea denota la relazione tra la variabile target e la variabile indipendente.

La funzione Logit viene utilizzata nella regressione logistica per misurare la relazione tra la variabile target e le variabili indipendenti. Di seguito è riportata l'equazione che denota la regressione logistica.

logit(p) = ln(p/(1-p)) = b0+b1X1+b2X2+b3X3….+bkXk

dove p è la probabilità di occorrenza della caratteristica.

Fonte

Per selezionare la regressione logistica, come tecnica dell'analista di regressione, va notato, la dimensione dei dati è grande con la presenza quasi uguale di valori che entrano nelle variabili target. Inoltre, non dovrebbe esserci multicollinearità, il che significa che non dovrebbe esserci correlazione tra variabili indipendenti nel set di dati.

3. Regressione della cresta

Fonte

Questo è un altro dei tipi di regressione nell'apprendimento automatico che viene solitamente utilizzato quando esiste un'elevata correlazione tra le variabili indipendenti. Questo perché, nel caso di dati multi collineari, le stime dei minimi quadrati forniscono valori imparziali. Ma, nel caso in cui la collinearità sia molto alta, può esserci un valore di distorsione. Pertanto, una matrice di bias viene introdotta nell'equazione di Ridge Regression. Questo è un potente metodo di regressione in cui il modello è meno suscettibile all'overfitting.

Di seguito è riportata l'equazione utilizzata per denotare la Regressione di Ridge, dove l'introduzione di λ (lambda) risolve il problema della multicollinearità:

β = (X^{T}X + λ*I)^{-1}X^{T}y

Dai un'occhiata a: 5 applicazioni rivoluzionarie dell'apprendimento automatico

4. Regressione con lazo

La regressione lazo è uno dei tipi di regressione nell'apprendimento automatico che esegue la regolarizzazione insieme alla selezione delle funzionalità. Vieta la dimensione assoluta del coefficiente di regressione. Di conseguenza, il valore del coefficiente si avvicina a zero, cosa che non accade nel caso della regressione della cresta.

Per questo motivo, la selezione delle funzionalità viene utilizzata nella regressione lazo, che consente di selezionare un insieme di funzionalità dal set di dati per creare il modello. Nel caso di Lasso Regression, vengono utilizzate solo le funzionalità richieste e le altre vengono azzerate. Questo aiuta ad evitare l'overfitting nel modello. Nel caso in cui le variabili indipendenti siano altamente collineari, la regressione lazo seleziona solo una variabile e riduce a zero le altre variabili.

Fonte

Di seguito è riportata l'equazione che rappresenta il metodo di regressione lazo:

N^{-1}Σ^{N}_{i=1}f(x_{i}, y_{I}, α, β)

5. Regressione polinomiale

La regressione polinomiale è un altro dei tipi di tecniche di analisi di regressione nell'apprendimento automatico, che è la stessa della regressione lineare multipla con una piccola modifica. Nella regressione polinomiale, la relazione tra variabili indipendenti e dipendenti, ovvero X e Y, è indicata con l'n-esimo grado.

È un modello lineare come stimatore. Il metodo dei minimi quadrati è utilizzato anche nella regressione polinomiale. La linea di adattamento migliore nella regressione polinomiale che passa per tutti i punti dati non è una linea retta, ma una linea curva, che dipende dalla potenza di X o dal valore di n.

Fonte

Mentre si cerca di ridurre al minimo l'errore quadratico medio e di ottenere la linea di adattamento migliore, il modello può essere soggetto a un overfitting. Si consiglia di analizzare la curva verso la fine in quanto i Polinomi più alti possono dare strani risultati all'estrapolazione.

La seguente equazione rappresenta la regressione polinomiale:

l = β0+ β0x1+ε

Leggi: Idee per progetti di apprendimento automatico

6. Regressione lineare bayesiana

La regressione bayesiana è uno dei tipi di regressione nell'apprendimento automatico che utilizza il teorema di Bayes per scoprire il valore dei coefficienti di regressione. In questo metodo di regressione, invece di trovare i minimi quadrati, viene determinata la distribuzione a posteriori delle caratteristiche. La regressione lineare bayesiana è simile sia alla regressione lineare che alla regressione crestale, ma è più stabile della semplice regressione lineare.

Fonte

Impara i corsi di IA e ML online dalle migliori università del mondo: master, programmi post-laurea per dirigenti e programma di certificazione avanzato in ML e IA per accelerare la tua carriera.

Conclusione

Oltre ai metodi di regressione di cui sopra, esistono molti altri tipi di regressione nell'apprendimento automatico , tra cui Elastic Net Regression, JackKnife Regression, Stepwise Regression e Ecological Regression.

Questi diversi tipi di tecniche di analisi di regressione possono essere utilizzate per costruire il modello a seconda del tipo di dati disponibili o di quello che fornisce la massima accuratezza. Puoi approfondire queste tecniche o seguire il corso di apprendimento supervisionato sul nostro sito web .

Se sei interessato a saperne di più sull'apprendimento automatico, dai un'occhiata al programma Executive PG di IIIT-B e upGrad in Machine Learning e AI , progettato per i professionisti che lavorano e offre oltre 450 ore di formazione rigorosa, oltre 30 casi di studio e incarichi, IIIT -B Status di Alumni, oltre 5 progetti pratici pratici e assistenza sul lavoro con le migliori aziende.