Regressione isotonica nell'apprendimento automatico: comprensione delle regressioni nell'apprendimento automatico
Pubblicato: 2020-12-21Esistono vari tipi di modelli di regressione (algoritmi) utilizzati per addestrare programmi di apprendimento automatico, come regressione lineare, logistica, cresta e lazo. Di questi, il modello di regressione lineare è il modello di regressione più elementare e più utilizzato. La regressione isotonica nell'apprendimento automatico si basa sulla regressione lineare. Quindi, prima di passare alla regressione isotonica, diamo prima un'occhiata alla regressione lineare nell'apprendimento automatico.
Sommario
Comprendere la regressione lineare nell'apprendimento automatico
Fonte
Il modello di regressione lineare viene utilizzato per determinare la relazione tra le variabili dipendenti e indipendenti. Assume una relazione lineare, rappresentata dalla retta di best fit, tra le due variabili. L'equazione y= mx + c + e è usata per denotare il modello di regressione lineare dove:
m= pendenza della linea
c= intercettare
e= errore nel modello
Il modello di regressione lineare è suscettibile di valori anomali, altamente rigido e quindi non può essere utilizzato per dati di grandi dimensioni. Quando questo modello viene distribuito su dati di test di grandi dimensioni, esistono più istanze che si trovano al di fuori della pendenza della linea, dette anche errori residui. Metodi come la regolarizzazione L1 e L2 possono essere utilizzati per ridurre la pendenza della pendenza della linea, ma non si dimostrano utili.
Da leggere: Spiegazione dei modelli di machine learning
Ciò limita la precisione dell'algoritmo di apprendimento automatico. Un nuovo approccio di regressione isotonica nell'apprendimento automatico viene adottato per superare questo limite. Sebbene non sia attualmente diffuso, questo approccio è molto potente e può aiutare a migliorare l'accuratezza del programma di apprendimento automatico.
Comprendere la regressione isotonica nell'apprendimento automatico
Prima di addentrarci nelle questioni tecniche, comprendiamo la regressione isotonica nell'apprendimento automatico in parole povere.
Iniziamo decodificando la parola "isotonico". La parola 'isotonico' ha origini greche di parole, composte da due parti, 'iso' e 'tonico.' Qui, 'iso' significa uguale e 'tonic' significa allungamento. In termini di algoritmi di apprendimento automatico, la regressione isotonica può quindi essere intesa come allungamento uguale lungo la retta di regressione lineare. Funziona su un modello di regressione lineare.
Diamo un'occhiata a diversi aspetti relativi alla regressione isotonica che ci aiuteranno a capirla meglio.
1. Modello lineare a tratti
Come accennato in precedenza, è necessario ridurre al minimo la pendenza della pendenza della retta di regressione lineare, per la quale vengono utilizzati i metodi di regolarizzazione L1 e L2. L'approccio della regressione isotonica è completamente diverso dividendo il grafico in sezioni a tratti creando soglie e avendo una linea lineare per ciascuna sezione collegata end-to-end.
Ad esempio, nell'immagine sopra, l'asse X può essere ulteriormente suddiviso in varie sezioni più piccole, diciamo in intervalli uguali di 10. Ciascuno di questi intervalli può essere chiamato bin, come bin1, bin2, bin3, bin4 e così via su. L'equazione lineare, quindi, ora diventa,
y= m1x1 + m2x2 + m3x3 +….. mnxn + c, dove:
m1, m2, m3….mn = pendenza della linea per i singoli cassonetti.
Questo aiuta a minimizzare l'errore e ridurre la pendenza della linea di adattamento migliore.
2. Pendenza non negativa
Poiché una funzione isotonica è una funzione monotona, la pendenza della soluzione è sempre non negativa. Non è consentita una diminuzione della pendenza quando si passa da una soglia all'altra. Il punto più basso in una soglia dovrebbe essere sempre maggiore del punto più alto nella soglia precedente.
Per esempio, siano x1, x2, x3, x4…xn i valori dei punti dati considerati per la pendenza nei bin b1, b2, b3, b4…bn. Quindi, come di regola, la pendenza dovrebbe essere non negativa. Quindi,
f(x1) <= f(x2) <= f(x3) <= f(x4)…<= f(xn).
Quindi, iniziamo con un punto più basso (dove f(x1) è il punto più basso) e gradualmente ci spostiamo verso un punto più alto con ciascuna soglia. La pendenza di una soglia può essere zero (linea orizzontale) ma non può mai essere negativa (pendenza discendente).
Leggi: Idee per progetti di apprendimento automatico per principianti
Vantaggi dell'utilizzo della regressione isotonica nei modelli di apprendimento automatico
L'uso della regressione isotonica offre due vantaggi principali, discussi di seguito.
1. Ridimensionamento multidimensionale
La regressione isotonica è molto utile se si hanno più variabili di input. Possiamo ispezionare ogni singola dimensione come ogni singola funzione e interpolare in modo lineare. Ciò consente un facile ridimensionamento multidimensionale.
2. Taratura dei valori di probabilità
Nella regressione logistica, supponiamo di avere una variabile x e indichiamo una probabilità p(1) in cui il valore di probabilità per la variabile non aumenta. Ma, in realtà, il valore di probabilità è più alto nel mondo reale. In questi casi, ai fini della calibrazione o per aumentare la probabilità di tali variabili, la regressione isotonica si rivela molto utile.
Dai un'occhiata a: Domande sull'intervista sull'apprendimento automatico
Svantaggi dell'uso della regressione isotonica nei modelli di apprendimento automatico
C'è uno svantaggio principale dell'uso della regressione isotonica, che è discusso di seguito.
Rischio di overfitting
Esiste un rischio significativo di overfitting dell'iperparametro (K) con l'aumento del numero di vincoli isotonici e delle funzionalità predittive, ma il metodo del flusso di lavoro di convalida incrociata può essere utilizzato per gestire il problema.
Conclusione
Attualmente, solo tre lingue principali hanno pacchetti open source con regressione isotonica. Tuttavia, esaminando i vantaggi dell'utilizzo della regressione isotonica nei problemi di apprendimento automatico , l'ambito, l'utilizzo e la disponibilità dei pacchetti di regressione isotonica aumenteranno sicuramente in futuro.
Possiamo vedere che la regressione isotonica sostituisce principalmente la regressione lineare e i metodi di normalizzazione L1 e L2. Pertanto, per essere pronti per il futuro, è necessario mantenersi aggiornati e informati sulla regressione isotonica fin da ora!
Se sei interessato a saperne di più sulla regressione isotonica nell'apprendimento automatico o su altri concetti relativi all'apprendimento automatico, puoi dare un'occhiata a IIIT-B e al diploma PG di upGrad in Machine Learning e AI , che è il programma più venduto in India con una valutazione di 4,5 stelle . Il corso prevede oltre 450 ore di apprendimento, oltre 30 casi di studio e compiti e aiuta gli studenti ad apprendere le competenze richieste relative all'apprendimento automatico e all'intelligenza artificiale.
Perché la regressione è significativa nell'apprendimento automatico?
L'analisi di regressione, una sorta di algoritmo di apprendimento supervisionato, è uno dei concetti fondamentali dell'apprendimento automatico. La regressione viene utilizzata per stabilire la relazione tra diverse variabili cercando di stimare come il valore di una influenzi quello dell'altra. Nel campo dell'apprendimento automatico, la regressione comprende algoritmi matematici complessi che aiutano a stimare i risultati di una specifica variabile target in base ai valori in continua evoluzione di una o più variabili predittive. Il tipo più popolare di analisi di regressione è la regressione lineare poiché è molto facile da usare per fare previsioni e previsioni.
L'apprendimento automatico è la stessa cosa della scienza dei dati?
Con parole d'ordine come scienza dei dati e apprendimento automatico che stanno diventando mainstream oggi, molte persone spesso si sentono confuse su cosa significhino effettivamente. Proviamo a spiegare qui rapidamente. La scienza dei dati si riferisce allo studio di enormi volumi di dati generati dalle organizzazioni. I data scientist utilizzano varie tecniche per rivelare preziose informazioni da questi dati in modo tale che le aziende possano trarre i massimi vantaggi e stare al passo con la concorrenza. L'apprendimento automatico è diverso dalla scienza dei dati; utilizza tecniche di scienza dei dati per conoscere i dati che vengono quindi utilizzati per addestrare le macchine. L'apprendimento automatico utilizza modelli matematici complessi per aiutare i computer ad apprendere senza l'intervento umano.
L'apprendimento automatico è uguale all'apprendimento profondo?
L'apprendimento automatico è un sottoinsieme dell'intelligenza artificiale. Impiega algoritmi o modelli in grado di analizzare i dati, imparare da essi e quindi applicare tali apprendimenti per aiutare i computer o le macchine a prendere decisioni senza input umani espliciti. D'altra parte, il deep learning è un sottocampo del machine learning. Viene utilizzato per strutturare algoritmi o modelli matematici a strati per sviluppare una rete neurale artificiale che assomiglia alla struttura del cervello umano. Questa rete neurale può apprendere da sola e prendere decisioni intelligenti utilizzando la propria struttura logica e l'analisi dei dati.