6 tipos de modelos de regressão em aprendizado de máquina que você deve conhecer

Introdução

A regressão linear e a regressão logística são dois tipos de técnicas de análise de regressão usadas para resolver o problema de regressão usando aprendizado de máquina. São as técnicas de regressão mais proeminentes. Mas existem muitos tipos de técnicas de análise de regressão em aprendizado de máquina e seu uso varia de acordo com a natureza dos dados envolvidos.

Este artigo explicará os diferentes tipos de regressão no aprendizado de máquina e em que condições cada um deles pode ser usado. Se você é novo no aprendizado de máquina, este artigo certamente o ajudará a entender o conceito de modelagem de regressão.

O que é Análise de Regressão?

A análise de regressão é uma técnica de modelagem preditiva que analisa a relação entre a variável alvo ou dependente e a variável independente em um conjunto de dados. Os diferentes tipos de técnicas de análise de regressão são usados ​​quando as variáveis ​​de destino e independentes mostram uma relação linear ou não linear entre si, e a variável de destino contém valores contínuos. A técnica de regressão é usada principalmente para determinar a força do preditor, tendência de previsão, série temporal e no caso de relação de causa e efeito.

A análise de regressão é a principal técnica para resolver os problemas de regressão no aprendizado de máquina usando modelagem de dados. Envolve determinar a linha de melhor ajuste, que é uma linha que passa por todos os pontos de dados de forma que a distância da linha de cada ponto de dados seja minimizada.

Tipos de Técnicas de Análise de Regressão

Existem muitos tipos de técnicas de análise de regressão , e o uso de cada método depende do número de fatores. Esses fatores incluem o tipo de variável de destino, o formato da linha de regressão e o número de variáveis ​​independentes.

Abaixo estão as diferentes técnicas de regressão:

1. Regressão linear
2. Regressão Logística
3. Regressão do cume
4. Regressão do laço
5. Regressão Polinomial
6. Regressão Linear Bayesiana

Os diferentes tipos de regressão em técnicas de aprendizado de máquina são explicados abaixo em detalhes:

1. Regressão Linear

A regressão linear é um dos tipos mais básicos de regressão no aprendizado de máquina . O modelo de regressão linear consiste em uma variável preditora e uma variável dependente relacionadas linearmente entre si. Caso os dados envolvam mais de uma variável independente, a regressão linear é chamada de modelos de regressão linear múltipla.

A equação abaixo é usada para denotar o modelo de regressão linear:

y=mx+c+e

onde m é a inclinação da linha, c é uma interceptação e e representa o erro no modelo.

Fonte

A linha de melhor ajuste é determinada pela variação dos valores de me c. O erro do preditor é a diferença entre os valores observados e o valor previsto. Os valores de m e c são selecionados de forma a fornecer o erro preditor mínimo. É importante notar que um modelo de regressão linear simples é suscetível a outliers. Portanto, não deve ser usado no caso de dados de grande porte.

2. Regressão Logística

A regressão logística é um dos tipos de técnica de análise de regressão, que é utilizada quando a variável dependente é discreta. Exemplo: 0 ou 1, verdadeiro ou falso, etc. Isso significa que a variável alvo pode ter apenas dois valores, e uma curva sigmóide denota a relação entre a variável alvo e a variável independente.

A função Logit é usada na Regressão Logística para medir a relação entre a variável alvo e as variáveis ​​independentes. Abaixo está a equação que denota a regressão logística.

logit(p) = ln(p/(1-p)) = b0+b1X1+b2X2+b3X3….+bkXk

onde p é a probabilidade de ocorrência do recurso.

Fonte

Para a seleção da regressão logística, como técnica do analista de regressão, deve-se notar que o tamanho dos dados é grande com a ocorrência quase igual de valores a vir nas variáveis ​​alvo. Além disso, não deve haver multicolinearidade, o que significa que não deve haver correlação entre variáveis ​​independentes no conjunto de dados.

3. Regressão do cume

Fonte

Este é mais um dos tipos de regressão em aprendizado de máquina que geralmente é usado quando há uma alta correlação entre as variáveis ​​independentes. Isso ocorre porque, no caso de dados multicolineares, as estimativas de mínimos quadrados fornecem valores imparciais. Mas, caso a colinearidade seja muito alta, pode haver algum valor de viés. Portanto, uma matriz de viés é introduzida na equação de Regressão de Ridge. Este é um método de regressão poderoso onde o modelo é menos suscetível a overfitting.

Abaixo está a equação usada para denotar a Regressão de Ridge, onde a introdução de λ (lambda) resolve o problema da multicolinearidade:

β = (X^{T}X + λ*I)^{-1}X^{T}y

Confira: 5 aplicativos inovadores de aprendizado de máquina

4. Regressão do Laço

Lasso Regression é um dos tipos de regressão no aprendizado de máquina que realiza a regularização junto com a seleção de recursos. Ele proíbe o tamanho absoluto do coeficiente de regressão. Como resultado, o valor do coeficiente fica mais próximo de zero, o que não acontece no caso da Regressão de Ridge.

Devido a isso, a seleção de recursos é usada no Lasso Regression, que permite selecionar um conjunto de recursos do conjunto de dados para construir o modelo. No caso de Lasso Regression, apenas os recursos necessários são usados ​​e os outros são zerados. Isso ajuda a evitar o overfitting no modelo. Caso as variáveis ​​independentes sejam altamente colineares, a regressão Lasso escolhe apenas uma variável e faz com que outras variáveis ​​sejam reduzidas a zero.

Fonte

Abaixo está a equação que representa o método Lasso Regression:

N^{-1}Σ^{N}_{i=1}f(x_{i}, y_{I}, α, β)

5. Regressão Polinomial

A Regressão Polinomial é outro dos tipos de técnicas de análise de regressão em aprendizado de máquina, que é o mesmo que a Regressão Linear Múltipla com uma pequena modificação. Na Regressão Polinomial, a relação entre as variáveis ​​independentes e dependentes, ou seja, X e Y, é denotada pelo n-ésimo grau.

É um modelo linear como um estimador. Least Mean Squared Method também é usado na regressão polinomial. A linha de melhor ajuste na Regressão Polinomial que passa por todos os pontos de dados não é uma linha reta, mas uma linha curva, que depende da potência de X ou do valor de n.

Fonte

Ao tentar reduzir o erro quadrático médio ao mínimo e obter a melhor linha de ajuste, o modelo pode estar propenso a overfitting. Recomenda-se analisar a curva no final, pois os polinômios mais altos podem dar resultados estranhos na extrapolação.

A equação abaixo representa a Regressão Polinomial:

l = β0+ β0x1+ε

Leia: Ideias de projetos de aprendizado de máquina

6. Regressão Linear Bayesiana

A Regressão Bayesiana é um dos tipos de regressão em aprendizado de máquina que usa o teorema de Bayes para descobrir o valor dos coeficientes de regressão. Neste método de regressão, a distribuição posterior dos recursos é determinada em vez de encontrar os mínimos quadrados. A Regressão Linear Bayesiana é como a Regressão Linear e a Regressão de Ridge, mas é mais estável do que a Regressão Linear simples.

Fonte

Aprenda cursos de IA e ML online das melhores universidades do mundo - Mestrados, Programas de Pós-Graduação Executiva e Programa de Certificado Avançado em ML e IA para acelerar sua carreira.

Conclusão

Além dos métodos de regressão acima, há muitos outros tipos de regressão no aprendizado de máquina , incluindo Elastic Net Regression, JackKnife Regression, Stepwise Regression e Ecological Regression.

Esses diferentes tipos de técnicas de análise de regressão podem ser usados ​​para construir o modelo dependendo do tipo de dados disponíveis ou daquele que oferece a máxima precisão. Você pode explorar mais essas técnicas ou fazer o curso de aprendizado supervisionado em nosso site .

Se você estiver interessado em aprender mais sobre aprendizado de máquina, confira o Programa PG Executivo do IIIT-B e do upGrad em Machine Learning e IA , projetado para profissionais que trabalham e oferece mais de 450 horas de treinamento rigoroso, mais de 30 estudos de caso e atribuições, IIIT -B Alumni status, mais de 5 projetos práticos práticos e assistência de trabalho com as principais empresas.