6 tipos de modelos de regresión en aprendizaje automático que debe conocer

Introducción

La regresión lineal y la regresión logística son dos tipos de técnicas de análisis de regresión que se utilizan para resolver el problema de regresión mediante el aprendizaje automático. Son las técnicas de regresión más destacadas. Sin embargo, existen muchos tipos de técnicas de análisis de regresión en el aprendizaje automático y su uso varía según la naturaleza de los datos involucrados.

Este artículo explicará los diferentes tipos de regresión en el aprendizaje automático y en qué condiciones se puede usar cada uno de ellos. Si es nuevo en el aprendizaje automático, este artículo seguramente lo ayudará a comprender el concepto de modelado de regresión.

¿Qué es el análisis de regresión?

El análisis de regresión es una técnica de modelado predictivo que analiza la relación entre la variable objetivo o dependiente y la variable independiente en un conjunto de datos. Los diferentes tipos de técnicas de análisis de regresión se utilizan cuando las variables objetivo e independiente muestran una relación lineal o no lineal entre sí, y la variable objetivo contiene valores continuos. La técnica de regresión se usa principalmente para determinar la fuerza del predictor, la tendencia del pronóstico, la serie de tiempo y, en el caso de la relación de causa y efecto.

El análisis de regresión es la técnica principal para resolver los problemas de regresión en el aprendizaje automático mediante el modelado de datos. Implica determinar la línea de mejor ajuste, que es una línea que pasa por todos los puntos de datos de tal manera que se minimiza la distancia de la línea desde cada punto de datos.

Tipos de técnicas de análisis de regresión

Hay muchos tipos de técnicas de análisis de regresión y el uso de cada método depende de la cantidad de factores. Estos factores incluyen el tipo de variable objetivo, la forma de la línea de regresión y el número de variables independientes.

A continuación se muestran las diferentes técnicas de regresión:

1. Regresión lineal
2. Regresión logística
3. Regresión de cresta
4. Regresión de lazo
5. Regresión polinomial
6. Regresión lineal bayesiana

A continuación se explican en detalle los diferentes tipos de regresión en técnicas de aprendizaje automático:

1. Regresión lineal

La regresión lineal es uno de los tipos más básicos de regresión en el aprendizaje automático . El modelo de regresión lineal consta de una variable predictora y una variable dependiente relacionadas linealmente entre sí. En caso de que los datos involucren más de una variable independiente, la regresión lineal se denomina modelo de regresión lineal múltiple.

La siguiente ecuación se utiliza para denotar el modelo de regresión lineal:

y=mx+c+e

donde m es la pendiente de la línea, c es una intersección ye representa el error en el modelo.

Fuente

La línea de mejor ajuste se determina variando los valores de m y c. El error del predictor es la diferencia entre los valores observados y el valor predicho. Los valores de m y c se seleccionan de tal manera que proporcionen el error de predicción mínimo. Es importante tener en cuenta que un modelo de regresión lineal simple es susceptible a valores atípicos. Por lo tanto, no debe usarse en caso de datos de gran tamaño.

2. Regresión logística

La regresión logística es uno de los tipos de técnicas de análisis de regresión, que se utiliza cuando la variable dependiente es discreta. Ejemplo: 0 o 1, verdadero o falso, etc. Esto significa que la variable objetivo solo puede tener dos valores, y una curva sigmoidea indica la relación entre la variable objetivo y la variable independiente.

La función logit se utiliza en la regresión logística para medir la relación entre la variable objetivo y las variables independientes. A continuación se muestra la ecuación que denota la regresión logística.

logit(p) = ln(p/(1-p)) = b0+b1X1+b2X2+b3X3….+bkXk

donde p es la probabilidad de ocurrencia de la característica.

Fuente

Para seleccionar la regresión logística, como técnica del analista de regresión, se debe tener en cuenta que el tamaño de los datos es grande con una ocurrencia casi igual de valores en las variables objetivo. Además, no debe haber multicolinealidad, lo que significa que no debe haber correlación entre variables independientes en el conjunto de datos.

3. Regresión de cresta

Fuente

Este es otro de los tipos de regresión en aprendizaje automático que suele utilizarse cuando existe una alta correlación entre las variables independientes. Esto se debe a que, en el caso de datos multicolineales, las estimaciones de mínimos cuadrados dan valores no sesgados. Pero, en caso de que la colinealidad sea muy alta, puede haber algún valor de sesgo. Por lo tanto, se introduce una matriz de sesgo en la ecuación de Ridge Regression. Este es un poderoso método de regresión donde el modelo es menos susceptible al sobreajuste.

A continuación se muestra la ecuación utilizada para denotar la Regresión Ridge, donde la introducción de λ (lambda) resuelve el problema de la multicolinealidad:

β = (X^{T}X + λ*I)^{-1}X^{T}y

Consulte: 5 aplicaciones innovadoras del aprendizaje automático

4. Regresión de lazo

Lasso Regression es uno de los tipos de regresión en el aprendizaje automático que realiza la regularización junto con la selección de funciones. Prohíbe el tamaño absoluto del coeficiente de regresión. Como resultado, el valor del coeficiente se acerca a cero, lo que no sucede en el caso de Ridge Regression.

Debido a esto, la selección de funciones se utiliza en Lasso Regression, que permite seleccionar un conjunto de funciones del conjunto de datos para construir el modelo. En el caso de Lasso Regression, solo se utilizan las funciones requeridas y las otras se vuelven cero. Esto ayuda a evitar el sobreajuste en el modelo. En caso de que las variables independientes sean altamente colineales, la regresión de Lasso selecciona solo una variable y hace que las otras variables se reduzcan a cero.

Fuente

A continuación se muestra la ecuación que representa el método de regresión de Lasso:

N^{-1}Σ^{N}_{i=1}f(x_{i}, y_{I}, α, β)

5. Regresión polinomial

La regresión polinomial es otro de los tipos de técnicas de análisis de regresión en el aprendizaje automático, que es lo mismo que la regresión lineal múltiple con una pequeña modificación. En la regresión polinomial, la relación entre las variables independientes y dependientes, es decir, X e Y, se denota por el grado n.

Es un modelo lineal como estimador. El método de mínimos cuadrados medios también se utiliza en la regresión polinomial. La línea de mejor ajuste en la regresión polinomial que pasa por todos los puntos de datos no es una línea recta, sino una línea curva, que depende de la potencia de X o del valor de n.

Fuente

Al tratar de reducir el error cuadrático medio al mínimo y obtener la mejor línea de ajuste, el modelo puede ser propenso a sobreajustarse. Se recomienda analizar la curva hacia el final ya que los polinomios más altos pueden dar resultados extraños en la extrapolación.

La siguiente ecuación representa la regresión polinomial:

l = β0+ β0x1+ε

Leer: Ideas de proyectos de aprendizaje automático

6. Regresión lineal bayesiana

La regresión bayesiana es uno de los tipos de regresión en el aprendizaje automático que utiliza el teorema de Bayes para averiguar el valor de los coeficientes de regresión. En este método de regresión, se determina la distribución posterior de las características en lugar de encontrar los mínimos cuadrados. La regresión lineal bayesiana es como la regresión lineal y la regresión de cresta, pero es más estable que la regresión lineal simple.

Fuente

Aprenda cursos de AI y ML en línea de las mejores universidades del mundo: maestrías, programas ejecutivos de posgrado y programa de certificado avanzado en ML y AI para acelerar su carrera.

Conclusión

Además de los métodos de regresión anteriores, existen muchos otros tipos de regresión en el aprendizaje automático , incluida la regresión de red elástica, la regresión JackKnife, la regresión paso a paso y la regresión ecológica.

Estos diferentes tipos de técnicas de análisis de regresión se pueden usar para construir el modelo según el tipo de datos disponibles o el que brinde la máxima precisión. Puede explorar más estas técnicas o puede seguir el curso de aprendizaje supervisado en nuestro sitio web .

Si está interesado en obtener más información sobre el aprendizaje automático, consulte el Programa PG Ejecutivo en Aprendizaje Automático e IA de IIIT-B y upGrad, que está diseñado para profesionales que trabajan y ofrece más de 450 horas de capacitación rigurosa, más de 30 estudios de casos y asignaciones, IIIT -Estado de exalumno B, más de 5 proyectos prácticos finales prácticos y asistencia laboral con las mejores empresas.