Regressão isotônica no aprendizado de máquina: entendendo as regressões no aprendizado de máquina

Existem vários tipos de modelos de regressão (algoritmos) que são usados ​​para treinar programas de aprendizado de máquina, como regressão linear, logística, ridge e lasso. Destes, o modelo de regressão linear é o modelo de regressão mais básico e mais amplamente utilizado. A regressão isotônica no aprendizado de máquina é baseada na regressão linear. Portanto, antes de passarmos para a regressão isotônica, vamos primeiro dar uma olhada na regressão linear no aprendizado de máquina.

Entendendo a regressão linear no aprendizado de máquina

Fonte

O modelo de regressão linear é utilizado para determinar a relação entre as variáveis ​​dependentes e independentes. Ele assume uma relação linear, representada pela linha de melhor ajuste, entre as duas variáveis. A equação y= mx + c + e é usada para denotar o modelo de regressão linear onde:

m = inclinação da linha

c= interceptar

e= erro no modelo

O modelo de regressão linear é suscetível a outliers, altamente inflexível e, portanto, não pode ser usado para dados de grande porte. Quando esse modelo é implantado em dados de teste de grande porte, há várias instâncias que ficam fora da inclinação da linha, também chamadas de erros residuais. Métodos como a regularização L1 e L2 podem ser usados ​​para reduzir a inclinação da inclinação da linha, mas não se mostram tão úteis.

Deve ler: Modelos de aprendizado de máquina explicados

Isso limita a precisão do algoritmo de aprendizado de máquina. Uma nova abordagem de regressão isotônica em aprendizado de máquina está sendo adotada para superar esse limite. Embora não seja difundida atualmente, essa abordagem é altamente poderosa e pode ajudar a melhorar a precisão do programa de aprendizado de máquina.

Entendendo a regressão isotônica no aprendizado de máquina

Antes de mergulhar nas coisas técnicas, vamos entender a regressão isotônica no aprendizado de máquina em termos leigos.

Vamos começar decodificando a palavra 'isotônico'. A palavra 'isotônico' tem origens de palavras de raiz grega, feitas de duas partes, 'iso' e 'tônica'. Aqui, 'iso' significa igual e 'tônica' significa alongamento. Em termos de algoritmos de aprendizado de máquina, a regressão isotônica pode, portanto, ser entendida como um alongamento igual ao longo da linha de regressão linear. Ele funciona em cima de um modelo de regressão linear.

Vamos dar uma olhada em diferentes aspectos relacionados à regressão isotônica que nos ajudarão a entendê-la melhor.

1. Modelo linear por partes

Como mencionado anteriormente, a inclinação da inclinação da linha de regressão linear precisa ser minimizada, para os quais os métodos de regularização L1 e L2 são usados. A abordagem de regressão isotônica é completamente diferente, dividindo o gráfico em seções por partes, criando limites e tendo uma linha linear para cada seção conectada de ponta a ponta.

Por exemplo, na imagem acima, o eixo X pode ser dividido em várias seções menores, digamos, em intervalos iguais de 10. Cada um desses intervalos pode ser chamado de bins, como bin1, bin2, bin3, bin4 e assim em. A equação linear, portanto, agora se torna,

y= m1x1 + m2x2 + m3x3 +….. mnxn + c, onde:

m1, m2, m3….mn = inclinação da linha para caixas individuais.

Isso ajuda a minimizar o erro e reduzir a inclinação da linha de melhor ajuste.

2. Inclinação não negativa

Como uma função isotônica é uma função monotônica, a inclinação da solução é sempre não negativa. Uma diminuição na inclinação não é permitida ao passar de um limite para o outro. O ponto mais baixo em um limite deve sempre ser maior que o ponto mais alto no limite anterior.

Por exemplo, sejam x1, x2, x3, x4…xn os valores dos pontos de dados considerados para a inclinação nos bins b1, b2, b3, b4…bn. Então, como regra, a inclinação deve ser não negativa. Por isso,

f(x1) <= f(x2) <= f(x3) <= f(x4)…<= f(xn).

Então, começamos com um ponto mais baixo (onde f(x1) é o ponto mais baixo) e gradualmente nos movemos para um ponto mais alto a cada limiar. A inclinação de um limiar pode ser zero (linha horizontal), mas nunca pode ser negativa (inclinação descendente).

Leia: Ideias de projetos de aprendizado de máquina para iniciantes

Vantagens de usar a regressão isotônica em modelos de aprendizado de máquina

O uso da regressão isotônica oferece dois grandes benefícios, que são discutidos abaixo.

1. Dimensionamento Multidimensional

A regressão isotônica é muito útil se você tiver várias variáveis ​​de entrada. Podemos inspecionar cada dimensão como cada função e interpolá-la de forma linear. Isso permite fácil dimensionamento multidimensional.

2. Calibração de Valores de Probabilidade

Na regressão logística, suponha que temos uma variável x, e denotamos uma probabilidade p(1) onde o valor de probabilidade para a variável não aumenta. Mas, na realidade, o valor da probabilidade é maior no mundo real. Nesses casos, para fins de calibração ou aumento da probabilidade de tais variáveis, a regressão isotônica se mostra muito útil.

Confira: Perguntas da entrevista sobre aprendizado de máquina

Desvantagens do uso de regressão isotônica em modelos de aprendizado de máquina

Há uma grande desvantagem de usar a regressão isotônica, que é discutida abaixo.

Risco de sobreajuste

Há um risco significativo de superajuste do hiperparâmetro (K) à medida que o número de restrições isotônicas e recursos de previsão aumenta, mas o método de fluxo de trabalho de validação cruzada pode ser usado para gerenciar o problema.

Conclusão

Atualmente, apenas três linguagens principais possuem pacotes de código aberto com regressão isotônica. No entanto, observando os benefícios do uso da regressão isotônica em problemas de aprendizado de máquina , o escopo, o uso e a disponibilidade dos pacotes de regressão isotônica certamente aumentarão no futuro.

Podemos ver a regressão isotônica substituir principalmente a regressão linear e os métodos de normalização L1 e L2. Portanto, para estar pronto para o futuro, é necessário manter-se atualizado e bem informado sobre a regressão isotônica a partir de agora!

Se você estiver interessado em aprender mais sobre regressão isotônica em aprendizado de máquina ou outros conceitos relacionados ao aprendizado de máquina, confira o Diploma PG do IIIT-B e do upGrad em aprendizado de máquina e IA , que é o programa mais vendido da Índia com uma classificação de 4,5 estrelas . O curso tem mais de 450 horas de aprendizado, mais de 30 estudos de caso e tarefas, e ajuda os alunos a aprender habilidades sob demanda relacionadas ao aprendizado de máquina e IA.