Agrupamento versus classificação: diferença entre agrupamento e classificação

Introdução

Os algoritmos de aprendizado de máquina geralmente são categorizados com base no tipo de variável de saída e no tipo de problema que precisa ser resolvido. Esses algoritmos são amplamente divididos em três tipos, ou seja, regressão, agrupamento e classificação. Regressão e Classificação são tipos de algoritmos de aprendizado supervisionado, enquanto Clustering é um tipo de algoritmo não supervisionado.

Quando a variável de saída é contínua, então é um problema de regressão, enquanto quando contém valores discretos, é um problema de classificação. Os algoritmos de agrupamento geralmente são usados ​​quando precisamos criar os agrupamentos com base nas características dos pontos de dados. Este artigo se concentra em fornecer uma breve introdução ao agrupamento, classificação e listar algumas diferenças entre os dois.

Classificação

A classificação é um tipo de algoritmo de aprendizado de máquina supervisionado. Para qualquer entrada dada, os algoritmos de classificação ajudam na previsão da classe da variável de saída. Pode haver vários tipos de classificações, como classificação binária, classificação multiclasse, etc. Depende do número de classes na variável de saída.

Tipos de algoritmos de classificação

Regressão Logística : – É um dos modelos lineares que podem ser usados ​​para classificação. Ele usa a função sigmóide para calcular a probabilidade de um determinado evento ocorrer. É um método ideal para a classificação de variáveis ​​binárias.

K-Nearest Neighbors (kNN) : – Usa métricas de distância como distância euclidiana, distância de Manhattan, etc. para calcular a distância de um ponto de dados de todos os outros pontos de dados. Para classificar a saída, é necessário um voto majoritário de k vizinhos mais próximos de cada ponto de dados.

Árvores de decisão : – É um modelo não linear que supera algumas das desvantagens de algoritmos lineares como regressão logística. Ele constrói o modelo de classificação na forma de uma estrutura de árvore que inclui nós e folhas. Esse algoritmo envolve várias instruções if-else que ajudam a quebrar a estrutura em estruturas menores e, eventualmente, fornecer o resultado final. Ele pode ser usado para regressão, bem como problemas de classificação.

Random Forest : – É um método de aprendizado de conjunto que envolve várias árvores de decisão para prever o resultado da variável alvo. Cada árvore de decisão fornece seu próprio resultado. No caso do problema de classificação, é necessária a maioria dos votos dessas árvores de decisão múltipla para classificar o resultado final. No caso do problema de regressão, toma-se a média dos valores previstos pelas árvores de decisão.

Naive Bayes : – É um algoritmo baseado no teorema de Bayes. Ele assume que qualquer recurso específico é independente da inclusão de outros recursos. ou seja, eles não estão correlacionados entre si. Geralmente não funciona bem com dados complexos devido a essa suposição, pois na maioria dos conjuntos de dados existe algum tipo de relacionamento entre os recursos.

Support Vector Machine : – Representa os pontos de dados no espaço multidimensional. Esses pontos de dados são então segregados em classes com a ajuda de hiperplanos. Ele plota um espaço n-dimensional para o número n de recursos no conjunto de dados e, em seguida, tenta criar os hiperplanos de modo que divida os pontos de dados com margem máxima.

Leia: Exemplos comuns de mineração de dados.

Formulários

• Detecção de spam de e-mail.
• Reconhecimento Facial.
• Identificando se o cliente vai churn ou não.
• Aprovação de Empréstimo Bancário.

Agrupamento

Clustering é um tipo de algoritmo de aprendizado de máquina não supervisionado. É usado para agrupar pontos de dados com características semelhantes aos clusters. Idealmente, os pontos de dados no mesmo cluster devem exibir propriedades semelhantes e os pontos em diferentes clusters devem ser tão diferentes quanto possível.

O clustering é dividido em dois grupos – hard clustering e soft clustering. No hard clustering, o ponto de dados é atribuído a apenas um dos clusters, enquanto no soft clustering, ele fornece uma probabilidade de um ponto de dados estar em cada um dos clusters.

Tipos de algoritmos de cluster

K-Means Clustering : – Inicializa um número pré-definido de k clusters e usa métricas de distância para calcular a distância de cada ponto de dados do centroide de cada cluster. Ele atribui os pontos de dados em um dos k clusters com base em sua distância.

Agrupamento Hierárquico Aglomerativo (Abordagem Bottom-Up) : – Considera cada ponto de dados como um cluster e mescla esses pontos de dados com base na métrica de distância e no critério usado para vincular esses clusters.

Divisive Hierarchical Clustering (Top-Down Approach) : – Inicializa com todos os pontos de dados como um cluster e divide esses pontos de dados com base na métrica de distância e no critério. Agrupamentos Aglomerativos e Divisivos podem ser representados como um dendrograma e o número de agrupamentos a serem selecionados referindo-se ao mesmo.

DBSCAN (Agrupamento Espacial de Aplicações com Ruído baseado em Densidade) : – É um método de agrupamento baseado em densidade. Algoritmos como K-Means funcionam bem nos clusters que são bastante separados e criam clusters de forma esférica. DBSCAN é usado quando os dados estão em formato arbitrário e também é menos sensível aos outliers. Ele agrupa os pontos de dados que possuem muitos pontos de dados vizinhos dentro de um determinado raio.

OPTICS (Ordering Points to Identify Clustering Structure) : – É outro tipo de método de agrupamento baseado em densidade e é semelhante em processo ao DBSCAN, exceto que considera mais alguns parâmetros. Mas é mais complexo computacionalmente do que DBSCAN. Além disso, não separa os pontos de dados em clusters, mas cria um gráfico de acessibilidade que pode ajudar na interpretação da criação de clusters.

BIRCH (Balanced Iterative Reducing and Clustering using Hierarchies) : – Cria clusters gerando um resumo dos dados. Ele funciona bem com grandes conjuntos de dados, pois primeiro resume os dados e depois os usa para criar clusters. No entanto, ele só pode lidar com atributos numéricos que podem ser representados no espaço.

Leia também: Algoritmos de mineração de dados que você deve conhecer

Formulários

• Segmentação da base de consumidores no mercado.
• Análise de rede social.
• Segmentação de imagem.
• Sistemas de Recomendação.

Diferença entre agrupamento e classificação

1. Tipo : – O agrupamento é um método de aprendizado não supervisionado, enquanto a classificação é um método de aprendizado supervisionado.
2. Processo : – No agrupamento, os pontos de dados são agrupados como agrupamentos com base em suas semelhanças. A classificação envolve classificar os dados de entrada como um dos rótulos de classe da variável de saída.
3. Previsão : – A classificação envolve a previsão da variável de entrada com base na construção do modelo. O agrupamento geralmente é usado para analisar os dados e tirar inferências deles para uma melhor tomada de decisão.
4. Divisão de dados : – Os algoritmos de classificação precisam que os dados sejam divididos como dados de treinamento e teste para prever e avaliar o modelo. Os algoritmos de clustering não precisam da divisão de dados para seu uso.
5. Data Label : – Os algoritmos de classificação lidam com dados rotulados, enquanto os algoritmos de agrupamento lidam com dados não rotulados.
6. Etapas : – O processo de classificação envolve duas etapas – Treinamento e Teste. O processo de agrupamento envolve apenas o agrupamento de dados.
7. Complexidade : – Como a classificação lida com um maior número de etapas, a complexidade dos algoritmos de classificação é maior do que os algoritmos de agrupamento cujo objetivo é apenas agrupar os dados.

Conclusão

A metodologia de classificação e agrupamento é diferente, e o resultado esperado de seus algoritmos também difere. Em poucas palavras, tanto a classificação quanto o agrupamento são usados ​​para lidar com diferentes problemas. Este artigo forneceu uma breve introdução à classificação e agrupamento.

Também lemos um pouco sobre os diferentes tipos de algoritmos usados ​​em cada caso, juntamente com algumas aplicações. Os algoritmos listados neste artigo não são exaustivos. ou seja, não é uma lista completa e existem muitos outros algoritmos que podem ser usados ​​para resolver tais problemas.

Se você está curioso para aprender ciência de dados, confira nosso PG Diploma in Data Science, que é criado para profissionais que trabalham e oferece mais de 10 estudos de caso e projetos, workshops práticos práticos, orientação com especialistas do setor, 1-on-1 com o setor mentores, mais de 400 horas de aprendizado e assistência de trabalho com as principais empresas.