5 types d'algorithmes de classification dans l'apprentissage automatique [2022]

introduction

L'apprentissage automatique est l'un des sujets les plus importants de l'intelligence artificielle. Il est en outre divisé en apprentissage supervisé et non supervisé qui peut être lié à l'analyse de données étiquetées et non étiquetées ou à la prédiction de données. Dans l'apprentissage supervisé, nous avons deux autres types de problèmes commerciaux appelés régression et classification.

La classification est un algorithme d'apprentissage automatique dans lequel nous obtenons les données étiquetées en entrée et nous devons prédire la sortie dans une classe. S'il y a deux classes, cela s'appelle la classification binaire. S'il y a plus de deux classes, cela s'appelle la classification multi-classes. Dans les scénarios du monde réel, nous avons tendance à voir les deux types de classification.

Dans cet article, nous allons étudier quelques types d'algorithmes de classification ainsi que leurs avantages et inconvénients. Il existe de nombreux algorithmes de classification disponibles, mais concentrons-nous sur les 5 algorithmes ci-dessous :

1. Régression logistique
2. Voisin le plus proche
3. Arbres de décision
4. Forêt aléatoire
5. Soutenir les machines vectorielles

1. Régression logistique

Même si le nom suggère la régression, il s'agit d'un algorithme de classification. La régression logistique est une méthode statistique de classification des données dans lesquelles il existe une ou plusieurs variables ou caractéristiques indépendantes qui déterminent un résultat mesuré avec une variable (TARGET) qui a deux classes ou plus. Son objectif principal est de trouver le modèle le mieux adapté pour décrire la relation entre la variable cible et les variables indépendantes.

Avantages

1) Facile à mettre en œuvre, à interpréter et efficace à former car il ne fait aucune hypothèse et est rapide à classer.

2) Peut être utilisé pour la classification multi-classes.

3) Il est moins sujet au sur-ajustement, mais sur-adapte dans les ensembles de données de grande dimension.

Les inconvénients

1) Surajustements lorsque les observations sont inférieures aux caractéristiques.

2) Ne fonctionne qu'avec des fonctions discrètes.

3) Les problèmes non linéaires ne peuvent pas être résolus.

4) Difficile d'apprendre des modèles complexes et généralement les réseaux de neurones les surpassent.

2. K voisin le plus proche

L'algorithme K-plus proches voisins (KNN) utilise la technique de « similitude des caractéristiques » ou de « plus proches voisins » pour prédire le cluster dans lequel un nouveau point de données tombe. Voici les quelques étapes sur lesquelles nous pouvons mieux comprendre le fonctionnement de cet algorithme

Étape 1 - Pour implémenter n'importe quel algorithme dans l'apprentissage automatique, nous avons besoin d'un ensemble de données nettoyé prêt pour la modélisation. Supposons que nous ayons déjà un ensemble de données nettoyé qui a été divisé en ensemble de données d'apprentissage et de test.

Étape 2 - Comme nous avons déjà les ensembles de données prêts, nous devons choisir la valeur de K (entier) qui nous indique combien de points de données les plus proches nous devons prendre en considération pour implémenter l'algorithme. Nous pouvons apprendre à déterminer la valeur k dans les dernières étapes de l'article.

Étape 3 - Cette étape est itérative et doit être appliquée pour chaque point de données dans l'ensemble de données

1. Calculer la distance entre les données de test et chaque ligne de données d'entraînement à l'aide de l'une des mesures de distance
2. Distance euclidienne
3. Manhattan distance
4. Distance Minkowski
5. Distance de Hamming.

De nombreux spécialistes des données ont tendance à utiliser la distance euclidienne, mais nous pourrons connaître la signification de chacun dans la dernière étape de cet article.

Nous devons trier les données en fonction de la métrique de distance que nous avons utilisée à l'étape ci-dessus.

Choisissez les K premières lignes dans les données triées transformées.

Ensuite, il attribuera une classe au point de test en fonction de la classe la plus fréquente de ces lignes.

Étape 4 - Fin

Avantages

1. Facile à utiliser, à comprendre et à interpréter.
2. Temps de calcul rapide.
3. Aucune hypothèse sur les données.
4. Haute précision des prédictions.
5. Polyvalent - Peut être utilisé pour les problèmes commerciaux de classification et de régression.
6. Peut également être utilisé pour les problèmes multi-classes.
7. Nous n'avons qu'un seul paramètre Hyper à modifier à l'étape de réglage de l'hyperparamètre.

Les inconvénients

1. Coûteux en termes de calcul et nécessitant beaucoup de mémoire car l'algorithme stocke toutes les données d'entraînement.
2. L'algorithme devient plus lent à mesure que les variables augmentent.
3. Il est très sensible aux fonctionnalités non pertinentes.
4. Malédiction de dimensionnalité.
5. Choisir la valeur optimale de K.
6. Un ensemble de données déséquilibré de classe causera un problème.
7. Les valeurs manquantes dans les données causent également des problèmes.

Lire : Idées de projets d'apprentissage automatique

3. Arbres de décision

Les arbres de décision peuvent être utilisés à la fois pour la classification et la régression car ils peuvent gérer à la fois des données numériques et catégorielles. Il décompose l'ensemble de données en sous-ensembles ou nœuds de plus en plus petits au fur et à mesure que l'arbre se développe. L'arbre de décision a une sortie avec des nœuds de décision et des nœuds feuille où un nœud de décision a deux branches ou plus tandis qu'un nœud feuille représente une décision. Le nœud le plus haut qui correspond au meilleur prédicteur est appelé le nœud racine.

Avantages

1. Simple à comprendre
2. Visualisation facile
3. Moins de données Interprétation
4. Gère les données numériques et catégorielles.

Les inconvénients

1. Parfois ne généralise pas bien
2. Instable aux modifications des données d'entrée

4. Forêts aléatoires

Les forêts aléatoires sont une méthode d'apprentissage d'ensemble qui peut être utilisée pour la classification et la régression. Il fonctionne en construisant plusieurs arbres de décision et génère les résultats en prenant la moyenne de tous les arbres de décision dans les problèmes de régression ou de vote majoritaire dans les problèmes de classification. Vous pouvez apprendre par le nom lui-même qu'un groupe d'arbres s'appelle une forêt.

Avantages

1. Peut gérer de grands ensembles de données.
2. Affichera l'importance des variables.
3. Peut gérer les valeurs manquantes.

Les inconvénients

1. C'est un algorithme de boîte noire.
2. Prédiction lente en temps réel et algorithmes complexes.

5. Soutenir les machines vectorielles

La machine à vecteurs de support est une représentation de l'ensemble de données sous forme de points dans l'espace séparés en catégories par un espace ou une ligne clair aussi loin que possible. Les nouveaux points de données sont maintenant mappés dans ce même espace et classés pour appartenir à une catégorie en fonction de quel côté de la ligne ou de la séparation ils se situent.

Avantages

1. Fonctionne mieux dans les espaces de grande dimension.
2. Utilise un sous-ensemble de points de données d'apprentissage dans la fonction de décision, ce qui en fait un algorithme efficace en mémoire.

Les inconvénients

1. Ne fournira pas d'estimations de probabilité.
2. Peut calculer des estimations de probabilité en utilisant la validation croisée, mais cela prend du temps.

Lisez aussi: Carrière en apprentissage automatique

Conclusion

Dans cet article, nous avons discuté des 5 algorithmes de classification, de leurs brèves définitions, des avantages et des inconvénients. Ce ne sont que quelques algorithmes que nous avons couverts, mais il existe des algorithmes plus précieux tels que Naive Bayes, Neural Networks, Ordered Logistic Regression. On ne peut pas dire quel algorithme fonctionne bien pour quel problème, de sorte que la meilleure pratique consiste à en essayer quelques-uns et à sélectionner le modèle final en fonction des métriques d'évaluation.

Si vous souhaitez en savoir plus sur l'apprentissage automatique, consultez le diplôme PG en apprentissage automatique et IA de IIIT-B & upGrad, conçu pour les professionnels en activité et offrant plus de 450 heures de formation rigoureuse, plus de 30 études de cas et missions, IIIT- Statut B Alumni, plus de 5 projets de synthèse pratiques et aide à l'emploi avec les meilleures entreprises.