Bagging vs Boosting dans Machine Learning : Différence entre Bagging et Boosting

En raison de la prolifération des applications d'apprentissage automatique et de l'augmentation de la puissance de calcul, les scientifiques des données ont intrinsèquement implémenté des algorithmes dans les ensembles de données. La clé sur laquelle un algorithme est implémenté est la manière dont le biais et la variance sont produits. Les modèles à faible biais sont généralement préférés.

Les organisations utilisent des techniques d'apprentissage automatique supervisé telles que les arbres de décision pour prendre de meilleures décisions et générer plus de profits. Différents arbres de décision, lorsqu'ils sont combinés, forment des méthodes d'ensemble et fournissent des résultats prédictifs.

L'objectif principal de l'utilisation d'un modèle d'ensemble est de regrouper un ensemble d'apprenants faibles et de former un apprenant fort. La façon dont cela est fait est définie dans les deux techniques : Bagging et Boosting qui fonctionnent différemment et sont utilisées de manière interchangeable pour obtenir de meilleurs résultats avec une précision et une exactitude élevées et moins d'erreurs. Avec les méthodes d'ensemble, plusieurs modèles sont réunis pour produire un modèle puissant.

Ce billet de blog présentera divers concepts d'apprentissage d'ensemble. Premièrement, la compréhension de la méthode d'ensemble ouvrira des voies vers des méthodes liées à l'apprentissage et la conception de solutions adaptées. En outre, nous discuterons des concepts étendus de Bagging et de Boosting pour donner aux lecteurs une idée claire de la différence entre ces deux méthodes, de leurs applications de base et des résultats prédictifs obtenus à partir des deux.

Rejoignez les cours en ligne d'apprentissage automatique des meilleures universités du monde - Masters, programmes de troisième cycle pour cadres et programme de certificat avancé en ML et IA pour accélérer votre carrière.

Qu'est-ce qu'une méthode d'ensemble ?

L'ensemble est une méthode utilisée dans l'algorithme d'apprentissage automatique. Dans cette méthode, plusieurs modèles ou « apprenants faibles » sont formés pour rectifier le même problème et intégrés pour obtenir les résultats souhaités. Les modèles faibles combinés donnent à juste titre des modèles précis.

Premièrement, les modèles de base sont nécessaires pour mettre en place une méthode d'apprentissage d'ensemble qui sera regroupée par la suite. Dans les algorithmes Bagging et Boosting, un seul algorithme d'apprentissage de base est utilisé. La raison derrière cela est que nous aurons sous la main des apprenants faibles homogènes, qui seront formés de différentes manières.

Le modèle d'ensemble réalisé de cette manière sera éventuellement appelé un modèle homogène. Mais l'histoire ne s'arrête pas là. Il existe certaines méthodes dans lesquelles différents types d'algorithmes d'apprentissage de base sont également impliqués avec des apprenants faibles hétérogènes créant un «modèle d'ensemble hétérogène». Mais dans ce blog, nous ne traiterons que de l'ancien modèle d'ensemble et discuterons des deux méthodes d'ensemble les plus populaires.

1. Le bagging est un modèle homogène d'apprenants faibles qui apprend les uns des autres indépendamment en parallèle et les combine pour déterminer la moyenne du modèle.
2. Le boosting est également un modèle homogène d'apprenants faibles mais fonctionne différemment du bagging. Dans ce modèle, les apprenants apprennent de manière séquentielle et adaptative pour améliorer les prédictions du modèle d'un algorithme d'apprentissage.

C'était Bagging and Boosting en un coup d'œil. Regardons les deux en détail. Certains des facteurs qui causent des erreurs d'apprentissage sont le bruit, les biais et la variance. La méthode d'ensemble est appliquée pour réduire ces facteurs, ce qui se traduit par la stabilité et la précision du résultat.

Lisez aussi : Idées de projets d'apprentissage automatique

Ensachage

Bagging est un acronyme pour « Bootstrap Aggregation » et est utilisé pour réduire la variance dans le modèle de prédiction. Le bagging est une méthode parallèle qui s'adapte à différents apprenants considérés indépendamment les uns des autres, permettant de les former simultanément.

L'ensachage génère des données supplémentaires pour la formation à partir de l'ensemble de données. Ceci est réalisé par un échantillonnage aléatoire avec remplacement à partir de l'ensemble de données d'origine. L'échantillonnage avec remplacement peut répéter certaines observations dans chaque nouvel ensemble de données d'apprentissage. Chaque élément de Bagging est également susceptible d'apparaître dans un nouvel ensemble de données.

Ces jeux de données multiples sont utilisés pour entraîner plusieurs modèles en parallèle. La moyenne de toutes les prédictions de différents modèles d'ensemble est calculée. Le vote majoritaire obtenu grâce au mécanisme de vote est pris en compte lors de la classification. Le bagging diminue la variance et ajuste la prédiction à un résultat attendu.

Exemple d'ensachage :

Le modèle de forêt aléatoire utilise le bagging, où des modèles d'arbre de décision avec une variance plus élevée sont présents. Il fait une sélection aléatoire de fonctionnalités pour faire pousser des arbres. Plusieurs arbres aléatoires forment une forêt aléatoire.

Booster

Le boosting est une méthode d'ensemble séquentielle qui ajuste itérativement le poids de l'observation selon la dernière classification. Si une observation est mal classée, cela augmente le poids de cette observation. Le terme «Boosting» dans un langage profane fait référence à des algorithmes qui convertissent un apprenant faible en un apprenant plus fort. Il diminue l'erreur de biais et construit des modèles prédictifs solides.

Les points de données mal prédits à chaque itération sont repérés et leurs poids sont augmentés. L'algorithme Boosting alloue des poids à chaque modèle résultant pendant la formation. Un apprenant avec de bons résultats de prédiction des données de formation se verra attribuer un poids plus élevé. Lors de l'évaluation d'un nouvel apprenant, Boosting garde une trace des erreurs de l'apprenant.

Exemple de boost :

L'AdaBoost utilise des techniques de Boosting, où une erreur de 50% en moins est nécessaire pour maintenir le modèle. Ici, Boosting peut conserver ou supprimer un seul apprenant. Sinon, l'itération est répétée jusqu'à l'obtention d'un meilleur apprenant.

Similitudes et différences entre le bagging et le boosting

Le bagging et le boosting, les deux étant les méthodes couramment utilisées, ont une similitude universelle d'être classés comme des méthodes d'ensemble. Ici, nous mettrons en évidence plus de similitudes entre eux, suivis des différences qu'ils ont les uns des autres. Commençons d'abord par les similitudes, car leur compréhension facilitera la compréhension des différences.

Bagging et Boosting : Similitudes

1. Bagging et Boosting sont des méthodes d'ensemble axées sur l'obtention de N apprenants à partir d'un seul apprenant.
2. Le bagging et le boosting effectuent un échantillonnage aléatoire et génèrent plusieurs ensembles de données d'apprentissage
3. Le bagging et le boosting arrivent à la décision finale en faisant une moyenne de N apprenants ou en prenant le classement de vote effectué par la plupart d'entre eux.
4. Le bagging et le boosting réduisent la variance et offrent une plus grande stabilité tout en minimisant les erreurs.

Lire : Explication des modèles d'apprentissage automatique

Bagging et Boosting : différences

Comme nous l'avons déjà dit,

Le bagging est une méthode de fusion du même type de prédictions. Le boosting est une méthode de fusion de différents types de prédictions.

Le bagging diminue la variance, pas le biais, et résout les problèmes de sur-ajustement dans un modèle. Le boosting diminue le biais, pas la variance.

Dans Bagging, chaque modèle reçoit un poids égal. Dans Boosting, les modèles sont pondérés en fonction de leurs performances.

Les modèles sont construits indépendamment dans Bagging. Les nouveaux modèles sont affectés par les performances d'un modèle précédemment construit dans Boosting.

Dans Bagging, les sous-ensembles de données d'entraînement sont tirés au hasard avec un remplacement pour l'ensemble de données d'entraînement. Dans Boosting, chaque nouveau sous-ensemble comprend les éléments qui ont été mal classés par les modèles précédents.

L'ensachage est généralement appliqué lorsque le classificateur est instable et présente une variance élevée. Le boosting est généralement appliqué là où le classifieur est stable et simple et présente un biais élevé.

Bagging et Boosting : un résumé concluant

Maintenant que nous avons décrit en détail les concepts de Bagging et de Boosting, nous sommes arrivés à la fin de l'article et pouvons conclure que les deux sont également importants en Data Science et où les appliquer dans un modèle dépend des ensembles de données donnés, de leur simulation et les circonstances données. Ainsi, d'une part, dans un modèle Random Forest, on utilise le Bagging, et le modèle AdaBoost implique l'algorithme Boosting.

Les performances d'un modèle d'apprentissage automatique sont calculées en comparant sa précision d'apprentissage à la précision de validation, ce qui est obtenu en divisant les données en deux ensembles : l'ensemble d'apprentissage et l'ensemble de validation. L'ensemble de formation est utilisé pour former le modèle et l'ensemble de validation est utilisé pour l'évaluation.

Vous pouvez consulter le programme Executive PG d'IIT Delhi en apprentissage automatique en association avec upGrad . IIT Delhi est l'une des institutions les plus prestigieuses d'Inde. Avec plus de 500 membres du corps professoral internes qui sont les meilleurs dans les matières.