Бэггинг против бустинга в машинном обучении: разница между бэггингом и бустингом

Из-за распространения приложений машинного обучения и увеличения вычислительной мощности специалисты по данным по своей сути внедрили алгоритмы в наборы данных. Ключом к реализации алгоритма является способ получения смещения и дисперсии. Как правило, предпочтение отдается моделям с низким смещением.

Организации используют контролируемые методы машинного обучения, такие как деревья решений, чтобы принимать более обоснованные решения и получать больше прибыли. Различные деревья решений в сочетании образуют ансамблевые методы и дают предсказуемые результаты.

Основная цель использования модели ансамбля состоит в том, чтобы сгруппировать набор слабых учеников и сформировать сильного ученика. То, как это делается, определяется двумя методами: бэггинг и бустинг, которые работают по-разному и используются взаимозаменяемо для получения лучших результатов с высокой точностью и меньшим количеством ошибок. С помощью ансамблевых методов несколько моделей объединяются для создания мощной модели.

В этом сообщении в блоге будут представлены различные концепции ансамблевого обучения. Во-первых, понимание ансамблевого метода откроет путь к методам, связанным с обучением, и разработке адаптированных решений. Далее мы обсудим расширенные концепции бэгинга и бустинга, чтобы у читателей было четкое представление о том, чем отличаются эти два метода, их основные приложения и результаты прогнозирования, полученные с их помощью.

Присоединяйтесь к онлайн -курсам по машинному обучению от ведущих университетов мира — магистерским программам, программам последипломного образования для руководителей и программам повышения квалификации в области машинного обучения и искусственного интеллекта, чтобы ускорить свою карьеру.

Что такое ансамблевый метод?

Ансамбль — это метод, используемый в алгоритме машинного обучения. В этом методе несколько моделей или «слабых учеников» обучаются решать одну и ту же проблему и интегрируются для получения желаемых результатов. Объединение слабых моделей правильно дает точные модели.

Во-первых, базовые модели необходимы для настройки ансамблевого метода обучения, который впоследствии будет кластеризован. В алгоритмах Bagging и Boosting используется единый базовый алгоритм обучения. Причина этого в том, что у нас под рукой будут однородные слабые ученики, которых будут обучать по-разному.

Созданная таким образом модель ансамбля в конечном итоге будет называться гомогенной моделью. Но на этом история не заканчивается. Есть некоторые методы, в которых различные типы базовых алгоритмов обучения также подразумеваются с гетерогенными слабыми учащимися, создающими «гетерогенную ансамблевую модель». Но в этом блоге мы будем иметь дело только с предыдущей моделью ансамбля и обсудим здесь два самых популярных метода ансамбля.

1. Бэггинг - это однородная модель слабых учеников, которые параллельно учатся друг у друга независимо и объединяют их для определения среднего значения модели.
2. Повышение также является однородной моделью слабых учеников, но работает иначе, чем бэггинг. В этой модели учащиеся учатся последовательно и адаптивно, чтобы улучшить предсказания модели алгоритма обучения.

Это был Бэгинг и Бустинг с первого взгляда. Давайте посмотрим на них обоих подробно. Некоторыми из факторов, вызывающих ошибки в обучении, являются шум, предвзятость и дисперсия. Метод ансамбля применяется для уменьшения этих факторов, что приводит к стабильности и точности результата.

Читайте также: Идеи проекта машинного обучения

Бэгинг

Бэггинг — это аббревиатура от «Bootstrap Aggregation», которая используется для уменьшения дисперсии в модели прогнозирования. Бэггинг — это параллельный метод, который подходит разным, рассматриваемым учащимся независимо друг от друга, что позволяет обучать их одновременно.

Пакетирование генерирует дополнительные данные для обучения из набора данных. Это достигается путем случайной выборки с заменой из исходного набора данных. Выборка с заменой может повторять некоторые наблюдения в каждом новом наборе обучающих данных. Вероятность появления каждого элемента в Бэггинге в новом наборе данных одинакова.

Эти мультинаборы данных используются для параллельного обучения нескольких моделей. Вычисляется среднее значение всех прогнозов из разных моделей ансамбля. При классификации учитывается большинство голосов, полученных в результате механизма голосования. Бэггинг уменьшает дисперсию и настраивает прогноз на ожидаемый результат.

Пример упаковки:

Модель случайного леса использует бэггинг, где присутствуют модели деревьев решений с более высокой дисперсией. Он делает случайный выбор функций для выращивания деревьев. Несколько случайных деревьев образуют случайный лес.

Повышение

Повышение — это метод последовательного ансамбля, который итеративно корректирует вес наблюдения в соответствии с последней классификацией. Если наблюдение неправильно классифицировано, это увеличивает вес этого наблюдения. Термин «Повышение» на непрофессиональном языке относится к алгоритмам, которые превращают слабого ученика в более сильного. Это уменьшает ошибку смещения и строит надежные прогностические модели.

Точки данных, неверно предсказанные в каждой итерации, выявляются, и их веса увеличиваются. Алгоритм Boosting присваивает веса каждой полученной модели во время обучения. Учащемуся с хорошими результатами прогнозирования данных обучения будет присвоен более высокий вес. При оценке нового учащегося Boosting отслеживает ошибки учащегося.

Пример повышения:

AdaBoost использует методы Boosting, где для поддержания модели требуется на 50% меньше ошибок. Здесь Boosting может сохранить или отбросить одного ученика. В противном случае итерация повторяется до достижения лучшего ученика.

Сходства и различия между бэггингом и бустингом

Бэггинг и бустинг, оба широко используемые методы, имеют универсальное сходство в том, что они классифицируются как ансамблевые методы. Здесь мы выделим больше сходства между ними, а затем отличия, которые они имеют друг от друга. Давайте сначала начнем со сходств, поскольку их понимание облегчит понимание различий.

Бэггинг и бустинг: сходство

1. Пакетирование и ускорение — это ансамблевые методы, направленные на получение N учеников от одного ученика.
2. Бэггинг и бустинг делают случайную выборку и генерируют несколько обучающих наборов данных.
3. Бэгинг и Повышение приходят к окончательному решению, составляя среднее число N учеников или принимая рейтинг голосования, сделанный большинством из них.
4. Бэггинг и буст уменьшают дисперсию и обеспечивают более высокую стабильность с минимальным количеством ошибок.

Читать: Объяснение моделей машинного обучения

Бэггинг и буст: отличия

Как мы уже говорили,

Бэггинг — это метод объединения прогнозов одного типа. Повышение — это метод объединения разных типов прогнозов.

Бэггинг уменьшает дисперсию, а не смещение, и решает проблемы переобучения в модели. Повышение уменьшает смещение, а не дисперсию.

В бэггинге каждая модель получает одинаковый вес. В Boosting модели взвешиваются на основе их производительности.

Модели строятся независимо в Бэггинге. На новые модели влияет производительность ранее созданной модели в Boosting.

В Бэггинге подмножества обучающих данных выбираются случайным образом с заменой набора обучающих данных. В бустинге каждое новое подмножество включает в себя элементы, которые были неправильно классифицированы предыдущими моделями.

Бэггинг обычно применяется там, где классификатор нестабилен и имеет высокую дисперсию. Повышение обычно применяется, когда классификатор стабилен, прост и имеет большое смещение.

Бэггинг и бустинг: итоговое резюме

Теперь, когда мы подробно описали концепции бэгинга и бустинга, мы подошли к концу статьи и можем сделать вывод, насколько они одинаково важны в науке о данных и где их применять в модели, зависит от предоставленных наборов данных, их моделирования и данных обстоятельств. Таким образом, с одной стороны, в модели Random Forest используется Bagging, а в модели AdaBoost подразумевается алгоритм Boosting.

Производительность модели машинного обучения рассчитывается путем сравнения точности ее обучения с точностью проверки, что достигается путем разделения данных на два набора: набор для обучения и набор для проверки. Учебный набор используется для обучения модели, а проверочный набор используется для оценки.

Вы можете проверить программу Executive PG IIT Delhi в области машинного обучения совместно с upGrad . IIT Delhi является одним из самых престижных учебных заведений в Индии. С более чем 500+ штатными преподавателями, которые являются лучшими в своих предметах.