機械学習におけるバギングとブースティング：バギングとブースティングの違い

機械学習アプリケーションの急増と計算能力の向上により、データサイエンティストは本質的にデータセットにアルゴリズムを実装してきました。 アルゴリズムを実装するための鍵は、バイアスと分散を生成する方法です。 一般的に、バイアスの低いモデルが推奨されます。

組織は、意思決定ツリーなどの教師あり機械学習手法を使用して、より良い意思決定を行い、より多くの利益を生み出します。 さまざまな決定木を組み合わせると、アンサンブル手法が作成され、予測結果が得られます。

アンサンブルモデルを使用する主な目的は、一連の弱い学習者をグループ化し、強い学習者を形成することです。 それが行われる方法は、2つの手法で定義されます。バギングとブースティングは動作が異なり、高精度と精度でエラーの少ないより良い結果を得るために交換可能に使用されます。 アンサンブル手法では、複数のモデルをまとめて強力なモデルを作成します。

このブログ投稿では、アンサンブル学習のさまざまな概念を紹介します。 まず、アンサンブル法を理解することで、学習関連の方法と適応ソリューションの設計への道が開かれます。 さらに、これら2つの方法の違い、基本的なアプリケーション、および両方から得られる予測結果について読者に明確なアイデアを提供するために、バギングとブースティングの拡張概念について説明します。

世界のトップ大学の機械学習オンラインコースに参加して、修士号、エグゼクティブ大学院プログラム、ML＆AIの高度な証明書プログラムに参加して、キャリアを早めましょう。

アンサンブル法とは何ですか？

アンサンブルは、機械学習アルゴリズムで使用される方法です。 この方法では、複数のモデルまたは「弱い学習者」が同じ問題を修正するように訓練され、統合されて望ましい結果が得られます。 弱いモデルを正しく組み合わせると、正確なモデルが得られます。

まず、後でクラスター化されるアンサンブル学習メソッドを設定するための基本モデルが必要です。 バギングおよびブースティングアルゴリズムでは、単一の基本学習アルゴリズムが使用されます。 この背後にある理由は、さまざまな方法でトレーニングされる同種の弱い学習者が手元にあるためです。

このようにして作成されたアンサンブルモデルは、最終的には同種モデルと呼ばれます。 しかし、話はここで終わりではありません。 さまざまなタイプの基本学習アルゴリズムが、「異種アンサンブルモデル」を作成する異種の弱い学習者によっても暗示されるいくつかの方法があります。 ただし、このブログでは、以前のアンサンブルモデルのみを扱い、最も一般的な2つのアンサンブル手法について説明します。

1. バギングは同種の弱い学習者のモデルであり、互いに独立して並行して学習し、それらを組み合わせてモデルの平均を決定します。
2. ブースティングも同種の弱い学習者のモデルですが、バギングとは動作が異なります。 このモデルでは、学習者は学習アルゴリズムのモデル予測を改善するために順次かつ適応的に学習します。

それは一目でバギングとブースティングでした。 両方を詳しく見ていきましょう。 学習のエラーを引き起こす要因のいくつかは、ノイズ、バイアス、および分散です。 アンサンブル法を適用してこれらの要因を減らし、結果の安定性と精度を高めます。

また読む：機械学習プロジェクトのアイデア

バギング

バギングは「ブートストラップ集約」の頭字語であり、予測モデルの分散を減らすために使用されます。 バギングは、異なると考えられる学習者を互いに独立して適合させる並列方法であり、それらを同時にトレーニングすることを可能にします。

バギングは、データセットからトレーニング用の追加データを生成します。 これは、元のデータセットからの置換によるランダムサンプリングによって実現されます。 置換を伴うサンプリングでは、新しいトレーニングデータセットごとにいくつかの観察が繰り返される場合があります。 バギングのすべての要素は、新しいデータセットに表示される可能性が同じです。

これらのマルチデータセットは、複数のモデルを並行してトレーニングするために使用されます。 さまざまなアンサンブルモデルからのすべての予測の平均が計算されます。 投票メカニズムから得られた多数決は、分類が行われるときに考慮されます。 バギングは分散を減らし、予測を期待される結果に調整します。

バギングの例：

ランダムフォレストモデルは、分散の大きい決定木モデルが存在するバギングを使用します。 木を成長させるためにランダムな特徴選択を行います。 いくつかのランダムな木がランダムフォレストを作ります。

ブースティング

ブースティングは、最後の分類に従って観測の重みを繰り返し調整するシーケンシャルアンサンブル法です。 観測値が誤って分類されると、その観測値の重みが増加します。 素人言語での「ブースティング」という用語は、弱い学習者を強い学習者に変換するアルゴリズムを指します。 バイアスエラーを減らし、強力な予測モデルを構築します。

各反復で誤って予測されたデータポイントが検出され、それらの重みが増加します。 Boostingアルゴリズムは、トレーニング中に結果の各モデルに重みを割り当てます。 トレーニングデータの予測結果が良好な学習者には、より高い重みが割り当てられます。 新しい学習者を評価するとき、Boostingは学習者のエラーを追跡します。

ブーストの例：

AdaBoostは、モデルを維持するために必要なエラーが50％少ないブースティング手法を使用しています。 ここで、Boostingは1人の学習者を保持または破棄できます。 それ以外の場合は、より良い学習者を達成するまで反復が繰り返されます。

バギングとブースティングの類似点と相違点

バギングとブースティングはどちらも一般的に使用されている方法であり、アンサンブル方法として分類されるという普遍的な類似性があります。 ここでは、それらの間のより多くの類似点を強調し、続いてそれらが互いに異なる点を強調します。 これらを理解すると違いを理解しやすくなるため、最初に類似点から始めましょう。

バギングとブースティング：類似点

1. バギングとブースティングは、1人の学習者からN人の学習者を取得することに焦点を当てたアンサンブル手法です。
2. バギングとブースティングはランダムサンプリングを行い、いくつかのトレーニングデータセットを生成します
3. バギングとブースティングは、平均してN人の学習者を作成するか、ほとんどの学習者が行った投票ランクを取得することによって、最終決定に到達します。
4. バギングとブースティングは分散を減らし、エラーを最小限に抑えてより高い安定性を提供します。

読む：機械学習モデルの説明

バギングとブースティング：違い

すでに言ったように、

バギングは、同じタイプの予測をマージする方法です。 ブースティングは、さまざまなタイプの予測をマージする方法です。

バギングは、バイアスではなく分散を減らし、モデルの過剰適合の問題を解決します。 ブーストすると、分散ではなくバイアスが減少します。

バギングでは、各モデルに同じ重みが付けられます。 Boostingでは、モデルはパフォーマンスに基づいて重み付けされます。

モデルはBaggingで独立して構築されます。 新しいモデルは、Boostingで以前に作成されたモデルのパフォーマンスの影響を受けます。

バギングでは、トレーニングデータのサブセットがランダムに描画され、トレーニングデータセットが置き換えられます。 Boostingでは、すべての新しいサブセットは、以前のモデルによって誤って分類された要素で構成されます。

バギングは通常、分類器が不安定で分散が大きい場合に適用されます。 ブースティングは通常、分類器が安定していて単純で、バイアスが高い場合に適用されます。

バギングとブースティング：決定的な要約

バギングとブースティングの概念を完全に説明したので、記事の最後に到達し、データサイエンスで両方が等しく重要であり、モデルのどこに適用されるかは、与えられたデータのセットに依存すると結論付けることができます。シミュレーションと与えられた状況。 したがって、一方で、ランダムフォレストモデルでは、バギングが使用され、AdaBoostモデルはブースティングアルゴリズムを意味します。

機械学習モデルのパフォーマンスは、トレーニングの精度と検証の精度を比較することで計算されます。検証の精度は、データをトレーニングセットと検証セットの2つのセットに分割することで実現されます。 トレーニングセットはモデルのトレーニングに使用され、検証セットは評価に使用されます。

upGradに関連して、機械学習におけるIITデリーのエグゼクティブPGプログラムを確認できます。 IITデリーは、インドで最も権威のある機関の1つです。 主題で最高の500人以上の社内教員がいます。