すべてのデータサイエンティストが知っておくべきトップ9のデータサイエンスアルゴリズム
公開: 2020-02-13アルゴリズムは、計算を実装したり、他の問題解決機能を実行したりするためにコンピュータープログラムが従う一連のルールまたは命令です。 データサイエンスはデータセットの意味のある情報を抽出することを目的としているため、目的を解決するために利用できるアルゴリズムは無数にあります。
データサイエンスアルゴリズムは、デフォルトの分類、予測、分析、検出などに役立ちます。アルゴリズムは、scikit-learnなどの機械学習ライブラリの基盤も構成します。 したがって、水面下で何が起こっているのかをしっかりと理解するのに役立ちます。
世界のトップ大学からデータサイエンスプログラムを学びましょう。 エグゼクティブPGプログラム、高度な証明書プログラム、または修士プログラムを取得して、キャリアを早急に進めましょう。
読む:データサイエンスのための機械学習アルゴリズム
目次
一般的に使用されるデータサイエンスアルゴリズム
1.分類
これは離散ターゲット変数に使用され、出力はカテゴリの形式になります。 クラスタリング、関連付け、および決定木は、入力データを処理して結果を予測する方法です。 たとえば、分類モデルを使用して、新しい患者に「病気」または「健康」のラベルを付けることができます。
2.回帰
回帰は、ターゲット変数を予測するため、および本質的に連続しているターゲット変数間の関係を測定するために使用されます。 これは、単一の特徴または特徴のセット(xなど)とターゲット変数yのプロットに「最適な線」をプロットする簡単な方法です。
回帰を使用して、さまざまな大気パラメータ間の以前の相関に基づいて降雨量を推定することができます。 もう1つの例は、面積、地域、年齢などの特徴に基づいて家の価格を予測することです。
ここで、データサイエンスアルゴリズムの最も基本的な構成要素の1つである線形回帰について理解しましょう。
3.線形回帰
N個の特徴を持つデータセットの線形方程式は次のように与えられます。y=b0 + b 1 .x 1 + b 2 .x 2 + b 3 .x3 + …..bn.x n 、ここでb0は一定。
単変量データ(y = b 0 + b 1 .x)の場合、目的は、返される変数の損失またはエラーを可能な限り最小の値に最小化することです。 これがコスト関数の主な目的です。 b 0をゼロと仮定し、b 1に異なる値を入力すると、線形回帰コスト関数の形状が凸であることがわかります。
数学ツールは、2つのパラメーターb0とb1を最適化し、コスト関数を最小化するのに役立ちます。 それらの1つを次のように説明します。
4.最小二乗法
上記の場合、b 1はxの重みまたは線の傾きであり、b0は切片です。 さらに、yのすべての予測値は線上にあります。 そして、最小二乗法は、各点、たとえば(x i 、y i )、予測値の間の距離を最小化しようとします。
b 0の値を計算するには、x iのすべての値の平均を求め、それらにb1を掛けます。 次に、すべてのyiの平均から積を引きます。 また、Pythonでb1の値のコードを実行できます。 これらの値は、コスト関数にプラグインする準備ができており、損失とエラーに対して戻り値が最小化されます。 たとえば、b 0 =-34.671およびb1 = 9.102の場合、コスト関数は21.801として返されます。
5.最急降下法
重回帰の場合のように、複数の特徴がある場合、複雑な計算は最急降下法などの方法で処理されます。 これは、関数の極小値を決定するために適用される反復最適化アルゴリズムです。 このプロセスは、 b0とb1の初期値を取得することから始まり、コスト関数の傾きがゼロになるまで続きます。

山の最下点にある湖に行かなければならないとします。 視界がゼロで山の頂上に立っている場合は、土地が下降しがちな地点から開始します。 最初の一歩を踏み出し、下りの道をたどると、湖にたどり着く可能性があります。
コスト関数はパラメーターを評価できるツールですが、最急降下アルゴリズムはモデルパラメーターの更新とトレーニングに役立ちます。 それでは、データサイエンスの他のアルゴリズムの概要を見てみましょう。
6.ロジスティック回帰
線形回帰の予測は連続値ですが、ロジスティック回帰は離散またはバイナリの予測を提供します。 つまり、出力の結果は、変換関数を適用した後の2つのクラスに属します。 たとえば、ロジスティック回帰を使用して、学生が合格したか失敗したか、または雨が降るかどうかを予測できます。 ロジスティック回帰の詳細をご覧ください。
7.K-meansクラスタリング
これは、同様のデータポイントをクラスターに割り当てる反復アルゴリズムです。 同じことを行うために、kクラスターの重心を計算し、重心からの最小距離に基づいてデータをグループ化します。 データマイニングにおけるクラスター分析の詳細をご覧ください。
8. K最近傍法(KNN)
KNNアルゴリズムは、データセット全体を調べて、新しいデータインスタンスに結果が必要な場合に、k最近傍インスタンスを見つけます。 ユーザーは、使用するkの値を指定します。
9.主成分分析(PCA)
PCAアルゴリズムは、データの最大分散を「主成分」の新しいシステムに取り込むことにより、変数の数を減らします。 これにより、データの探索と視覚化が容易になります。
まとめ
上で説明したデータサイエンスアルゴリズムの知識は、フィールドで始めたばかりの場合に非常に役立つことがわかります。 日常のデータサイエンス機能を実行する際にも、要点を理解することが役立ちます。
データサイエンスについて知りたい場合は、IIIT-B&upGradのデータサイエンスのエグゼクティブPGプログラムをチェックしてください。これは、働く専門家向けに作成され、10以上のケーススタディとプロジェクト、実践的なハンズオンワークショップ、業界の専門家とのメンターシップを提供します。1業界のメンターとの1対1、400時間以上の学習、トップ企業との仕事の支援。
MLのデータサイエンスアルゴリズムを選択する前に考慮すべき点は何ですか?
直線性を確認します。 これを行う最も簡単な方法は、直線を当てはめるか、ロジスティック回帰またはSVMを実行して、残差エラーを探すことです。 より大きなエラーは、データが線形ではなく、それに合わせるために高度な技術が必要であることを示します。
ナイーブベイズ、線形、およびロジスティック回帰アルゴリズムは、構築と実行が簡単です。 パラメータ調整を必要とするSVM、収束時間が速いニューラルネットワーク、ランダムフォレストはすべて、データのトレーニングにかなりの時間を必要とします。 結果として、あなたの好みのペースに基づいてあなたの選択をしてください。
信頼できる予測を生成するには、通常、大量のデータを収集することをお勧めします。 ただし、データの可用性が問題になることがよくあります。 トレーニングデータが制限されている場合、またはデータセットに含まれる観測値が少なく、遺伝学やテキストデータなどの特徴が多い場合は、線形回帰や線形SVMなどのバイアスが高く分散が小さいアルゴリズムを使用します。
柔軟で制限的なアルゴリズムとは何ですか?
それらは限られた種類のマッピング関数形式を作成するため、一部のアルゴリズムは制限的であると言われています。 たとえば、線形回帰は、線のような線形関数しか作成できないため、制限された手法です。
一部のアルゴリズムは、より広範囲のマッピング関数形式を作成できるため、柔軟性があると言われています。 たとえば、k = 1のKNNは、マッピング出力関数を生成するときにすべての入力データポイントを考慮するため、非常に用途が広いです。
関数が、真の応答値に近い特定の観測値の応答値を予測できる場合、これはその精度として特徴付けられます。 高度に解釈可能な手法(線形回帰のような制限モデル)は、個々の予測子を理解できることを意味しますが、柔軟なモデルは、解釈可能性が低くなる代わりに、より高い精度を提供します。
ナイーブベイズアルゴリズムとは何ですか?
これは、ベイズの定理と予測子の独立性の仮定に基づく分類アルゴリズムです。 簡単に言えば、単純ベイズ分類器は、クラス内の1つの特徴の存在は、他の特徴の存在とは無関係であると述べています。 Naive Bayesモデルは構築が簡単で、大規模なデータセットに特に役立ちます。 その単純さのために、ナイーブベイズは最も強力な分類アルゴリズムさえも打ち負かすことで知られています。