機械学習による異常検出：知っておくべきこと

人間の脳は何かがおかしいのを見るのが大好きです。 私たちの脳は、不規則性を探すようにプログラムされています。 しかし、異常は、サイバーセキュリティに関して企業が遭遇する可能性のある最も重大な脅威になる可能性があります。

例を見て、デジタル空間の異常がどのように見えるかを理解しましょう。

ツイート-「万引き犯、用心しなさい。 日本の新しいAIソフトウェア

@vaak_inc

＃リフェレテックを盗む前でも、潜在的な泥棒を見つけることができると言います。」

https://twitter.com/QuickTake/status/1102751999215521794

このツイートによると、日本は、人間の行動パターンを分析し、データに従って異常を検出する人工知能（AI）ベースのソフトウェアを開発しました。 これらの異常は、顧客の疑わしい行動の検出につながり、店員は彼らに助けが必要かどうか尋ねます。 万引き犯に近づくと、ほとんどの場合、彼らはただ立ち去るだけであることに気づきました。

同様に、バルクトランザクション、複数のログイン試行、さらには異常なネットワークトラフィックなど、さまざまな種類の異常が発生する可能性があります。 この記事では、機械学習が異常の特定にどのように役立つかを研究します。 しかし、その前に、サイバーセキュリティの観点から異常とは何かを理解しましょう。

アノマリーとは何ですか？

異常は、多くの場合、データセットの標準的な動作とは異なるパターンです。 これは、データセットのグラフィック表現です。 N1およびN2領域は、データセットクラスターの標準パターンを表しますが、他のオブジェクトは異常と見なすことができます。

現代のサイバーセキュリティシステムでは、新しいパターンまたは優れたパターンと異常または悪意のあるデータセットを区別することが最も重要な課題です。 異常は、攻撃者が重要なデータを漏洩し、操作のためにユーザー情報を盗むのに役立つ可能性があります。 ネットワークまたはシステムに悪意のあるパターンまたはネガティブなパターンが導入されたために、長年にわたって多くのフィッシング攻撃、サイバー詐欺、個人情報の盗難、およびデータ漏洩が発生しています。

2020年7月、多くの有名人や政治家のTwitterアカウントがハッキングされました。 130以上のTwitterアカウントが、ジョー・バイデン、第46代アメリカ合衆国大統領、バラク・オバマ、イーロン・マスク、ビル・ゲイツ、カニエ・ウェスト、マイケル・ブルームバーグ、アップルなどのハッカーによって人質にされました。

したがって、ビッグデータのデジタル時代における異常検出の重要性を理解することができます。 異常についての基本的な理解ができたので、異常検出におけるAIのいくつかのレガシーな方法と統合を発見しましょう。

侵入検知システム

これは、ネットワークまたはシステムへの不正アクセスを検出するのに役立つソフトウェアツールです。 このツールは、ネットワークのあらゆる種類の悪意のある使用を検出するための優れた方法です。 サービス攻撃、あらゆるソフトウェアに対するデータ駆動型攻撃、さらにはモバイルアプリケーションを検出するのに役立つ機能があります。

ここでは、一般化された侵入検知システムのワイヤーフレームインフラストラクチャを見ることができます。 異常検出の指揮をとる専任のセキュリティ担当者がいます。 ソフトウェアはすべてのネットワークパケットを収集します（デバイス間で送信されるネットワークデータはすべてパケットで行われます）。 次に、ネットワークフローを分析して、新しいパターン間の異常を検出します。

機械学習アルゴリズムは、より堅牢な侵入検知システムの作成に役立ちます。 機械学習アルゴリズムを使用して、ネットワークパケットを分析し、異常を検出できます。 アルゴリズムは、国民投票として新しいパターンを使用します。

署名テクニック

シグニチャ技術は、異常を検出するための最も一般的な方法の1つです。 リポジトリに保存されている悪意のあるオブジェクトのシグネチャを利用して、ネットワークパターンと比較します。 システムはネットワークパターンを分析し、悪意のあるシグニチャを見つけようとします。 これは異常を検出するための優れた手法ですが、未知の脅威や攻撃は検出されません。

読む：キャリアオプションとしてのサイバーセキュリティの範囲

MLによるリアルタイムの異常検出

機械学習アルゴリズムは、リアルタイムの異常検出に役立ちます。 Googleクラウドはこの方法を使用して、異常検出パイプラインを作成します。このパイプラインでは、150メガバイトのデータが10分のウィンドウで取り込まれます。

この方法でのリアルタイムの異常検出に向けた最初のステップは、合成データフローを作成することです。 これは、フロー内の異常を取り込みまたは集約するためのトリガーのマップを作成するのに役立ちます。 自宅のWi-Fiでも、オフィスのエンタープライズネットワークでも、すべてのネットワークには複数のサブネットとサブスクライバーIDがあります。 この方法では、サブネットとサブスクライバーIDデータを利用します。

ここで直面する唯一の問題は、データ規制に違反しているため、加入者IDデータの使用です。 サブスクライバーIDにはPIIまたは個人を特定できる情報が含まれているため、データの取り込みまたは集約中にクラウドプロバイダーに公開される可能性があります。 これらの目的のために、クラウドサービスは決定論的暗号化を使用します。 彼らは暗号復号化を使用して、PIIを検出しないデータを復号化します。

ここに示すように、アルゴリズムはクラスターの観点からデータを分析するようにトレーニングできるため、BigQueryアルゴリズムを使用して大量のデータを分析することをお勧めします。 データクラスタリングは、日、日付、またはその他のフィルターに従って、サブスクライバーIDやサブネットなどのさまざまな情報セットを分割するのに役立ちます。 したがって、クラスタリングアルゴリズムが、フィルタリングされた情報を通じてデータパターンから学習するのをすばやく支援できます。

最後のステップは、クラスター化されたデータ間の外れ値または異常を検出することです。 アルゴリズムでは、外れ値を検出するために正規化されたデータが必要になります。 したがって、データの正規化が実行されると、MLアルゴリズムは各クラスターの重心を参照として識別し、入力ベクトルまでの中心の距離を測定します。

距離は、その新しいパスからの標準偏差で測定され、それに応じて外れ値と見なされます。

また読む：サイバーセキュリティにおける人工知能

キャリアとしての異常検出

サイバーセキュリティの専門家に対する需要が大幅に急増し、彼らが提供する有利な給与と相まって、サイバーセキュリティのキャリアは現在最も人気のあるキャリアオプションの1つになりつつあります。 この職業を追求したい場合は、upGradとIIIT-Bが、サイバーセキュリティのソフトウェア開発専門分野のPGディプロマを取得するのに役立ちます。 このコースでは、アプリケーションセキュリティ、暗号化、データ機密性、およびネットワークセキュリティを専門としています。

結論

人工知能や機械学習アルゴリズムなどの高度なテクノロジーは、潜在的なサイバー脅威と戦うのに役立ち、開花するキャリアパスです。 したがって、高度なAIアルゴリズムを備えたリアルタイムの異常検出システムを使用できる場合は、古くからある暗号化やウイルス対策ソフトウェアだけに頼らないでください。 これらの方法は、AIベースの異常検出システムを使用して、ビジネスの信頼性と安全性を高めます。