使用機器學習進行 Anamoly 檢測：您需要知道什麼？
已發表: 2020-11-17人腦喜歡看到不對勁的地方。 我們的大腦被編程為只尋找違規行為 g。 但是，異常可能是企業在網絡安全方面可能遇到的最重大威脅。
讓我們舉個例子來了解數字空間的異常情況是什麼樣的？
這條推文——“小偷，小心。 日本新的人工智能軟件
@vaak_inc
說它可以發現潛在的小偷，甚至在他們偷走#リテールテック之前。”
https://twitter.com/QuickTake/status/1102751999215521794
根據這條推文，日本開發了一種基於人工智能 (AI) 的軟件，可以分析人類行為模式並根據數據檢測異常情況。 這些異常導致檢測到客戶的可疑行為，店員會詢問他們是否需要幫助。 如果接近小偷，大多數情況下他們會直接走開。
同樣，可能存在許多不同類型的異常，例如批量交易、多次登錄嘗試，甚至是異常的網絡流量。 在本文中，我們研究機器學習如何幫助識別異常？ 但是，在我們這樣做之前，讓我們了解一下網絡安全方面的異常情況是什麼？
目錄
什麼是異常？
異常通常是一種不同於數據集中標準行為的模式。 這是數據集的圖形表示。 N1 和 N2 區域代表數據集集群的標準模式，而其他對象可被視為異常。
區分新模式或良好模式與異常或惡意數據集是現代網絡安全系統中最關鍵的挑戰。 異常可以幫助攻擊者洩露重要數據，甚至竊取用戶信息進行操作。 多年來，由於在網絡或系統中引入惡意或負面模式，我們看到了許多網絡釣魚攻擊、網絡欺詐、身份盜竊和數據洩露。
2020 年 7 月，許多名人和政客的推特賬戶遭到黑客攻擊。 超過 130 個 Twitter 賬戶被黑客扣為人質，其中包括美國第 46 任總統喬·拜登、巴拉克·奧巴馬、埃隆·馬斯克、比爾·蓋茨、坎耶·韋斯特、邁克爾·布隆伯格和蘋果公司。
因此，您可以了解異常檢測在大數據數字時代的重要性。 現在我們對異常有了基本的了解，讓我們發現一些遺留方法和人工智能在異常檢測中的集成。
入侵偵測系統
它是一種軟件工具，可幫助檢測對任何網絡或系統的未經授權的訪問； 這個工具是檢測所有類型的網絡惡意使用的好方法。 它具有幫助您檢測服務攻擊、對任何軟件甚至移動應用程序的數據驅動攻擊的功能。
在這裡，您可以看到通用入侵檢測系統的線框基礎設施。 有專門的安全人員負責異常檢測。 該軟件收集所有網絡數據包（跨設備傳輸的任何網絡數據都以數據包的形式完成）。 接下來，它分析網絡流以檢測新模式中的異常。
機器學習算法可以幫助創建更強大的入侵檢測系統； 我們可以使用機器學習算法來分析網絡數據包並檢測異常。 這些算法將使用新穎的模式作為公投。
簽名技術
簽名技術是最流行的異常檢測方法之一。 它利用存儲在存儲庫中的惡意對象的簽名與網絡模式進行比較。 系統分析網絡模式並嘗試找到惡意簽名。 儘管它是一種檢測異常的出色技術，但未知威脅和攻擊卻未被檢測到。
閱讀：作為職業選擇的網絡安全範圍
使用 ML 進行實時異常檢測
機器學習算法可以幫助進行實時異常檢測。 谷歌云使用這種方法創建異常檢測管道，在 10 分鐘的窗口中攝取 150 兆字節的數據。
此方法中實時異常檢測的第一步是創建合成數據流； 這有助於創建用於攝取或聚合流中異常的觸發器映射。 無論是您家中的 wifi 還是辦公室中的企業網絡，每個網絡都有多個子網和用戶 ID； 此方法利用子網和訂閱者 ID 數據。
這裡面臨的唯一問題是用戶 ID 數據的使用，因為它違反了數據規定。 由於訂閱者 ID 包含 PII 或個人身份信息，因此可以在數據攝取或聚合期間向雲提供商透露。 出於這些目的，雲服務使用確定性加密。 他們使用加密解密來解密未檢測到 PII 的數據。
如此處所示，最好使用 BigQuery 算法來分析大量數據，因為可以訓練該算法以根據集群分析數據。 數據集群可以幫助根據日期、日期或其他過濾器劃分不同的信息集，例如訂閱者 ID 和子網。 因此，可以快速幫助聚類算法通過過濾信息從數據模式中學習。
最後一步是檢測聚類數據中的異常值或異常。 算法將需要標準化數據來檢測異常值。 因此，一旦進行數據歸一化，ML 算法將在每個集群中識別一個質心作為參考，並測量該中心與輸入向量的距離。
該距離是根據與其新路徑的標準偏差來衡量的，因此被視為異常值。
另請閱讀：網絡安全中的人工智能
異常檢測作為一種職業
隨著對網絡安全專業人員的需求大幅飆升，加上他們提供的豐厚薪水，網絡安全職業正成為現在最受歡迎的職業選擇之一。 如果你想從事這個職業，upGrad 和 IIIT-B 可以幫助你獲得網絡安全軟件開發專業的 PG 文憑。 該課程提供應用程序安全、密碼學、數據保密和網絡安全方面的專業知識。
結論
人工智能和機器學習算法等先進技術可用於對抗潛在的網絡威脅，這是一條蓬勃發展的職業道路。 因此，當您可以擁有具有高級 AI 算法的實時異常檢測系統時，不要僅僅依靠古老的加密或防病毒軟件。 這些方法通過基於 AI 的異常檢測系統使您的業務更加可靠和安全。