使用机器学习进行 Anamoly 检测：您需要知道什么？
已发表: 2020-11-17人脑喜欢看到不对劲的地方。 我们的大脑被编程为只寻找违规行为 g。 但是，异常可能是企业在网络安全方面可能遇到的最重大威胁。
让我们举个例子来了解数字空间的异常情况是什么样的？
这条推文——“小偷，小心。 日本新的人工智能软件
@vaak_inc
说它可以发现潜在的小偷，甚至在他们偷走#リテールテック之前。”
https://twitter.com/QuickTake/status/1102751999215521794
根据这条推文，日本开发了一种基于人工智能 (AI) 的软件，可以分析人类行为模式并根据数据检测异常情况。 这些异常导致检测到客户的可疑行为，店员会询问他们是否需要帮助。 如果接近小偷，大多数情况下他们会直接走开。
同样，可能存在许多不同类型的异常，例如批量交易、多次登录尝试，甚至是异常的网络流量。 在本文中，我们研究机器学习如何帮助识别异常？ 但是，在我们这样做之前，让我们了解一下网络安全方面的异常情况是什么？
目录
什么是异常？
异常通常是一种不同于数据集中标准行为的模式。 这是数据集的图形表示。 N1 和 N2 区域代表数据集集群的标准模式，而其他对象可被视为异常。
区分新模式或良好模式与异常或恶意数据集是现代网络安全系统中最关键的挑战。 异常可以帮助攻击者泄露重要数据，甚至窃取用户信息进行操作。 多年来，由于在网络或系统中引入恶意或负面模式，我们看到了许多网络钓鱼攻击、网络欺诈、身份盗窃和数据泄露。
2020 年 7 月，许多名人和政客的推特账户遭到黑客攻击。 超过 130 个 Twitter 账户被黑客扣为人质，其中包括美国第 46 任总统乔·拜登、巴拉克·奥巴马、埃隆·马斯克、比尔·盖茨、坎耶·韦斯特、迈克尔·布隆伯格和苹果公司。
因此，您可以了解异常检测在大数据数字时代的重要性。 现在我们对异常有了基本的了解，让我们发现一些遗留方法和人工智能在异常检测中的集成。
入侵侦测系统
它是一种软件工具，可帮助检测对任何网络或系统的未经授权的访问； 这个工具是检测所有类型的网络恶意使用的好方法。 它具有帮助您检测服务攻击、对任何软件甚至移动应用程序的数据驱动攻击的功能。
在这里，您可以看到通用入侵检测系统的线框基础设施。 有专门的安全人员负责异常检测。 该软件收集所有网络数据包（跨设备传输的任何网络数据都以数据包的形式完成）。 接下来，它分析网络流以检测新模式中的异常。
机器学习算法可以帮助创建更强大的入侵检测系统； 我们可以使用机器学习算法来分析网络数据包并检测异常。 这些算法将使用新颖的模式作为公投。
签名技术
签名技术是最流行的异常检测方法之一。 它利用存储在存储库中的恶意对象的签名与网络模式进行比较。 系统分析网络模式并尝试找到恶意签名。 尽管它是一种检测异常的出色技术，但未知威胁和攻击却未被检测到。
阅读：作为职业选择的网络安全范围
使用 ML 进行实时异常检测
机器学习算法可以帮助进行实时异常检测。 谷歌云使用这种方法创建异常检测管道，在 10 分钟的窗口中摄取 150 兆字节的数据。
此方法中实时异常检测的第一步是创建合成数据流； 这有助于创建用于摄取或聚合流中异常的触发器映射。 无论是您家中的 wifi 还是办公室中的企业网络，每个网络都有多个子网和用户 ID； 此方法利用子网和订阅者 ID 数据。
这里面临的唯一问题是用户 ID 数据的使用，因为它违反了数据规定。 由于订阅者 ID 包含 PII 或个人身份信息，因此可以在数据摄取或聚合期间向云提供商透露。 出于这些目的，云服务使用确定性加密。 他们使用加密解密来解密未检测到 PII 的数据。
如此处所示，最好使用 BigQuery 算法来分析大量数据，因为可以训练该算法以根据集群分析数据。 数据集群可以帮助根据日期、日期或其他过滤器划分不同的信息集，例如订阅者 ID 和子网。 因此，可以快速帮助聚类算法通过过滤信息从数据模式中学习。
最后一步是检测聚类数据中的异常值或异常。 算法将需要标准化数据来检测异常值。 因此，一旦进行数据归一化，ML 算法将在每个集群中识别一个质心作为参考，并测量该中心与输入向量的距离。
该距离是根据与其新路径的标准偏差来衡量的，因此被视为异常值。
另请阅读：网络安全中的人工智能
异常检测作为一种职业
随着对网络安全专业人员的需求大幅飙升，加上他们提供的丰厚薪水，网络安全职业正成为现在最受欢迎的职业选择之一。 如果你想从事这个职业，upGrad 和 IIIT-B 可以帮助你获得网络安全软件开发专业的 PG 文凭。 该课程提供应用程序安全、密码学、数据保密和网络安全方面的专业知识。
结论
人工智能和机器学习算法等先进技术可用于对抗潜在的网络威胁，这是一条蓬勃发展的职业道路。 因此，当您可以拥有具有高级 AI 算法的实时异常检测系统时，不要仅仅依靠古老的加密或防病毒软件。 这些方法通过基于 AI 的异常检测系统使您的业务更加可靠和安全。