머신 러닝을 통한 아나몰리 감지: 알아야 할 사항은 무엇입니까?

인간의 두뇌는 잘못된 것을 보는 것을 좋아합니다. 우리의 두뇌는 불규칙성을 찾도록 프로그램되어 있습니다. g. 그러나 이상 현상은 사이버 보안과 관련하여 기업이 직면할 수 있는 가장 중요한 위협이 될 수 있습니다.

디지털 공간에서 이상 현상이 어떻게 보일 수 있는지 이해하기 위해 예를 들어 보겠습니다.

트윗 - "좀도둑들, 조심해. 일본의 새로운 AI 소프트웨어

@vaak_inc

잠재적인 도둑이 #lite-rtekk를 훔치기 전에도 발견할 수 있다고 합니다."

https://twitter.com/QuickTake/status/1102751999215521794

이 트윗에 따르면 일본은 인간의 행동 패턴을 분석하고 데이터에 따라 이상을 감지하는 인공 지능(AI) 기반 소프트웨어를 개발했습니다. 이러한 이상 현상은 고객의 수상한 행동을 감지하게 하고 점원은 도움이 필요한지 물어봅니다. 좀도둑이 접근하면 대부분의 경우 그들이 단순히 걸어가는 것으로 나타났습니다.

마찬가지로 대량 트랜잭션, 여러 번의 로그인 시도 또는 비정상적인 네트워크 트래픽과 같은 다양한 유형의 비정상이 있을 수 있습니다. 이 기사에서는 기계 학습 이 이상 징후를 식별하는 데 어떻게 도움이 되는지 연구합니다. 그러나 그 전에 사이버 보안 측면에서 변칙이 무엇인지 이해합시다.

이상 현상이란 무엇입니까?

이상 현상은 종종 데이터 세트의 표준 동작과 다른 패턴입니다. 다음은 데이터 세트를 그래픽으로 나타낸 것입니다. N1 및 N2 영역은 데이터 세트 클러스터의 표준 패턴을 나타내는 반면 다른 개체는 이상으로 간주될 수 있습니다.

새로운 패턴 또는 좋은 패턴과 변칙 또는 악성 데이터 세트를 구별하는 것은 현대 사이버 보안 시스템에서 가장 중요한 과제입니다. 이상 현상은 공격자가 필수 데이터를 유출하고 조작을 위해 사용자 정보를 훔치는 데 도움이 될 수 있습니다. 네트워크나 시스템에 악의적이거나 부정적인 패턴의 도입으로 인해 수년 동안 많은 피싱 공격, 사이버 사기, 신원 도용 및 데이터 유출이 발생했습니다.

2020년 7월, 많은 연예인과 정치인의 트위터 계정이 해킹당했습니다. 조 바이든(Joe Biden) 미국 제46대 대통령, 버락 오바마(Barack Obama), 일론 머스크(Elon Musk), 빌 게이츠(Bill Gates), 카니예 웨스트(Kanye West), 마이클 블룸버그(Michael Bloomberg), 애플(Apple) 등 130개 이상의 트위터 계정이 해커들에 의해 인질로 잡혔습니다.

따라서 빅데이터의 디지털 시대에 이상 탐지 의 중요성을 이해할 수 있습니다 . 이제 우리는 이상 현상에 대한 기본적인 이해를 하였으므로 이상 탐지 에서 AI의 몇 가지 레거시 방법과 통합을 살펴보겠습니다 .

침입탐지시스템

네트워크 또는 시스템에 대한 무단 액세스를 감지하는 데 도움이 되는 소프트웨어 도구입니다. 이 도구는 모든 유형의 네트워크 악의적 사용을 탐지하는 좋은 방법입니다. 서비스 공격, 모든 소프트웨어 및 모바일 애플리케이션에 대한 데이터 기반 공격을 탐지하는 데 도움이 되는 기능이 있습니다.

여기에서 일반화된 침입 탐지 시스템의 와이어프레임 인프라를 볼 수 있습니다. 이상 탐지 를 담당하는 전담 보안 담당자가 있습니다 . 소프트웨어는 모든 네트워크 패킷을 수집합니다(장치를 통해 전송되는 모든 네트워크 데이터는 패킷으로 수행됨). 다음으로 새로운 패턴 중 이상 징후를 탐지하기 위한 네트워크 흐름을 분석한다.

기계 학습 알고리즘은 보다 강력한 침입 탐지 시스템을 만드는 데 도움이 될 수 있습니다. 기계 학습 알고리즘을 사용 하여 네트워크 패킷을 분석하고 이상을 감지할 수 있습니다. 알고리즘은 새로운 패턴을 국민투표로 사용할 것입니다.

시그니처 테크닉

시그니처 기법은 이상 징후를 탐지하는 가장 널리 사용되는 방법 중 하나입니다. 리포지토리에 저장된 악성 개체의 서명을 활용하여 네트워크 패턴과 비교합니다. 시스템은 네트워크 패턴을 분석하고 악성 서명을 찾으려고 합니다. 이상 징후를 탐지하는 뛰어난 기술이지만 알려지지 않은 위협과 공격은 탐지되지 않습니다.

읽기: 직업 옵션으로서의 사이버 보안 범위

ML을 통한 실시간 이상 탐지

기계 학습 알고리즘은 실시간 이상 감지 에 도움이 될 수 있습니다 . Google 클라우드는 이 방법을 사용 하여 10분 동안 150MB의 데이터가 수집되는 이상 감지 파이프라인을 만듭니다.

이 방법에서 실시간 이상 탐지 를 위한 첫 번째 단계 는 합성 데이터 흐름을 만드는 것입니다. 이는 흐름의 이상을 수집하거나 집계하기 위한 트리거 맵을 만드는 데 도움이 됩니다. 가정의 Wi-Fi이든 사무실의 기업 네트워크이든 모든 네트워크에는 여러 서브넷과 가입자 ID가 있습니다. 이 방법은 서브넷 및 가입자 ID 데이터를 활용합니다.

여기서 직면한 유일한 문제는 데이터 규정을 위반하기 때문에 가입자 ID 데이터 사용입니다. 가입자 ID에는 PII 또는 개인 식별 정보가 포함되어 있으므로 데이터를 수집하거나 집계하는 동안 클라우드 공급자에게 공개될 수 있습니다. 이러한 목적을 위해 클라우드 서비스는 결정적 암호화를 사용합니다. 그들은 암호 해독을 사용하여 PII를 감지하지 못하는 데이터를 해독합니다.

여기에서 볼 수 있듯이 BigQuery 알고리즘을 사용하여 대량의 데이터를 분석하는 경우 알고리즘을 학습하여 데이터를 클러스터로 분석할 수 있으므로 더 좋습니다. 데이터 클러스터링은 요일, 날짜 또는 기타 필터에 따라 가입자 ID 및 서브넷과 같은 다양한 정보 집합을 분할하는 데 도움이 될 수 있습니다. 따라서 필터링된 정보를 통해 데이터 패턴에서 학습하는 클러스터링 알고리즘을 빠르게 도울 수 있습니다.

마지막 단계는 클러스터링된 데이터 중 이상치 또는 이상을 탐지하는 것입니다. 알고리즘은 이상값을 감지하기 위해 정규화된 데이터가 필요합니다. 따라서 데이터 정규화가 수행되면 ML 알고리즘은 각 클러스터의 중심을 참조로 식별하고 입력 벡터까지의 중심 거리를 측정합니다.

거리는 새로운 경로와의 표준 편차로 측정되며 그에 따라 이상값으로 간주됩니다.

더 읽어보기: 사이버 보안의 인공 지능

직업으로서의 이상 탐지

사이버 보안 전문가에 대한 수요가 크게 증가하고 그들이 제공하는 수익성 있는 급여와 함께 사이버 보안 경력은 현재 가장 인기 있는 직업 옵션 중 하나가 되었습니다. 이 직업을 추구하고 싶다면 upGrad와 IIIT-B가 사이버 보안 소프트웨어 개발 전문화의 PG 디플로마를 취득 하는 데 도움을 줄 수 있습니다 . 이 과정은 응용 프로그램 보안, 암호화, 데이터 보안 및 네트워크 보안을 전문으로 제공합니다.

결론

인공 지능 및 머신 러닝 알고리즘과 같은 고급 기술은 잠재적인 사이버 위협에 대처하는 데 유용하며 이는 경력 경로입니다. 따라서 고급 AI 알고리즘이 포함된 실시간 이상 탐지 시스템을 보유할 수 있는 경우 오래된 암호화 또는 바이러스 백신 소프트웨어에만 의존하지 마십시오. 이러한 방법은 AI 기반 이상 감지 시스템으로 비즈니스를 보다 안정적이고 안전하게 만듭니다.