간단한 예를 통해 베이지안 결정 이론 이해하기

소개

우리는 실생활에서 많은 분류 문제를 만납니다. 예를 들어, 전자 상점은 특정 연령을 기준으로 한 특정 고객이 컴퓨터를 구매할지 여부를 알아야 할 수 있습니다. 이 글을 통해 특정 특성을 기반으로 확률이 'x'인 클래스를 선택하거나 y' 확률을 가진 반대 클래스를 선택할지 여부를 결정하는 데 도움이 되는 '베이지안 결정 이론(Bayesian Decision Theory)'이라는 방법을 소개합니다.

정의

베이지안 결정 이론 은 패턴 분류와 같은 다양한 문제에 대한 간단하지만 근본적인 접근 방식입니다. Bayes Decision Theory의 전체 목적은 '위험'이 가장 적은 결정을 선택하도록 돕는 것입니다. 우리가 선택하는 모든 결정에는 항상 일종의 위험이 따릅니다. 이 문서의 뒷부분에서 이 분류와 관련된 위험을 살펴보겠습니다.

기본 결정

전자 제품 매장 회사가 고객이 컴퓨터를 구매할지 여부를 알고 싶어하는 경우를 예로 들어 보겠습니다. 따라서 다음과 같은 두 가지 구매 클래스가 있습니다.

w1 – 예(고객이 컴퓨터를 구입함)

w2 – 아니요(고객은 컴퓨터를 구매하지 않음)

이제 고객 데이터베이스의 과거 기록을 살펴보겠습니다. 우리는 컴퓨터를 구매하는 고객의 수와 컴퓨터를 구매하지 않는 고객의 수를 기록할 것입니다. 이제 고객이 컴퓨터를 구매할 확률을 계산합니다. P(w1)라고 하자. 마찬가지로 고객이 고객을 구매하지 않을 확률은 P(w2)입니다.

이제 우리는 미래의 고객을 위해 기본적인 비교를 할 것입니다.

신규 고객의 경우,

P(w1) > P(w2)이면 고객은 컴퓨터(w1)를 구매할 것입니다.

그리고 P(w2) > P(w1)이면 고객은 컴퓨터를 사지 않을 것입니다(w2).

여기에서 결정 문제를 해결했습니다.

그러나 이 기본적인 Decision 방식의 문제점은 무엇입니까? 글쎄요, 대부분의 사람들이 올바르게 추측했을 것입니다. 이전 기록을 기반으로 미래의 모든 고객에게 항상 동일한 결정을 제공합니다. 이것은 비논리적이고 터무니없는 일입니다.

따라서 우리는 미래의 고객을 위해 더 나은 결정을 내리는 데 도움이 될 무언가가 필요합니다. 우리는 몇 가지 기능을 도입하여 이를 수행합니다. 'x'가 고객의 연령을 나타내는 기능 'x'를 추가한다고 가정해 보겠습니다. 이제 이 추가된 기능으로 더 나은 결정을 내릴 수 있습니다.

이를 위해서는 Bayes Theorem이 무엇인지 알아야 합니다.

읽기: 지도 학습의 유형

베이즈 정리와 결정 이론

클래스 w1 및 기능 'x'의 경우 다음이 있습니다.

P(w1 | x) = P(x | w1) * P(w1) P(x)

이 공식에는 우리가 이해해야 하는 4가지 용어가 있습니다.

1. 사전 – P(w1)는 데이터가 관찰되기 전에 w1이 참일 사전 확률입니다.
2. 사후 – P(w1 | x)는 데이터가 관찰된 후 w1이 참일 사후 확률입니다.
3. 증거 – P(x)는 데이터의 총 확률입니다.
4. 가능성 – P(x | w1)는 'x'가 제공하는 w1에 대한 정보입니다.

P(w1 | x)는 x가 주어진 경우 w1의 확률로 읽습니다.

보다 정확하게는 특정 고객의 연령을 감안할 때 고객이 컴퓨터를 구매할 확률입니다.

이제 결정을 내릴 준비가 되었습니다.

신규 고객의 경우,

P(w1 | x) > P(w2 | x)인 경우 고객은 컴퓨터(w1)를 구매합니다.

그리고 P(w2 | x) > P(w1 | x)이면 고객은 컴퓨터를 사지 않을 것입니다(w2).

이 결정은 작업해야 할 몇 가지 기능이 있고 우리의 결정은 이전 사례와 같이 과거 기록뿐만 아니라 새로운 고객의 기능과 과거 기록을 기반으로 하기 때문에 더 논리적이고 신뢰할 수 있습니다.

이제 공식에서 클래스 w1과 w2 모두에서 분모 P(x)가 일정하다는 것을 알 수 있습니다. 따라서 우리는 이 아이디어를 활용할 수 있고 아래와 같이 또 다른 형태의 결정을 형성할 수 있습니다.

P(x | w1)*P(w1) > P(x | w2)*P(w2)인 경우 고객은 컴퓨터(w1)를 구입합니다.

그리고 P(x | w2)*P(w2) > P(x | w1)*P(w1)이면 고객은 컴퓨터를 구매하지 않을 것입니다(w2).

우리는 여기서 흥미로운 사실을 알 수 있습니다. 어떻게든 사전 확률 P(w1)과 P(w2)가 같더라도 가능성 확률 P(x | w1) 및 P(x | w2)를 기반으로 결정을 내릴 수 있습니다. 유사하게, 우도 확률이 같으면 사전 확률 P(w1) 및 P(w2)를 기반으로 결정을 내릴 수 있습니다.

반드시 읽어야 할 것: 기계 학습의 회귀 모델 유형

위험 계산

앞서 언급했듯이 결정에는 항상 어느 정도의 '위험'이나 오류가 있습니다. 따라서 우리는 또한 결정에서 오류가 발생할 확률을 결정해야 합니다. 이것은 매우 간단하며 시각화 측면에서 설명하겠습니다.

일부 데이터가 있고 베이지안 결정 이론에 따라 결정을 내렸다고 가정해 보겠습니다.

아래와 같은 그래프를 얻습니다.

y축은 사후 확률 P(w(i) | x)이고 x축은 특성 'x'입니다. 두 클래스의 사후 확률이 동일한 축을 결정 경계라고 합니다.

따라서 결정 경계에서:

P(w1 | x) = P(w2 | x)

그래서 우리는 결정 경계의 왼쪽에서 w1(컴퓨터 구입)을 찬성하고 결정 경계의 오른쪽에서 w2(컴퓨터를 구입하지 않음)에 찬성합니다.

그러나 그래프에서 볼 수 있듯이 결정 경계 왼쪽에 0이 아닌 크기의 w2가 있습니다. 또한 결정 경계 오른쪽에 0이 아닌 크기 w1이 있습니다. 다른 클래스에 대한 다른 클래스의 이러한 확장을 위험 또는 확률 오류라고 합니다.

확률 오차 계산

클래스 w1에 대한 오류 확률을 계산하려면 결정 경계의 왼쪽 영역에서 클래스가 w2일 확률을 찾아야 합니다. 유사하게, 클래스 w2에 대한 오류 확률은 결정 경계의 오른쪽에 있는 영역에서 클래스가 w1일 확률입니다.

수학적으로 말하면 클래스의 최소 오류:

w1은 P(w2 | x)

그리고 클래스 w2의 경우 P(w1 | x)

원하는 확률 오류가 발생했습니다. 간단하지 않습니까?

그렇다면 이제 전체 오류는 얼마입니까?

특성 x가 P(E | x)가 되는 총 오차의 확률을 표시해 보겠습니다. 기능 x에 대한 총 오류는 해당 기능 x에 대한 모든 오류 확률의 합입니다. 간단한 통합을 사용하여 이 문제를 해결할 수 있으며 결과는 다음과 같습니다.

P(E | x) = 최소값(P(w1 | x) , P(w2 | x))

따라서 총 오류 확률은 두 클래스에 대한 사후 확률의 최소값입니다. 우리는 궁극적으로 다른 수업을 기반으로 결정을 내리기 때문에 최소한의 수업을 수강하고 있습니다.

결론

베이지안 결정 이론의 이산적 적용에 대해 자세히 살펴보았습니다. 이제 Bayes Theorem과 그 용어를 알았습니다. 또한 결정을 내릴 때 Bayes Theorem을 적용하는 방법도 알고 있습니다. 또한 귀하가 내린 결정의 오류를 판별하는 방법도 배웠습니다.

기계 학습에 대해 자세히 알아보려면 IIIT-B 및 upGrad의 기계 학습 및 AI PG 디플로마를 확인하세요. 이 PG 디플로마는 일하는 전문가를 위해 설계되었으며 450시간 이상의 엄격한 교육, 30개 이상의 사례 연구 및 과제, IIIT- B 동문 자격, 5개 이상의 실용적인 실습 캡스톤 프로젝트 및 최고의 기업과의 취업 지원.