[CS109] 4 - Conditional Probability

일반적인 확률 보다는 조건부 확률이 일상적으로 많이 쓰인다. 조건부 확률은 전체 샘플(표본) 공간에서 F라는 사건(Event)이 일어났을 때 사건 E가 일어날 확률이다. 아래에 있는 수식들은 천천히 생각해 보면 매우 당연한 것들이어서 굳이 수식으로 나타내야 하냐는 생각이 들 수 있다. 수학은 가장 기본적인 것부터 기호와 수식으로 나타내 볼 수 있어야 한다.

 

1. 조건부 확률(Conditional Probability)

 

조건부 확률의 정의

사건 F가 발생한 조건하에서 사건 E의 확률로 아래와 같이 나타낸다.

 

 

체인 룰(Chain Rule)

사건 E와 F가 동시에 일어날 확률을 조건부 확률로 나타낼 수 있다.

 

위의 체인 룰을 일반화 시키면 다음과 같다.

 

 

2. 전체 확률의 법칙 (Law of Total Probability)

 

 

위의 수식에 C는 여집합을 나타낸다. 위의 수식을 조건부 확률을 이용해 약간 변형하면 다음과 같다.

 

 

전체 확률의 법칙 (일반화 버젼)


사건들 E1, E2, ... En은 서로 배타적이고 모두 합쳐서 전체가 되어야 한다. (MECE = Mutually Exclusive Collectively Exhaustive, 상호배제와 전체포괄)

 

3. 베이즈 정리 (Bayes' Theorem)

 

베이즈 정리는 조건부 확률에서 순서를 바꾸는데 사용한다. F가 일어난 상황에서 E의 확률을 구하는 것이 힘들 때, E가 일어난 상황에서 F의 확률을 이용하는 것이다.

 

베이즈 정리

 

위의 수식의 증명은 조건부 확률의 정의를 이용하면 쉽게 할 수 있다. 위의 수식에 분모를 전체 확률의 법칙을 적용하면 아래와 같이 정리할 수 있다.

 

 

조건부 확률과 베이즈 정리에 관한 이전 글을 참고하기 바랍니다. 예제도 같이 있음.

 

4. 조건부 패러다임 (Conditional Paradigm)

 

일반적인 확률 법칙에 대해, 어떤 사건(여기서는 G)이 일어난 상황하에서의 확률은 어떻게 바뀌는지 비교해 보자.

 

법칙 명	기본	조건부
First Axiom of Probability
Complement Rule
Chain Rule
Bayes Theorem