[CS109] 5 - Independence

지금까지의 CS109 강좌를 복습해 보자. 강사가 어떤 로직을 가지고 강의를 전개해 나가는가?

 

1. 가장 기본은 사건의 경우의 수를 세는 것이다. 카운팅 이 가장 기본이긴 하지만 사실 쉽지 않다. 문제를 풀다보면 모든 경우의 수를 빠짐 없이 센 것이 맞는가에 대한 의문이 항상 남는다.
2. 카운팅에도 공식이 있다. 가장 많이 활용되는 조합론 에 대해 배웠다. 순열, 조합. 수식으로 표현이 가능하여 향후 지속적으로 사용되는 것을 알게 될 것이다.
3. 카운팅을 어느 정도 소개하였으니 본격적으로 확률 에 대해 이야기 한다. 확률의 정의, 공리 등 기본 중의 기본이다. 가장 중요하다.
4. 조건부 확률에 대해 이야기 한다. 조건부 확률 은 난이도가 있어, 내가 볼 때는 순서상으로 뒤쪽으로 가야 하는데, 앞서 다뤘다. 이 장에서 다룰 독립에 대해 이야기를 쭉 전개해나고 싶어 그런 것 같다.

 

1. 독립(Independence)

 

앞서 조건부 확률 에 대해 배우긴 했지만, 조건부는 복잡하다. 사건들이 서로 관계없이 발생하면 각각을 따로 따로 생각할 수 있다. 그래서 상대적으로 쉽다. 이러한 사건들을 독립(Independence)이라고 한다.

 

두 사건 E와 F가 독립(Independent)이면 다음이 항상 성립한다. 또는 다음 수식을 만족하면 두 사건 E와 F를 독립이라고 한다.



그렇지 않으면 두 사건은 종속(Dependent)이라고 한다.

 

여러 개의 사건에 대해 일반적으로 표현하면 다음과 같다. n개의 사건 중 임의 r의 사건들 사이에 하기 수식을 만족하면 n개의 사건은 서로 독립이다.

 

 

체인 룰(Chain Rule)

사건 E와 F가 동시에 일어날 확률을 조건부 확률로 나타낼 수 있다.

 

위의 체인 룰을 일반화 시키면 다음과 같다.

 

 

당연한 소리를 뭐 복잡하게 수식으로 있어 보이는 것처럼 나타낸다고 생각할 수 있다. 반복해서 이야기 하지만, 어려운 문제에서는 한번에 오류없이 풀어나가기 쉽지 않기 때문에, 여러 단계로 쪼개어 각 단계에서 논리적으로 오류가 없이 전개해나간 후 이를 통합하는 작업을 하게 된다. 그럴 때 가장 기본적인 것들이 힘을 발휘하게 된다. 이 강좌에서는 독립에 대한 예로 Biased Coin를 예로 들었다. 제대로 만든 동전은 앞면과 뒷면이 나올 확률이 1/2로 같겠지만, Biased(치우친) 동전은 p 와 1-p로 다를 것이다. n번을 던질 때 k번이 앞면이 나올 확률은 얼마일까?

 

우선 n개의 동전을 앞면이 k개, 뒷면이 n-k로 순서 대로 나열하는 경우의 수를 생각해 봐야 한다. 이것은 조합론에서 배웠다.

 

 

위 각각의 경우는 서로 독립이다. 즉 다른 경우이다. 하지만 n개 중에서 k개가 앞이, n-k개가 뒷면이 나오는 확률이므로 확률값은 다음 수식으로 같다.

 

 

동전 하나 하나가 앞면 또는 뒷면이 나올 경우나 서로 영향을 미치지 않기 때문에 각 확률끼리 곱한 것이다. 따라서 최종 우리가 구하려는 확률은 다음과 같다.

 

 

참고로 위 수식은 그 유명한 이항분포 이다.

 

2. 확률 계산 (Analytic Probability)

 

확률을 계산하는 방법에 대해 요약해서 알려준다.

 

직접 확률(Direct Probability)은 다음 세가지 중에 하나를 사용하라.

1. Law of Total Probability
   
2. Complement Rule
   
3. Equally Likely Sample Space

 

조건부 확률(Conditional Probability)은 다음 두가지 중에 하나를 사용하라.

1. Definition of Cond. Prob.
   
2. Bayes' Theorem
   

 

합의 (OR) 확률을 구할 때는 다음 두가지를 활용하거나, 드모르간(DeMorgan's) 법칙을 활용하여 곱의 (AND) 확률로 바꾸어 구하라.

1. 상호 배제적(Mutually Exclusive)이면 단순히 더하라.
   
2. Inclusion-Exclusion Principle
   

 

곱의 (AND) 확률을 구할 때는 다음 두가지를 활용하거나, 드모르간(DeMorgan's) 법칙을 활용하여 합의(OR) 확률로 바꾸어 구하라.

1. 독립(Independent)이면 단순히 곱하라.
   
2. Chain Rule
   

 

집합에서 드모르간 법칙을 배웠을 텐데, 확률에서의 드모르간 법칙은 어떻게 다른가?

 

De Morgan's Law for Probability




어떤 집합과 여집합(Complement)의 합은 전체 집합이므로 하기와 같은 수식도 만족한다.

 

3. 조건부 독립(Conditional Independence)

 

두 사건 E, F가 제 3의 사건 G에 대해 다음 수식을 만족하면 조건부 독립이라고 한다.



Or

 

사건 G가 일어난 조건하에서는 E와 F가 독립이라는 것이다. 다시 말하면 전체 표본 공간에서는 독립이 아니지만, 사건 G가 일어나는 사건 공간내에서는 E와 F가 독립이 된다.