쿨백-라이블러 발산 (KL Divergence)
앞선 글인 정보 엔트로피(Information Entropy)에서 확률분포를 한 개의 값으로 나타내는 법을 배웠다. 두 개의 확률분포(함수)의 차이(거리)를 나타내는데 이것을 활용할 수 있지 않을까? 쿨백-라이블러 발산(Kullback–Leibler divergence)이라는 아이디어가 바로 그것의 수학적 정의이다. #쿨백-라이블러 발산(KL Divergence) 먼저 두개의 확률 분포 P(x), Q(x)를 생각해 보자. 각각의 정보 엔트로피는 다음과 같이 정의할 수 있다. 여기서 확률분포 P(x)는 이미 알고 있고, Q(x)는 우리가 찾고 싶은 확률 분포라고 한다면, 두번째 수식에서의 샘플링 확률(Q(x))을 P(x)로 바꾸어 근사할 수 있다. 아래 수식을 교차 엔트로피(Cross Entropy)라고도..
수학
2018. 12. 4. 16:49