하고 싶은 일을 하자

확률 분포의 모멘트 (Moment) 확률 분포(Probability Distribution)를 나타내는 척도(Measure)는 크게 4가지가 있다. 평균과 분산은 이미 우리가 많이 알고 있는 것이고, 그 외에 비대칭도(Skewness)와 첨도(Kurtosis)이다. 위 네가지 척도는 다음과 같이 정의된 모멘트(Moment)를 활용하여 계산이 가능하다. n차 모멘트는 다음과 같이 정의된다. 영(Zero)에 대한 n차 모멘트: 평균에 대한 n차 모멘트: 위의 정의를 활용하여 4가지 척도를 나타내 보자. 평균(Mean)은 영에 대한 1차 모멘트: 분산(Variance)은 평균에 대한 2차 모멘트: 비대칭도(Skewness)는 평균에 대한 3차 모멘트: 첨도(Kurtosis)는 평균에 대한 4차 모멘트: 평균에..

수학 2019. 2. 24. 11:24

체비쇼프 부등식 (Chebyshev's Inequality) 어떤 수치 데이터가 주어졌을 때, 그것을 나타내는(Measure) 방법으로 평균(Mean)과 분산(Dispersion)을 배웠을 것이다. 간단히 리뷰해 보자. 위의 수식을 x에 대한 기대값이라고 하고, E(X)는 평균이 된다. 분산(Variance)는 아래와 같이 정의되고, 기대값의 함수로 변환이 가능하다. 예측 여기까지는 단순 산수이고, 이 두가지(평균, 분산) 정보를 이용하여 예측을 해보자. 어떤 데이터가 주어졌을 때, 평균에서 z 표준편차 이내에 있는 데이터의 비율은 적어도 다음보다 크다. 체비쇼프 부등식 예를 들어 데이터 분포가 어떻든 간에 다음과 같이 말할 수 있다. 2시그마(표준편차)내에는 1 - 1/4 = 0.75 이므로 적어도 7..

수학 2019. 2. 17. 11:51

푸리에 변환 (Fourier Transform) 소리, 빛 등 세상의 많은 것은 파동이다. 파동의 제대로 아는 것이 필수적이며, 그것을 수학으로 나타내는 방법을 알 필요가 있다. 필요한 수학적 지식 삼각함수와 지수함수: 오일러 공식 함수의 적분과 직교 푸리에 급수 (Fourier Series) 파동을 연구하는 사람들이 알아낸 중요한 사실이 복잡한 파동은 단순한 파동들이 더해진 것이라는 것이다. 그렇다면 단순한 파동은 무엇인가? 주기와 진폭이 각각 하나의 상수로 정의되고 사인함수의 형태로 나타낼 수 있는 파동이다. 파동에서 진폭은 쉽게 다가오는데, 그 외의 항상 헤깔리는 파동의 기본 개념을 우선 리마인드 해보자. 주기(T): 파동이 한번 진동하는데 걸리는 시간 (단위: sec) 주파수(f): 1초 동안에 ..

수학 2019. 2. 9. 12:24

조건부 확률 (Conditional Probability) 임의의 사건 A의 확률은 0과 1사이의 값을 갖는다. 그리고 서로 배반인 사건 A, B에 대해서 A 또는 B가 일어날 확률은 다음과 같다. 두 사건 A, B에 대해서 P(B) > 0일 때, 사건 B가 일어난 조건 하에서 사건 A가 일어나 조건부 확률은 아래와 같이 표현 및 계산할 수 있다. 위의 수식을 약간 변경하면 아래와 같아서, 배반인 아닌 두 사건의 교집합의 확률을 구하는데 사용하기도 한다. 베이즈 정리 (Bayes Theorem) 확률 B는 A와 동시에 일어나거나 그렇지 않거나(A가 일어나지 않을 때 일어나거나) 이므로 아래 수식과 같이 표현될 수 있다. 이제 조건부 확률을 좀 다르게 표현해 보자. 위 수식이 바로 베이즈 정리이다. 예제 ..

수학 2019. 1. 14. 00:09

2018/12/16 - [수학/확률 통계] - 이산 확률 분포 (#1) 이산확률분포의 기본이 되는 2가지 분포에 대해 앞선 글에서 이야기 하였다. 베르누이 분포 이항 분포 이번 글에서는 이항 분포의 확장인 다항 분포(Multinomial Distribution)와 포아송 분포(Poisson Distribution)에 대해 다루고자 한다. #다항 분포 이항 분포는 사건의 결과가 성공 또는 실패로 2가지인 경우에 대한 것이다. 만약 사건의 결과가 2개 이상인 k개이고, 그 각각의 확률이 pk로 주어진다고 하면 그때의 확률 분포는 어떻게 될 것인가? 예를들어 주사위 1개를 던질 때 나오는 눈의 값은 6개(k)이고 각각의 확률은 1/6인데, 주사위를 n번 던질 때의 1은 x1번, 2는 x2번, ..., 6은 x..

수학 2018. 12. 24. 09:47

2018/12/24 - [수학/확률 통계] - 이산 확률 분포 (#2) 확률(Probability)에 대해 생각해 보자. 주사위의 눈의 개수의 확률과 같이 나타나는 사건이 연속(Continuous)이 아닌 값인 경우 이산(Discrete) 확률이라고 한다. 본격적인 전개에 앞서 우선 용어를 먼저 정의하자. 사건의 가능한 값들을 나타내는 변수를 확률 변수(Probability or Random Variable, X)라고 하고 확률 변수 X가 가능한 집합을 다음과 같이 나타낼 수 있다. 확률 밀도 함수(Probability Density Function, f(x))는 다음과 같이 정의된다. 확률밀도함수은 다음의 성질을 만족해야 한다. 누적분포함수(Cumulative Distribution Function, ..

수학 2018. 12. 16. 17:23

우리 인간은 3차원까지 밖에 보고 느낄 수 없기 때문에, 고차원의 데이터를 차원축소(Dimension Reduction)하여 저차원(1~3)으로 나타내는 것이 중요하다. 현실 세계에서 고차원의 데이터가 많이 있나라고 반문하는 사람이 있을 것이다. 예를 들어 보면, 어떤 것을 생산하는 설비에서 센싱되는 데이터와 생산품의 품질 등을 분석할 때, 특정 시점의 센싱 값(M개)과 품질 지수(N개)를 하나로 묶으면 그 데이터는 M+N 차원이다. 또 여러장의 이미지(그림)를 분석하는 경우를 생각해 보면, 각 그림은 해상도만큼의 차원을 갖은 데이터이다. 흑백 20x30 사이즈의 그림은 600 차원의 데이터이다. 이러한 그림 수천장을 분석해서 분류하는 일을 하는 사람은 고차원의 데이터를 다루고 있는 것이다. #차원 축소..

수학 2018. 12. 9. 17:34

앞선 글인 정보 엔트로피(Information Entropy)에서 확률분포를 한 개의 값으로 나타내는 법을 배웠다. 두 개의 확률분포(함수)의 차이(거리)를 나타내는데 이것을 활용할 수 있지 않을까? 쿨백-라이블러 발산(Kullback–Leibler divergence)이라는 아이디어가 바로 그것의 수학적 정의이다. #쿨백-라이블러 발산(KL Divergence) 먼저 두개의 확률 분포 P(x), Q(x)를 생각해 보자. 각각의 정보 엔트로피는 다음과 같이 정의할 수 있다. 여기서 확률분포 P(x)는 이미 알고 있고, Q(x)는 우리가 찾고 싶은 확률 분포라고 한다면, 두번째 수식에서의 샘플링 확률(Q(x))을 P(x)로 바꾸어 근사할 수 있다. 아래 수식을 교차 엔트로피(Cross Entropy)라고도..

수학 2018. 12. 4. 16:49