하고 싶은 일을 하자

우리 인간은 3차원까지 밖에 보고 느낄 수 없기 때문에, 고차원의 데이터를 차원축소(Dimension Reduction)하여 저차원(1~3)으로 나타내는 것이 중요하다. 현실 세계에서 고차원의 데이터가 많이 있나라고 반문하는 사람이 있을 것이다. 예를 들어 보면, 어떤 것을 생산하는 설비에서 센싱되는 데이터와 생산품의 품질 등을 분석할 때, 특정 시점의 센싱 값(M개)과 품질 지수(N개)를 하나로 묶으면 그 데이터는 M+N 차원이다. 또 여러장의 이미지(그림)를 분석하는 경우를 생각해 보면, 각 그림은 해상도만큼의 차원을 갖은 데이터이다. 흑백 20x30 사이즈의 그림은 600 차원의 데이터이다. 이러한 그림 수천장을 분석해서 분류하는 일을 하는 사람은 고차원의 데이터를 다루고 있는 것이다. #차원 축소..

수학 2018. 12. 9. 17:34

앞선 글인 정보 엔트로피(Information Entropy)에서 확률분포를 한 개의 값으로 나타내는 법을 배웠다. 두 개의 확률분포(함수)의 차이(거리)를 나타내는데 이것을 활용할 수 있지 않을까? 쿨백-라이블러 발산(Kullback–Leibler divergence)이라는 아이디어가 바로 그것의 수학적 정의이다. #쿨백-라이블러 발산(KL Divergence) 먼저 두개의 확률 분포 P(x), Q(x)를 생각해 보자. 각각의 정보 엔트로피는 다음과 같이 정의할 수 있다. 여기서 확률분포 P(x)는 이미 알고 있고, Q(x)는 우리가 찾고 싶은 확률 분포라고 한다면, 두번째 수식에서의 샘플링 확률(Q(x))을 P(x)로 바꾸어 근사할 수 있다. 아래 수식을 교차 엔트로피(Cross Entropy)라고도..

수학 2018. 12. 4. 16:49

어떤 시스템(System)의 상태(State)를 나타내는 방법 중에 엔트로피(Entropy)라는 것이 있다. 열역학을 배운 사람들은 "S = k ln W" 라는 수식을 본 적이 있을 것이고, 그게 아닌 사람들도 "무질서도"라는 말로 한번쯤은 들어 봤을 것이다. 역학이 아닌 정보를 다룰 때도 엔트로피라는 개념을 사용할 수 있다. 1948년에 섀넌이 수학적 통신이론이라는 논문에서 정보 엔트로피라는 개념을 도입하였다. 그 의미는 무질서도, 불확실성로 유사하다. #정보 (Information) 정보란 무엇인가? 어떤 정보가 가치가 있는가? 이것을 어떻게 정량화하여 수식으로 표현할 수 있을까? 어떤 사건이 발생했을 때, 그것이 자주 일어나는 것이어서 관심도가 떨어지는 것은 정보로서의 가치가 떨어지고, 어쩌다 일어..

수학 2018. 12. 4. 11:38

고유값(Eigenvalue)과 고유벡터(Eigenvector)를 구하는 알고리즘을 생각해 보자. 문헌이나 인터넷을 검색해 보면 여러가지 방법론이 나온다. 여기서는 기본 아이디어에 대해 생각해 보고 그것을 시각적으로 보여주고자 한다. #고유값과 고유벡터 선형 변환에 관한 글에서 스칼라, 벡터, 행렬 및 고유값에 대한 설명을 우선 참고하기 바란다. 핵심만 정리하면 다음과 같다. 선형변환 A(정사각 행렬)에 의해 변환 결과가 자기 자신의 상수배가 되는 O이 아닌 벡터를 고유벡터라고 하고, 그 상수배를 고유값()이라고 한다. 이 정의를 정의를 수식으로 표현하면 다음과 같다. 일반적으로 고유벡터와 고유값은 행렬 A의 차원의 개수(n)만큼 나온다. 고유값의 절대값이 큰것부터 순차적으로 번호를 매기고, 각 고유값에 ..

수학 2018. 11. 25. 19:55

특이값 분해(SVD, Singular Value Decomposition)를 선형대수학(Linear Algebra)의 꽃(Highlight)이라고 부른다고 한다. 왜 그런지 알아보자. 아래 설명을 이해하기 위해서는 먼저 다음 사항을 먼저 알고 있어야 한다. [1] 직교행렬(Orthogonal Matrix) 벡터가 서로 직교(Orthogonal)한다고 하면 내적이 영이 된다. u와 v가 nx1인 벡터라고 할 때, 다음 수식을 만족하면 직교한다고 한다. n차원 공간에는 최대 n개의 nx1인 서로 직교인 단위벡터(Unit Vector)가 존재하는데, 이 벡터을 이용하여 행렬을 만들면 직교행렬(Q)이 된다. 직교행렬은 역행렬(Inverse Matrix)과 전치행렬(Transposed Matrix)이 같다. 전치..

수학 2018. 11. 18. 18:38

해석적 확장(Analytic Continuation)에 대한 앞의 글을 보고, 왜 그런 복잡한 확장을 하고자 했을까 궁금했었을 텐데, 우리는 이미 그러한 확장을 너무 당연하게 배웠었다. 수의 범위가 자연수에서 허수까지 넓어지면 새롭게 정의된 개념(함수)도 확장되어야 한다. 그것에 대한 전형적인 예로 지수의 확장에 대해 생각해 보자. 지수란 같은 수를 곱하는 것을 간단히 쓰는 것에서 출발하였는데, 그 개념에 수의 확장과 더불어 어떻게 개념적으로 확장되는지 알아보자. #지수의 정의 정수 k를 4번 곱하면 k의 4승이라고 하고 아래와 같이 줄여서 쓴다. k의 n(자연수)승은 쉽게 그 의미가 다가온다. k의 0승은? k를 한 번도 안곱한다? 대부분은 답이 1이라고 다 알고 있겠지만, 왜 그런지에 대해 깊이 고민..

수학 2018. 11. 11. 10:08

제타함수를 처음 연구한 수학자는 오일러(Euler)다. 그 연구를 이어 받아 정의역을 복소수 영역까지 확장하고, 소수(Prime Number)의 연구까지 진행한 인물이 바로 리만(Riemann) 이다. 최고의 수학자들이 무슨 생각을 했는지 한번 알아보자. #제타 함수의 정의 제타함수의 정의는 간단하다. 고등학교에서 배운 무한급수를 다시 보는 것 같다. s에 따라 값이 달라진다. s가 1보다 크거나 값으면 수렴할 것 같은데, 값을 계산하기가 쉽지는 않다. 그래도 계산을 해보자. 아래의 그래프는 s=1일 때의 제타함수(파란색)과 1/x를 1부터 10까지(빨간색) 그린 것이다. 다음의 수식이 성립함을 직관적으로 알 수 있다. 제타함수에서 k = 1 ~ N까지의 부분합과 적분과의 관계이다. 다항식의 적분은 쉽게..

수학 2018. 11. 5. 23:15

#해석적 확장(Analytic Continuation) 실수에서만 또는 특정 조건에서만 정의되는 함수를 복소수로 확장하거나, 그 특정 조건을 완화시키는 방법을 해석적 확장 또는 해석적 접속이라고 한다. 영어로는 Analytic Continuation. 다음 예를 보면 쉽게 이해가 될 것 같다. 위 함수는 z의 절대값이 1보다 작은 실수일 때 수렴한다. 따라서 위와 같은 조건에서 정의되며 등비급수의 공식을 활용하면 간단히 나타낼 수 있다. 그런데 이 두번째 함수는 z = 1이 아닌 정의역에서 모두 값을 가지고, 특별히 z의 절대값이 1보다 작을 때는 첫번째 함수와 똑같아 진다. 이 두번째 함수를 첫번째 함수의 해석적 확장이라고 한다. 해석적 확장을 하는 방법은 다양하게 많을 수 있고, 첫번째 함수를 복소수..

수학 2018. 11. 4. 15:40