머신 러닝을 위한 확률 강좌 소개

컴퓨터 과학에서 확률의 중요성은 갈수록 커지고 있다. 최근 기계학습(Machine Learning)의 인기가 높아지면서 다양한 알고리즘이 개발 및 구현되고 있으며, 그 밑바탕에는 확률 이론이 있다. 많은 확률에 대한 내용 중에서 꼭 배워야 할 필요한 부분만 모은 강좌가 바로 스탠포드 대학교의 CS109 강좌이다.

 

Probability for Computer Scientists

 

강좌의 주요 내용은 다음과 같다.

 

1. Counting : 경우의 수 헤아리기
2. Combinatorics : 조합론 (순열, 조합)
3. Probability : 확률의 기본 (사건공간, 표본공간, 공리, ...)
4. Conditional Probability : 조건부 확률, 베이즈 정리
5. Independence : 독립, 체인룰, 조건부 독립
6. Random Variables and Expectation : 확률 변수, 확률 질량 함수, 기대값
7. Variance, Bernoulli and Binomials : 분산, 베르누이, 이항
8. Poisson Distribution : 이항의 극한, 포아송 확률 변수, 이항 확률 변수의 근사
9. Continuous Distributions : 이산에서 연속으로, 확률 밀도 함수, 누적 분포 함수, 기대값과 분산, 균등 확률 변수, 지수 확률 변수
10. Gaussian : 가우시안(정규), 표준 정규 확률 변수로의 변환
11. Binomial Approximation and Joint Distributions : 이항 근사, 결합 분포, 다항 분포
12. Continuous Joints : 연속 결합 분포
13. Conditional Joints : 조건부 결합 분포
14. Properties of Multiple Random Variables: 기대값, 독립, 컨볼루션 (Convolution)
15. Correlation : 공분산 (Covariance), 상관 관계 (Correlation)
16. Great Expectations : 이항 분포의 기대값, 음이항 분포의 기대값, 조건부 기대값
17. Beta Distribution: 베타 분포
18. Central Limit Theorem (CLT) : 중심 극한 정리
19. Samples and The Bootstrap : 평균/분산 추정하기, 표준 오차, 부트스트랩
20. General Inference : 베이지안 네트웍, 결합 샘플링을 통한 일반 추정, 드문 사건에 대한 추정
21. Maximum Likelihood Estimation (MLE) : 최대 가능도 방법 (최대 우도법)
22. Gradient Ascent: 경사 상승 최적화법, 선형 회귀 이론 (Linear Regression Theory)
23. Maximum A Posteriori (MAP) : 최대 사후 확률
24. Naive Bayes : 머신 러닝 (분류), 나이브 베이즈 알고리즘
25. Logistic Regression : 로지스틱 회귀
26. Deep Learning : Simple Deep Network, Log Likelihood, Backpropagation

 

10강 까지는 고등학교 수준 정도이고, 11강 이후는 좀 더 많은 공부가 필요하다. 주요한 부분들은 그 개념들을 이해하고, 왜 그러한 개념들이 생겨나게 되었는지를 알아 봐야 한다. 틈틈이 공부해보자.