정보 엔트로피 (Information Entropy)
어떤 시스템(System)의 상태(State)를 나타내는 방법 중에 엔트로피(Entropy)라는 것이 있다. 열역학을 배운 사람들은 "S = k ln W" 라는 수식을 본 적이 있을 것이고, 그게 아닌 사람들도 "무질서도"라는 말로 한번쯤은 들어 봤을 것이다. 역학이 아닌 정보를 다룰 때도 엔트로피라는 개념을 사용할 수 있다. 1948년에 섀넌이 수학적 통신이론이라는 논문에서 정보 엔트로피라는 개념을 도입하였다. 그 의미는 무질서도, 불확실성로 유사하다. #정보 (Information) 정보란 무엇인가? 어떤 정보가 가치가 있는가? 이것을 어떻게 정량화하여 수식으로 표현할 수 있을까? 어떤 사건이 발생했을 때, 그것이 자주 일어나는 것이어서 관심도가 떨어지는 것은 정보로서의 가치가 떨어지고, 어쩌다 일어..
수학
2018. 12. 4. 11:38