Updated at 2021.4.14
Updated at 2019.05.05
Entropy
엔트로피라는 말은 여기저기서 많이 들어봤는데, 정확한 개념을 이야기하라고 하면 주저하게 된다. Physics(물리)를 연구하는 방법을 Mechanics(역학)라고 하는데, 이는 개별 대상에 대해 연구하는 Dynamics(동역학)과 수많은 대상의 모임의 성질에 대해 연구하는 Statistical Mechanics(통계역학)으로 나눌 수 있다. 통계역학의 창시자가 Boltzmann이고 그의 가장 핵심적인 개념이 엔트로피이다.
System and Energy
\(N\) 개의 대상(입자, 시행, 동전, 주사위 등등)으로 구성된 시스템이 있다고 하자. 각 대상은 \(m\) 개의 상태(에너지, 앞뒤, 주사위 값 등등)가 존재한다고 하자. 이 시스템의 상태를 정의하는 방법으로는 에너지의 합, 앞면이 나온 동전의 개수, 주사위 값의 총합 등 다양할 것이다. 여기서는 볼츠만이 생각했던 방식인 분자와 그 에너지를 가지고 생각해보자.
\(\epsilon_j\) 의 에너지를 가지는 입자가 \(N_j\) 개라고 하면,
\begin{align}\sum N_j \epsilon_j = E\end{align}
\begin{align}\sum N_j = N\end{align}
\(N\) 개의 입자들을 정해진 에너지 레벨을 변화시키기 않고 만들 수 있는 경우 수(입자들은 개별적으로 구별이 안됨)를 구해보면,
\begin{align}W_n = \frac{N!}{N_1 ! N_2 ! \cdots N_j ! \cdots} = \frac{N!}{\prod _j N_j !}\end{align}
여기서 \(n\) 은 여러가지 가능한 분포 중의 하나를 나타낸다.
따라서 에너지가 \(E\) 인 모든 경우의 수는 다음과 같이 나타낼 수 있다.
\begin{align}\begin{split}W(E) &= \sum W_n \\&= \sum_{over\, all\, distributions}{} \frac{N!}{\prod _j N_j !}\end{split}\end{align}
볼쯔만이 이 경우의 수(\(W\))에 로그함수(\(\ln\))를 취해 엔트로피라고 정의했다(1877). 엔트로피는 그 약 10년전(1865)에 크라시우스가 이미 정의해서 단위를 맞추기 위해 \(k\) 라는 볼쯔만 상수를 도입하여 다음과 같이 정의하였다.
\begin{align}S=k\ln W\end{align}
여기서 \(k=1.38\times 10^{-23} J/K\)
엔트로피 계산
여기서 끝이 아니다. \(W\) 를 좀더 파고 들어가 보자. \(N\) 이 예를 들어 아보가드로 수 \((6\times 10^{23})\) 만큼이나 매우 크면, \(\sum N_j \epsilon_j = E\) 와 을 \(\sum N_j = N\) 만족하는 \(N_j\) 들의 조합은 매우 많을 것이다.
입자의 전체 개수가 \(N\) 개이고 각각이 가질 수 있는 상태가 \(m\) 이니까, \(m\) 개의 각 상태가 가질 수 있는 최대의 입자 개수는 O개에서 N개까지 N+1가지이니, 아래와 같은 부등식으로 나타낼 수 있다.
\begin{align}W_n \leq W(E) \leq (N+1)^m W_n\end{align}
log함수를 취하면
\begin{align}\ln W_n \leq \ln W(E) \leq m \ln (N+1) + \ln W_n\end{align}
여기서 식(3)을 이용하면,
\begin{align}\ln W_n = \ln N! - \sum^m_{j=1} \ln N_j!\end{align}
이다. Stirling formula를 이용하면,
\begin{align}\begin{split}\ln W_n &= N\ln N - N \\&- \sum^m_{j=1} \left ( {N_j \ln N_j - N_j} \right )\end{split}\end{align}
간단히 정리하면,
\begin{align}\ln W_n = N\ln N - \sum^m_{j=1} {N_j \ln N_j}\end{align}
대수의 성질 활용
이제 대수의 매우 중요한 성질을 알아야 한다. 위의 식에서 \(N\) 은 \(m\) 보다 엄청나게 크다. 동전의 경우 \(m = 2\), 주사위는 \(m = 6\), ... 우리가 고려하는 시스템은 대부분은 \(N \gg m\) 이다. 그리고 \(\ln(N)\) 도 역시 \(N\) 보다 매우 작다.
따라서 위의 부등식을 \(N\) 으로 나누고 \(m/N \sim 0\) 으로 근사하면,
\begin{align}\begin{split}\ln W(E) &\approx \ln W_n \\&= N\ln N - \sum^m_{j=1} {N_j \ln N_j}\end{split}\end{align}
위에서 \(\sum N_j=N\) 이라고 했으므로,
\begin{align}\ln W(E) = \sum^m_{j=1} {N_j\ln N} - \sum^m_{j=1} {N_j \ln N_j}\end{align}
정리하면,
\begin{align}\ln W(E) = -N\sum^m_{j=1} {p_j \ln p_j}\end{align}
여기서 \(p_j = N_j/N\) 로 1개의 입자가 상태 \(j\) 를 가질 확률이라고 생각할 수 있다. 이 값을 어떻게 구할까? 볼쯔만 분포 법칙이라는 것이 있다.
결론적으로 볼쯔만이 정의한 엔트로피는 다음과 같다.
\begin{align}\red{S = -kN\sum^m_{j=1} {p_j \ln p_j}}\end{align}
