[수학] 정규분포의 확률밀도 함수가 이차 함수의 지수 형태를 가지는 이유

정규분포의 확률밀도 함수(PDF)는 다음과 같은 형태를 갖는다:

f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)

여기서 중요한 점은 이 함수가 이차 함수의 지수 형태를 띤다는 것이다. 왜 이런 형태를 가지게 되는지, 수학적 원리와 논리를 기반으로 살펴보자.

1. 중심극한정리(Central Limit Theorem, CLT)와 가우스 분포

**중심극한정리(CLT)**에 따르면, 여러 개의 독립적인 랜덤 변수들의 합은 정규분포에 가까워진다. 이 과정에서 등장하는 확률분포는 다음과 같은 성질을 가져야 한다:

이러한 성질을 만족하는 함수는 자연스럽게 지수 함수 형태를 띠게 된다. 즉, 많은 독립적인 랜덤 변수들이 합쳐지면 정규분포 형태가 나타나며, 이는 수학적으로 이차 함수의 지수 형태를 따른다.

확률분포를 결정하는 또 다른 원리는 최대 엔트로피 원리이다. 엔트로피(Entropy)는 확률분포의 불확실성을 측정하는 개념이며, 제약 조건이 주어진 상태에서 가장 자연스럽고 일반적인 확률분포를 찾는 방법이 바로 최대 엔트로피 원리다.

정규분포는 다음과 같은 제약 조건을 가정할 때, 가장 정보가 없는(즉, 가장 자연스러운) 확률분포로 선택된다:

이를 수학적으로 풀면, 확률밀도 함수는 이차 함수 형태를 가진 지수 함수가 되어야 한다. 즉, 최대 엔트로피 원리를 적용하면 자연스럽게 정규분포의 수식이 도출된다.

확률밀도 함수 $f(x)$ 가 독립적인 랜덤 변수들의 합에서 유도되는 경우, 특정한 미분 방정식을 만족해야 한다.

이 개념을 수학적으로 접근하면, $n$ 개의 독립적인 랜덤 변수가 서로 더해질 때, 그 분포는 **컨볼루션(합성곱)**을 통해 나타난다. 이때, 특정한 조건(독립성, 변동성 유지 등)을 만족하면, 이 함수는 다음과 같은 미분 방정식을 만족해야 한다.

\frac{d^2}{dx^2} \log f(x) = C

위 식을 풀면, $\log f(x)$ 가 이차 함수 형태가 되어야 함을 알 수 있으며, 따라서 $f(x)$ 는 지수 함수 형태가 된다.

즉, 독립적인 랜덤 변수들의 합이 따르는 확률분포가 특정 미분 방정식을 만족하면, 지수 형태의 정규분포가 자연스럽게 도출된다.

정리하면, 정규분포의 확률밀도 함수가 이차 함수의 지수 형태를 가지는 이유는 다음과 같다:

중심극한정리: 여러 개의 독립적인 랜덤 변수들의 합은 정규분포를 따르며, 이는 자연스럽게 이차 함수의 지수 형태를 띠게 된다.
최대 엔트로피 원리: 평균과 분산만 주어진 상태에서 가장 정보가 없는(즉, 가장 자연스러운) 확률분포를 찾으면 정규분포가 자동으로 유도된다.
미분 방정식 접근: 독립적인 랜덤 변수들의 합으로 만들어지는 분포는 특정한 미분 방정식을 만족하며, 이를 풀면 자연스럽게 지수 형태의 정규분포가 등장한다.

이제 정규분포의 확률밀도 함수가 왜 이런 형태를 가지는지 직관적으로 이해할 수 있을 것이다!