[수학] 랜덤 변수와 회귀 분석에서 파라미터 추정: 왜 오차가 있어도 파라미터는 구할 수 있을까?

서론

경제학, 금융, 그리고 여러 분야에서 데이터를 분석할 때, 회귀 분석은 매우 중요한 기법입니다. 그 중에서도 가장 널리 사용되는 기법은 **최소제곱법(OLS)**입니다. 회귀 분석의 주요 목표는 변수들 간의 관계를 나타내는 파라미터들을 추정하는 것입니다. 예를 들어, 수요 함수나 주가 예측 모델 등에서 파라미터인 $\alpha, \beta, \gamma$를 추정하는 것이 핵심입니다. 그런데, 회귀 분석에서 자주 등장하는 오차항은 랜덤 변수로 간주되며, 이로 인해 예측이 완벽하지 않게 됩니다. 그럼에도 불구하고 우리는 파라미터 추정이 가능한 이유가 무엇인지 알아보겠습니다.

1. 랜덤 변수란 무엇인가?

랜덤 변수는 예측할 수 없거나 일정하지 않은 변수입니다. 즉, 어떤 값을 가질지 모르는 변수라고 할 수 있습니다. 예를 들어, 주식 시장에서 주가 변동은 예측할 수 없지만 확률적인 패턴을 따르기도 합니다. 이런 예측 불가능한 요인들을 모델에 반영하기 위해, 회귀 분석에서는 오차항을 사용합니다.

식을 보면:

$$\widetilde{Q_t}=\alpha +\beta P_t+\gamma Y_t+\widetilde{u_t}$$

여기서 $\tilde{u_t}$는 오차항입니다. 오차항은 우리가 예측할 수 없는 불확실성이나 외부 요인에 의해 발생하며, 시점마다 다르게 나타나는 랜덤 변수입니다.

2. 왜 랜덤 변수가 있어도 파라미터는 구할 수 있을까?

랜덤 변수가 있다고 해서 파라미터 추정이 불가능한 것은 아닙니다. 오히려 랜덤 변수를 고려한 추정 방법들이 여러 통계적 기법에서 사용됩니다. 그 이유는 다음과 같습니다:

2.1. 최소제곱법(OLS)

회귀 분석에서 가장 일반적인 방법인 **최소제곱법(OLS)**은, 실제 값과 예측 값의 차이인 잔차를 최소화하는 방법입니다. 이 방법은 오차항이 존재하더라도 파라미터를 추정할 수 있도록 해줍니다.

• 잔차는 실제 값과 예측 값의 차이입니다.

• 최소제곱법은 이 잔차의 제곱합을 최소화하는 방향으로 파라미터 $\alpha, \beta, \gamma$를 추정합니다.

오차항이 랜덤하게 변하더라도, 최소제곱법을 사용하면 최적의 파라미터를 추정할 수 있습니다. 다만, 오차항이 완전히 랜덤이 아니라 예측 가능한 패턴을 따른다면 더 정확한 추정이 가능해집니다.

2.2. 오차의 분포와 특성

회귀 분석에서는 보통 오차항이 평균 0이고, 분산이 일정하다는 가정 하에 파라미터를 추정합니다. 이러한 조건 하에서 오차항이 랜덤 변수를 포함하더라도, 여전히 신뢰할 수 있는 추정이 가능합니다. 중심극한정리 등 통계 이론에 따르면, 많은 관측치가 있을 경우 오차가 랜덤이더라도 파라미터 추정은 수렴하게 됩니다.

2.3. 회귀 분석의 목적

회귀 분석에서는 최적의 예측 모델을 찾기 위해 파라미터 추정을 수행합니다. 여기서 중요한 점은 오차항이 존재하더라도 그 패턴을 이해하고 모델링할 수 있다는 것입니다. 즉, 예측 정확도가 완벽하지 않더라도, 우리는 여전히 가장 잘 맞는 파라미터를 찾아낼 수 있습니다.

3. 실제 데이터에서의 오차항

실제 데이터에서는 대부분 오차항이 랜덤하게 분포하는 경우가 많습니다. 예를 들어, 주식 시장에서 주가는 수많은 예상치 못한 요인에 영향을 받기 때문에, 주가 예측 모델에서 오차는 예측할 수 없는 형태로 나타납니다. 이런 오차는 외부 충격이나 경제 지표 변화 등 다양한 요인에 의해 발생합니다. 하지만 이 오차의 평균이 0이고 분산이 일정하면, 최소제곱법을 이용해 정확한 파라미터 추정이 가능합니다.

4. 결론

랜덤 변수가 존재하더라도, 우리는 **최소제곱법(OLS)**과 같은 통계적 기법을 통해 파라미터를 추정할 수 있습니다. 오차항이 랜덤하게 변한다고 해도, 그 분포와 특성을 잘 이해하고 모델링하면 여전히 파라미터 추정이 가능하다는 점을 알 수 있습니다. 이는 실세계의 경제 모델이나 주식 예측 모델 등에서 오차를 고려한 회귀 분석이 널리 사용되는 이유입니다.

따라서, 랜덤 변수가 존재한다고 해도 파라미터 추정은 여전히 유효하고 의미가 있습니다. 오히려 랜덤 변수의 특성을 이해하고, 그것을 반영한 회귀 분석이 현실 세계의 불확실성을 잘 다루는 방법입니다.