1. 추정의 정확성에 대한 성능 측도
ㅇ 통계적 추정의 정확성에 대한 질적인 평가가 필요함
- 즉, 추정값이 참값에 얼마나 근접하는지를 정량적으로 나타낼 수 있는 지표가 필요함
ㅇ 이에따라, 오차 또는 잔차를 일반화시킬 수 있는 측도들의 예(例)로는,
- 절대값 오차 (평균 절대값 오차, 최대 절대값 오차 등)
- 평균 제곱 오차 (MSE)
. `오차(잔차)의 제곱에 대해 평균을 취한 것`
- 제곱근 평균 제곱 오차 (RMSE)
. `오차(잔차)의 제곱에 대해 평균을 취하고 이를 제곱근한 것`
ㅇ 한편, 표준편차,평균 제곱 오차(MSE),제곱근 평균 제곱 오차(RMSE) 등이 갖는 공통적인 의미로는,
- 개별 관측값들이 중심에서 과연 얼마나 멀리 떨어져 있느냐의 정도를 나타내는 측도 들임
ㅇ 결국, MSE, RMSE 등의 값이 작을수록 추정의 정확성이 높다고 볼 수 있으며,
- 따라서 이들 지표는 추정 성능에 대한 질적 평가 측도로 활용될 수 있음
2. MAE, MSE, RMSE 표현식
ㅇ 평균 절대값 오차 (MAE, Mean Absolute Deviation)
* 주로, 이상치가 많을 때 유용
[# e_{MAE} = \frac{1}{n} \sum^n_{i=1} | x_i - \hat{x}_i | #]
- 여기서, n 는 샘플 수, xi 는 관측값, xi^ 는 추정값(Estimated Value)
ㅇ 평균 제곱 오차 (MSE, Mean Square Error)
* 주로, 최소 평균제곱오차법(MMSE) 등에 쓰임
[# e_{MSE} = E [(X - \hat{X})^2] #]
- 여기서, E 는 기대값, X 는 랜덤변수, X^ 는 추정량(Estimate)
ㅇ 제곱근 평균 제곱 오차 (RMSE, Root Mean Square Error)
* 주로, 회귀분석, 최소제곱법 등에 쓰임
[# e_{RMSE} = \sqrt{e_{MSE}} = \sqrt{E [(X - \hat{X})^2]}
= \sqrt{\frac{1}{n} \sum^n_{i=1} (x_i - \hat{x}_i)^2} #]
3. 한편, MSE(평균제곱오차)가 추정 정확도의 측도로 많이 사용되는 이유
ㅇ 수학적인 분석이 쉬움
ㅇ 계산의 용이성 등
4. [참고사항] 추정의 정확성을 정량화하는, 일반적 기법 및 개념들
ㅇ 비용 함수 (Cost Function)
- 추정 방법의 성능(추정 정확성)을 정량화하기 위해 정의된 함수
ㅇ 최소 평균 제곱 오차 (MMSE, Minimum Mean Square Error)
- 평균 제곱 오차를 최소화시키는 추정 방법
ㅇ 최소 자승법 (LSM, Least Squares Method)
- 잔차의 제곱합을 최소화하는 방식으로, 회귀분석(특히, 선형 회귀분석) 등에 사용됨
ㅇ 우도 및 최대우도 추정 (Likelihood & Maximum Likelihood Estimation)
- 주어진 관측값을 기준으로, 여러 가설이나 모델의 타당성을 비교,평가하는 데 사용하는,
확률 기반의 측도