Linear Regression, Least Square Regression   선형 회귀분석, 최소제곱 회귀분석

(2022-02-23)

SSE, Sum of Square for Error, 오차 제곱 합


1. 회귀분석 (Regression Analysis) 이란?

  ㅇ 하나의 변량(결과변량)을 다른 한 조의 변량의 함수로서 이론적 관계를 구하는 것
     - 데이터 값들의 변동성(랜덤성), 관계성에 촛점을 맞춰 이론적 관계를 밝힘

  ㅇ 회귀분석 목표
     - 이론적 모형을 잘 나타내는 진 회귀선(True Regression Line)에 대한 좋은 추정선을 구하는 것


2. 선형 회귀분석 (Linear Regression)

  ㅇ 2 변량 단순 회귀분석 : 선형적인 1차식으로 변량 간의 관계성을 설명하는 것

     - 회귀분석최소자승법을 적용 함
     - 이는, 잔차(오차항)의 자승의 총합을 극소화하여,
        . 좋은 추정 회귀선(적합 회귀선,Fitted Regression Line)을 구하는 방법 임
     - 즉, 최적의 직선을 구하기 위해,
        . 모든 주어진 데이터오차의 합을 최소화 시킴
     - 이때, 수학 미분법을 이용하게 됨


3. 선형 추정회귀선 산출식

  ㅇ 적합 회귀선, 추정 회귀선 (Fitted Regression Line)
     오차(Error) 또는 잔차(Residual)
     오차제곱합(SSE,Sum of Square for Error) 또는 잔차제곱합(Residual Sum of Squares)
     

  ㅇ 여기서, 최소제곱법/최소자승법(Method of Least Square)을 활용하면,
     - SSE 최소화(Minimize SSE)를 위해 b0,b1편미분
       

     - 정규방정식(Normal Equation)
       

     - 최소제곱 추정값(Least Square Estimate)
       

  ㅇ 결국, 선형 최소자승 근사법이란,
     - SSE를 극소화하는 b0,b1 값을 구하여,
       선형 추정회귀선 를 얻는  방법

회귀분석
   1. 회귀분석   2. 선형 회귀분석   3. 결정계수   4. 잔차   5. 최소 자승법  
곡선적합 (근사)
   1. 곡선적합(Curve Fitting)   2. 보간법   3. 선형 보간법   4. 다항식 보간법   5. 스플라인 보간법   6. 최소자승법   7. 회귀분석  


Copyrightⓒ written by 차재복 (Cha Jae Bok)               기술용어해설 후원
"본 웹사이트 내 모든 저작물은 원출처를 밝히는 한 자유롭게 사용(상업화포함) 가능합니다"