제곱합

제곱합(sum of squares, 자승합,SS)는 표본 내의 각 사례의 변인 값과 평균 사이의 편차를 제곱한 값들의 총합으로, 표본 내의 변산성(variability)의 총량을 나타내는 수치이다.

SS=\Sigma (Y-{\overline {Y}})^{2}

성질

제곱합은 0보다 크거나 같다.
- 표본 내 모든 사례의 Y값이 같다면 제곱합이 0이다.
- 제곱합이 0이라면 표본 내 모든 사례의 Y값이 같다.

분할

분산분석

분산분석의 목적은 독립변인이 종속변인에 미치는 효과를 알아보는 것이다. 실험에서 나타나는 전체 편차는 집단간 편차(처치 효과의 크기)와 집단내 편차(무선 오차)의 합으로 이루어지는데, 이들을 분리해내는 일을 분할이라 한다.

SST=SSB+SSW

SST : 전체 제곱합(total sum of squares, 총 제곱합),

SS_{total}

로 표기하기도 한다.

SSB : 집단간 제곱합(between-groups sum of squares, 간 제곱합),

SS_{between}

로 표기하기도 한다.

SSW : 집단내 제곱합(within-groups sum of squares 내 제곱합),

SS_{within}

로 표기하기도 한다.

SST=\Sigma (Y-{\overline {Y}}.)^{2}

SSB=\Sigma ({\overline {Y_{i}}}-{\overline {Y}}.)^{2}

SSW=\Sigma (Y-{\overline {Y}}_{i})^{2}

선형회귀

정리

n번 관측한 표본 $(y_{i},x_{i1},\ldots ,x_{ip}),\,i=1,\ldots ,n$ 로 구성된 선형 회귀 모형 $y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}$ 이 주어지면, 총제곱합 $\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}$ 을 다음과 같이 분해할 수 있다.

{\begin{aligned}\left\|y-{\bar {y}}\iota \right\|^{2}&=\left\|{\hat {\varepsilon }}\right\|^{2}+\left\|{\hat {y}}-{\bar {y}}\iota \right\|^{2},\quad \iota =(1,1,\ldots ,1)\\\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}\\\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}\\\mathrm {TSS} &=\mathrm {ESS} +\mathrm {RSS} \end{aligned}}

증명
오차의 기대치는 0 이다 라는 가정.
기대값의 정의에 따라 n이 확률 공간 안에서 모든 일어날 수 있는 경우의 수 일 경우에만 성립한다. (모집단)

${\begin{aligned}\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}&=\sum _{i=1}^{n}(y_{i}-{\overline {y}}+{\hat {y}}_{i}-{\hat {y}}_{i})^{2}=\sum _{i=1}^{n}(({\hat {y}}_{i}-{\bar {y}})+\underbrace {(y_{i}-{\hat {y}}_{i})} _{{\hat {\varepsilon }}_{i}})^{2}\\&=\sum _{i=1}^{n}(({\hat {y}}_{i}-{\bar {y}})^{2}+2{\hat {\varepsilon }}_{i}({\hat {y}}_{i}-{\bar {y}})+{\hat {\varepsilon }}_{i}^{2})\\&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}+2\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}({\hat {y}}_{i}-{\bar {y}})\\&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}+2\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}({\hat {\beta }}_{0}+{\hat {\beta }}_{1}x_{i1}+\cdots +{\hat {\beta }}_{p}x_{ip}-{\overline {y}})\\&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}+2({\hat {\beta }}_{0}-{\overline {y}})\underbrace {\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}} _{0}+2{\hat {\beta }}_{1}\underbrace {\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}x_{i1}} _{0}+\cdots +2{\hat {\beta }}_{p}\underbrace {\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}x_{ip}} _{0}\\&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}=\mathrm {ESS} +\mathrm {RSS} \\\end{aligned}}$

같이 보기