오늘 할 일 잔차의 직교 조건을 설명하고 정규방정식과 QR로 최소제곱해를 구한다.
8차시의 정사영에서 오차가 직교했다. 정확한 해가 없는 방정식에서도 열공간 위의 가장 가까운 점을 같은 조건으로 찾는다.
먼저 확인 $u=(1,1)$과 $r=(1,-1)$이 직교하는지 확인하시오.
풀이 읽기최소점의 조건을 정사영으로 유도
최적 예측 \(X\hat\beta\)와 y의 차이는 X의 열공간에 직교한다.
\[X^T(y-X\hat\beta)=0\quad\Longrightarrow\quad X^TX\hat\beta=X^Ty\]
열들이 독립이면 해가 유일한다. QR에서는 Rβ̂=Qᵀy를 풀어 같은 최소제곱해를 구한다.
설명을 읽고 개념 정리
- 최소제곱해 $\hat x$의 잔차 $r=b-A\hat x$는 $A$의 과 직교한다.
- 잔차 직교 조건은 정규방정식 $\underline{\hspace{3.2cm}}$이다.
- $A\in\mathbb R^{m\times n}$의 열이 일차독립이고 $A=QR$에서 $Q$가 $m\times n$, $R$이 $n\times n$이면 최소제곱 문제는 $\underline{\hspace{3.2cm}}$로 바뀐다.
- $Q$의 열은 이므로 $Q^\mathsf TQ=I$이다.
주의할 점 잔차는 관측값에서 예측값을 뺀 $r=b-A\hat x$로 일관되게 정의한다.