미분
\(\nabla_\beta\lVert A\beta-b\rVert^2=0\)
$$A^\mathsf T(A\hat\beta-b)=0$$
21차시 · QR과 최소제곱
네 점을 가장 가깝게 지나는 직선은?
직선이 모든 점을 지나지 못할 때, 잔차제곱합이 가장 작은 계수를 구한다.
\(x\)0123
\(y\)1344
$$y\approx \beta_0+\beta_1x$$
예상
최소제곱해의 잔차 \(r=b-A\hat\beta\)가 만족하는 조건은?
$$r\perp\operatorname{col}(A)$$
직접 계산 · QR
상수열과 \(x\)열을 직교정규화
$$A=\begin{bmatrix}1&0\\1&1\\1&2\\1&3\end{bmatrix}=[\,a_1\ a_2\,]$$
첫 번째 직교축
$$q_1=\frac{a_1}{\lVert a_1\rVert}=\frac12\begin{bmatrix}1\\1\\1\\1\end{bmatrix}$$
$$r_{11}=2,\qquad r_{12}=q_1^\mathsf Ta_2=3$$
상수열의 단위방향을 먼저 정한다.
직교변환과 삼각계
\(R\hat\beta=Q^\mathsf Tb\)를 풀이
$$b=\begin{bmatrix}1\\3\\4\\4\end{bmatrix},\qquad R=\begin{bmatrix}2&3\\0&\sqrt5\end{bmatrix}$$
우변을 직교기저 좌표로 변환
$$Q^\mathsf Tb=\begin{bmatrix}q_1^\mathsf Tb\\q_2^\mathsf Tb\end{bmatrix}=\begin{bmatrix}6\\\sqrt5\end{bmatrix}$$
$$R\hat\beta=Q^\mathsf Tb$$
직교변환은 2-노름과 각도를 보존한다.
직접 조작
절편과 기울기에 따른 잔차제곱합
\(y=0.0+0.0x\)
\(\mathrm{SSE}=42.00\)
\(A^\mathsf Tr=(12,23)^\mathsf T\)
같은 계산의 세 표현
미분 정상조건 = 잔차 직교 = QR 삼각계
잔차 직교
\(r=b-A\hat\beta\)
$$A^\mathsf Tr=0$$
QR
\(A=QR\)
$$R\hat\beta=Q^\mathsf Tb$$
$$\hat\beta=\begin{bmatrix}1.5\\1\end{bmatrix},\qquad r=\begin{bmatrix}-.5\\.5\\.5\\-.5\end{bmatrix},\qquad A^\mathsf Tr=0$$
개념 연결과 계산 선택
정규방정식은 조건을 설명하고, QR은 \(A^\mathsf TA\) 구성을 피한다
정규방정식
$$A^\mathsf TA\hat\beta=A^\mathsf Tb$$
미분 정상조건과 잔차 직교를 직접 나타낸다.
QR 계산
$$R\hat\beta=Q^\mathsf Tb$$
\(A^\mathsf TA\)를 만들지 않고 직교변환과 삼각계만 사용한다.
열이 독립인 \(A\)에서 \(\kappa_2(A^\mathsf TA)=\kappa_2(A)^2\). \(Q^\mathsf T\)는 2-노름을 보존한다.
확인 · 정리
\(\hat y=1.5+x\)의 잔차 \(r=(-.5,.5,.5,-.5)^\mathsf T\). 반드시 성립하는 식은?
미분 정상조건
\(\nabla S=0\) 잔차 직교
\(A^\mathsf Tr=0\) QR 삼각계
\(R\hat\beta=Q^\mathsf Tb\)
\(\nabla S=0\) 잔차 직교
\(A^\mathsf Tr=0\) QR 삼각계
\(R\hat\beta=Q^\mathsf Tb\)