Cholesky
\(A=LL^\mathsf T\)
실수 대칭 양의 정부호 행렬.
\(x^\mathsf TAx=\lVert L^\mathsf Tx\rVert^2\)양의 이차에너지와 이차 최적화
19차시 · 행렬 분해
같은 행렬을 왜 여러 방식으로 분해할까?
분해마다 단순하게 만드는 대상과 계산 목적이 다르다.
\(A=LU\)소거 과정의 기록
\(A=QR\)직교기저와 삼각행렬
\(A=X\Lambda X^{-1}\)고유방향별 배율
\(A=U\Sigma V^\mathsf T\)입력·출력 축의 분리
예상 · 목적별 선택
관측식이 많아 \(Ax\approx b\)를 가장 가깝게 맞추려면?
직접 계산 · LU
행 소거의 배수를 \(L\)에 기록
$$A=\begin{bmatrix}2&1&1\\4&-6&0\\-2&7&2\end{bmatrix}$$
첫 피벗 \(2\)
$$U_0=A=\begin{bmatrix}2&1&1\\4&-6&0\\-2&7&2\end{bmatrix}$$
$$m_{21}=2,\qquad m_{31}=-1$$
아래 행에서 첫 열을 제거할 배수를 정한다.
직접 계산 · QR
열벡터를 직교정규화
$$A=\begin{bmatrix}1&1\\1&0\\0&1\end{bmatrix}=[\,a_1\ a_2\,]$$
열이 독립인 \(A\)에서 \(\min_x\lVert Ax-b\rVert^2\)는 \(Rx=Q^\mathsf Tb\)로 환원된다.
첫 번째 직교축
$$q_1=\frac{a_1}{\lVert a_1\rVert}=\frac1{\sqrt2}\begin{bmatrix}1\\1\\0\end{bmatrix}$$
$$r_{11}=\sqrt2,\qquad r_{12}=q_1^\mathsf Ta_2=\frac1{\sqrt2}$$
첫 열의 방향을 단위벡터로 만든다.
방향별 작용 · 고유분해
대칭행렬의 극값은 고유방향에서
$$A=\begin{bmatrix}2&1\\1&2\end{bmatrix}=Q\begin{bmatrix}3&0\\0&1\end{bmatrix}Q^\mathsf T$$
단위원에서 \(\min x^\mathsf TAx=1\), \(\max x^\mathsf TAx=3\).
최대 고유방향
$$q_+=\frac1{\sqrt2}\begin{bmatrix}1\\1\end{bmatrix},\qquad Aq_+=3q_+$$
$$\mathcal R_A(q_+)=\frac{q_+^\mathsf TAq_+}{q_+^\mathsf Tq_+}=3$$
Rayleigh 몫의 최댓값과 최대 고윳값이 일치한다.
입력축과 출력축 · SVD
직사각형 행렬도 직교변환–축척–직교변환으로 분해
$$A=U\Sigma V^\mathsf T$$
\(A_k=U\Sigma_kV^\mathsf T\)는 rank \(k\) 행렬 중 \(A\)에 가장 가깝다.
입력축특잇값출력축
입력벡터
$$x\in\mathbb R^n,\qquad A:\mathbb R^n\to\mathbb R^m$$
$$\sigma_1\ge\sigma_2\ge\cdots\ge0$$
대칭행렬이나 정사각행렬이라는 조건이 필요하지 않다.
확장 · 적용 조건
조건과 목적이 다른 세 분해
양의 이차에너지와 이차 최적화
Schur
\(A=QTQ^*\)
복소 정사각행렬이면 항상 가능. \(T\)는 위삼각행렬.
대각화가 실패해도 유지되는 직교기저안정적인 고윳값 계산
Polar
\(A=QH\)
가역 정사각 \(A\). \(Q\)는 직교, \(H=(A^\mathsf TA)^{1/2}\)는 양의 정부호.
직교변환과 순수 변형의 분리\(A\)에 가장 가까운 직교행렬
분해의 조건을 확인한 뒤, 풀려는 계산과 최소화 문제에 맞는 형식을 선택한다.
확인 · 비교 정리
분해와 최소화의 연결이 잘못된 것은?
연립방정식
LU·Cholesky 최소제곱
QR 반복·극값
고유·Schur 압축
SVD 직교변환·변형
Polar
LU·Cholesky 최소제곱
QR 반복·극값
고유·Schur 압축
SVD 직교변환·변형
Polar