최대 \(4.5\)
\(\theta=45^\circ\)
25차시 · 공분산과 PCA
평균을 빼면 위치가 사라지고 흩어짐만 남는다
\[x_i^{\rm c}=x_i-\bar x,\qquad \bar x=\frac1n\sum_{i=1}^n x_i\]
원자료 평균 \((3,2)\)
방향별 흩어짐
중심화한 네 점의 공분산행렬은 무엇인가?
\[X=\begin{bmatrix}2&1\\1&2\\-2&-1\\-1&-2\end{bmatrix}\]
\[\Sigma=\frac14X^\mathsf TX=\frac14\begin{bmatrix}10&8\\8&10\end{bmatrix}\]
이 수업에서는 \(1/n\)을 사용하는 모집단 공분산을 적용한다.
단위방향으로의 투영
PCA의 첫 방향은 투영분산을 가장 크게 만든다
\[w=(\cos\theta,\sin\theta),\qquad \operatorname{Var}(Xw)=w^\mathsf T\Sigma w\]
\[w^\mathsf T\Sigma w=2.5+2\sin2\theta\]
최소 \(0.5\)
\(\theta=-45^\circ\)
대칭행렬의 Rayleigh 몫 최댓값은 가장 큰 고윳값이다.
PCA 방향 탐색
축을 회전해 투영분산과 재구성오차를 비교한다
2.50투영분산
2.50평균 재구성오차
\[w=(1.00,0.00)\]
총분산은 5.00. 보존 비율은 50%.
공분산의 고유분해
고윳값은 주성분별 분산이다
1. 특성다항식
\[\det(\Sigma-\lambda I)=\lambda^2-5\lambda+2.25\]
2. 고유쌍
\[\lambda_1=4.5,\ q_1=\frac1{\sqrt2}(1,1)\]
\[\lambda_2=0.5,\ q_2=\frac1{\sqrt2}(1,-1)\]
3. 설명분산
\[\frac{\lambda_1}{\lambda_1+\lambda_2}=\frac{4.5}{5}=0.90\]
첫 축 하나로 총분산의 90% 보존.
두 동치 관점
분산 최대화는 재구성오차 최소화와 같다
자료 \(x=(2,1)\), 첫 축 \(q_1=(1,1)/\sqrt2\)
점수 \(z=q_1^\mathsf Tx=3/\sqrt2\)
재구성 \(\hat x=q_1z=(3/2,3/2)\)
오차 \(\lVert x-\hat x\rVert^2=1/2\)
\[\begin{aligned}E_{\rm rec}(q_1)&=\frac1n\sum_i\lVert x_i-q_1q_1^\mathsf Tx_i\rVert^2\\&=\operatorname{tr}(\Sigma)-q_1^\mathsf T\Sigma q_1\end{aligned}\]
\[=5-4.5=0.5\]
투영분산 최대화 \(\Longleftrightarrow\) 직교투영 재구성오차 최소화.
분산으로 표준화한 거리
같은 유클리드 거리라도 분산이 작은 방향은 더 멀다
\[d_M(x,0)^2=x^\mathsf T\Sigma^{-1}x=\frac{z_1^2}{4.5}+\frac{z_2^2}{0.5},\quad z_i=q_i^\mathsf Tx\]
\(\lVert p\rVert=\lVert q\rVert=\sqrt2\), 그러나 \(d_M(p)^2=4/9\), \(d_M(q)^2=4\).
핵심 정리
공분산의 고유축은 차원축소와 거리 표준화를 함께 결정한다
중심화·공분산
평균 제거 후 방향별 분산 계산.
최대분산·최소오차
큰 고윳값 방향부터 보존.
Mahalanobis
각 주성분을 분산으로 표준화.