31차시 · 비선형 문제
곡선을 접선으로 바꾸면 근을 다시 계산할 수 있다
\[f(x)=x^2-2,\qquad x_0=1\]
\(x_0\)에서의 접선과 x축의 교점을 다음 근사값으로 사용.
Newton 방법
현재 점의 접선이 주는 다음 근사값
\[x_{n+1}=x_n-\frac{f(x_n)}{f'(x_n)}\]
\(x_2=\frac{17}{12}\)
\(x_3\approx1.4142\)
다변수 1차 근사
도함수 하나를 Jacobian 행렬로 확장한다
\[F(z+h)\approx F(z)+J_F(z)h\]
\(J_F(z)\)는 점 \(z\) 근처에서 가장 정확한 1차 선형근사.
\[F(x,y)=\begin{bmatrix}x+y^2\\\sin x+\tfrac12y\end{bmatrix}\]
\[J_F(0,0)=\begin{bmatrix}1&0\\1&\tfrac12\end{bmatrix}\]
\[F(h_1,h_2)\approx\begin{bmatrix}h_1\\h_1+\tfrac12h_2\end{bmatrix}\]
비선형 반복계
원점에서 멀어질수록 선형근사와 차이가 커진다
\[G(x,y)=\begin{bmatrix}0.6x+y^2\\0.3y\end{bmatrix},\qquad z_0=(s,s)\]
\[J_G(0,0)=\begin{bmatrix}0.6&0\\0&0.3\end{bmatrix}\]
두 궤도가 모두 원점으로 수렴.
파란색: 비선형 반복. 회색 점선: 선형근사.
다변수 Newton 방법
국소 이차모형의 최소점을 선형시스템으로 계산한다
\[f(x,y)=2x^2+2xy+y^2-6x-4y\]
\[H=\begin{bmatrix}4&2\\2&2\end{bmatrix}\]
\[H\Delta=-\nabla f(0,0)=\begin{bmatrix}6\\4\end{bmatrix}\]
\[\Delta=\begin{bmatrix}1\\1\end{bmatrix},\qquad z_1=z_0+\Delta=(1,1)\]
이차함수는 Hessian이 일정하므로 한 번의 Newton 단계로 정확한 최소점 도달.
특징벡터
비선형 입력을 새 좌표에서 선형식으로 표현한다
입력 \(x\)
\[\phi(x)=\begin{bmatrix}x^2\\x\\1\end{bmatrix}\]
→
특징 \(z=\phi(x)\)
\[p(x)=\begin{bmatrix}2&-3&1\end{bmatrix}z\]
정확히 닫히는 특징 예
비선형 상태 갱신이 특징공간에서는 선형일 수 있다
\[F(x,y)=\begin{bmatrix}ax\\by+cx^2\end{bmatrix},\qquad \psi(x,y)=\begin{bmatrix}x\\y\\x^2\end{bmatrix}\]
상태 \((x,y)\)의 갱신은 \(x^2\) 때문에 비선형.
\[\psi(F(x,y))=\begin{bmatrix}a&0&0\\0&b&c\\0&0&a^2\end{bmatrix}\psi(x,y)\]
\[a=\tfrac12,\ b=\tfrac15,\ c=1,\quad \psi(1,0)=\begin{bmatrix}1\\0\\1\end{bmatrix}\mapsto\begin{bmatrix}\tfrac12\\1\\\tfrac14\end{bmatrix}\]
특징 \(x,y,x^2\)가 갱신 뒤에도 같은 세 특징의 선형결합으로 닫힘.
핵심 정리
비선형 문제에서 무엇을 선형화하는지 먼저 정한다
Jacobian
한 점 근처의 1차 근사. 적용 범위는 국소적.
Newton·Hessian
국소 이차모형을 반복해서 해결.
특징·Koopman
특징공간의 선형 작용. 닫힘 여부 확인.