31차시 · 정의와 표기

도함수·잔차·국소 선형근사

방정식 \(f(x)=0\)의 해를 근이라고 한다. 근의 예상값 \(a\)를 넣은 함수값 \(f(a)\)를 잔차라고 한다. 잔차가 0이면 정확한 근이다.

미분 가능하면 \(r(h)/h\to0\)이다. 따라서 \(h\)가 작을 때 함수의 변화량을 \(f'(a)h\)로 근사할 수 있다. 이 국소 근사의 그래프가 접선이다. 여기서는 \((x^2)'=2x\), \((\sin x)'=\cos x\)를 사용한다.

31차시 · 정의와 표기

뉴턴 방법의 정의와 계산 조건

뉴턴 방법은 현재 예상값 \(x_n\)에서 그은 접선의 근을 다음 예상값으로 택하는 반복법이다.

각 단계에서 \(f'(x_n)\ne0\)이어야 한다. 미분 가능하다는 조건만으로 수렴을 보장할 수 없다. 계산 후 잔차와 변화량을 확인하고 반복이 멈추거나 주기적으로 오가는지도 살펴야 한다.

31차시 · 계산과 논증

접선이 존재해도 뉴턴 방법은 실패할 수 있을까?

먼저 \(f(x)=x^2-2\), \(x_0=1\)의 두 단계를 계산하라. 이어서 \(g(x)=x^3-2x+2\), \(x_0=0\)에 같은 방법을 적용하고 '도함수가 0이 아니면 수렴한다'는 주장을 판단하라.

31차시 · 정의와 표기

편미분과 야코비 행렬

편미분 \(\partial F_i/\partial x_j\)는 다른 입력을 고정하고 \(j\)번째 입력만 바꿀 때 \(i\)번째 출력의 변화율이다. \(F:\mathbb R^n\to\mathbb R^m\)의 야코비 행렬은 이 값들을 모은 \(m\times n\) 행렬이다.

행은 출력, 열은 입력에 대응한다. 근처에서 편미분이 연속이면 이 1차 근사를 쓸 수 있다. \(J_F(z)h\)는 변화량 \(h\)에 대해 선형이며, \(F(z)\)까지 더한 위치 근사는 일반적으로 아핀식이다.

31차시 · 정의와 표기

고정점과 이산 반복의 국소 안정성

갱신 \(z_{n+1}=G(z_n)\)에서 \(G(z_*)=z_*\)인 점을 고정점이라고 한다. 가까운 초기값들이 고정점에 머물며 수렴하면 국소 점근 안정이라고 한다.

\(G\)가 근처에서 연속 미분 가능하고 \(J_G(z_*)\)의 모든 고윳값이 \(|\lambda|<1\)이면 고정점은 국소 점근 안정이다. '국소'는 멀리 떨어진 모든 초기값까지 보장한다는 뜻이 아니다.

다음 실험에서는 실제 비선형 반복과 선형 근사를 같은 초기값에서 비교한다. 화면 밖으로 나가는 현상만으로 수학적 발산이라고 판단하지 않는다.

31차시 · 정의와 표기

최적화에서의 뉴턴 단계

스칼라 함수 \(f(z)\)의 기울기 \(\nabla f\)는 1차 편미분을 모은 열벡터이고, 헤세 행렬 \(H_f\)는 2차 편미분 행렬이다. 정지점을 구하려면 방정식 \(\nabla f(z)=0\)을 푼다.

\(H_f(z)\)가 가역이면 \(z_{\rm next}=z+\Delta\)를 계산한다. 일반 함수에서 이 단계가 항상 함수값을 줄이거나 최소점으로 가는 것은 아니다. 양의 정부호 헤세 행렬을 가진 정확한 이차함수에서는 한 번에 유일한 최소점을 얻는다.

31차시 · 정의와 표기

관측함수와 쿠프만 연산자 · 선택 심화

상태 갱신 \(F\)에 대해 관측함수 \(g\)는 상태에서 읽을 수 하나를 정한다. 예를 들어 \(g(x,y)=x^2\)도 관측함수이다. 쿠프만 연산자는 관측함수의 다음 시점 값을 계산한다.

\(F\)가 비선형이어도 \(\mathcal K\)는 함수 \(g,h\)에 대해 선형이다. 특징 \(\psi_1,\ldots,\psi_r\)를 골랐을 때 각각의 \(\psi_i\circ F\)가 같은 특징들의 선형결합이면 \(\psi(F(z))=K\psi(z)\)인 유한 행렬을 쓸 수 있다.

이 조건을 특징 집합이 갱신에 대해 닫힌다고 표현한다. 임의의 비선형식이 유한 개 특징 안에서 닫히는 것은 아니다.

31차시 · 유도와 계산

비선형 갱신을 특징의 선형 갱신으로 쓰기 · 선택 심화

\(F(x,y)=(\tfrac12x,\tfrac14y+x^2)\)는 비선형입니다. 특징을 \(\psi(x,y)=(x,y,x^2)^T\)로 선택하면 다음 특징도 이 세 특징의 선형결합입니다.

첫 특징은 x/2, 둘째는 y/4+x², 셋째는 (x/2)²=x²/4입니다. 이 예는 세 특징 안에서 계산이 끝납니다. 임의의 비선형함수에 이런 유한 개 특징을 항상 찾을 수 있는 것은 아닙니다.

31차시 · 계산과 논증

새 특징을 계속 추가해야 하는 경우 · 선택 심화

갱신 \(F(x)=x^2\), 특징 \(\psi(x)=(1,x,x^2)^T\)를 생각하자. 모든 실수 \(x\)에 대해 \(\psi(F(x))=K\psi(x)\)를 만족하는 상수 \(3\times3\) 행렬 \(K\)가 존재하는가? \(x^4\)를 추가하면 문제가 끝나는지도 설명하라.