linalg:scalar-products-and-orthogonality
내적으로 임베딩 유사도와 어텐션 점수를 계산한다.
AI는 벡터와 행렬로 무엇을 계산할까?
단어를 벡터로 나타내고 내적으로 관련도를 비교한다. 행렬을 곱하여 각 벡터의 표현을 바꾼다. 편향 없는 행렬곱만 여러 번 합성하면 다시 하나의 선형변환이 된다. 복잡한 패턴을 나타내려면 softmax나 ReLU 같은 비선형 단계가 필요하다.
1작은 단어 지도에서 벡터 산술하기
학습 원리를 보이는 손제작 2차원 좌표.
실제 임베딩은 높은 차원이며, 관계가 늘 평행이동인 것은 아님.
세 단어를 골라 a−b+c의 위치를 확인한다.
이 좌표를 실제 언어로 오해하면 안 되는 이유
실제 임베딩의 축에는 대개 이름이 없음. 좌표는 말뭉치에서 함께 등장한 문맥을 압축한 결과이며, 자료의 편견도 남을 수 있음. 벡터 산술은 탐색 도구일 뿐 단어 의미의 완전한 정의가 아님.
2세 토큰의 스케일드 닷프로덕트 어텐션
토큰마다 질의 q, 키 kᵢ, 값 vᵢ.
관련도 점수 sᵢ=(q·kᵢ)/√2.
softmax가 점수를 합이 1인 양수 가중치로 변환.
가중합 출력 z=Σαᵢvᵢ.
왜 √d로 나누고 최대 점수를 뺄까?
√d로 나누는 이유는 차원이 커질수록 내적이 지나치게 커지는 현상을 줄이기 위함.
표의 지수값은 안정적인 계산을 위해 모든 점수에서 최댓값을 뺀 값이며, 정규화 결과는 같음.
실제 모델은 WQ, WK, WV로 질의·키·값을 학습함.
3rank-1 업데이트로 한 방향만 고치기
큰 가중치 행렬 W는 고정하고 낮은 랭크 ΔW만 학습하는 LoRA.
가장 단순한 rank-1 식 ΔW=abᵀ.
ΔWx=a(bᵀx)이므로 변화 방향은 언제나 a.
작은 그림이 큰 모델의 절약을 다 보여 주지 못하는 이유
2×2 행렬에서는 rank-1 인수 두 개의 매개변수 절약이 잘 드러나지 않음.
m×n 행렬의 랭크 r 업데이트는 mn개 대신 대략 r(m+n)개를 학습하는 구조.
이 페이지의 그림은 매개변수 수보다 rank-1 변환의 기하에 초점을 둔 예.
4선형층만 쌓으면 다시 하나의 선형층이다
편향이 없는 두 선형층의 합성 W₂(W₁x)=(W₂W₁)x.
편향까지 있으면 합성 결과는 하나의 아핀변환이다.
따라서 비선형 단계가 없으면 층을 늘려도 표현력은 하나의 선형층 또는 아핀층에 머문다.
ReLU를 켜면 직선에 생기는 꺾임.
복잡한 결정 경계를 만들기 위한 비선형성의 필요.
행렬과 비선형 단계의 역할 나누기
행렬은 표현을 섞고 옮기는 역할. ReLU·softmax 같은 비선형 연산은 꺾임과 선택을 만드는 역할. 현재의 신경망 구조는 두 종류의 연산을 함께 쓰는 구조.
5연결 지도
내적 → 행렬 → 낮은 랭크 업데이트로 이어지는 계산 골격.
linalg:linear-maps-and-matrices
질의·키·값 투영과 신경망 선형층을 행렬로 표현한다.
hub:spectral-decomposition
SVD와 PCA로 낮은 랭크 근사와 주요 방향 분해를 다룬다.
AI를 선형대수 하나로 설명할 수 있을까?
온톨로지의 연결이 “AI가 곧 선형대수”라는 뜻은 아님. 선형대수는 계산 골격을 제공함. 실제 동작에는 확률·최적화·비선형 함수·자료가 함께 필요함.
탐구실 · 계산 조건을 바꾸어 반례 만들기
한 결과를 골라 수치·식·결과가 사라지는 조건을 함께 기록하기.
단어 평행이동 깨기
새 단어 세 개의 결과를 기록하고 2차원 좌표의 한계를 찾는다.
같은 어텐션 만들기
두 토큰의 가중치를 같게 만들고 두 내적의 조건을 식으로 쓴다.
업데이트를 0으로 만들기
x⊥b에서 변화가 사라지는 까닭을 ΔWx=a(bᵀx)로 설명하기.
꺾임의 위치 찾기
ReLU의 꺾임 좌표를 계산하고 활성화를 끈 그래프와 비교한다.