11장. 행렬 미적분

머신러닝 논문은 “$\nabla_W L = (\hat{y} - y)x^T$”처럼 벡터와 행렬에 대한 미분을 아무 설명 없이 씁니다. 이 장에서는 그런 식을 읽고 직접 유도할 수 있게, 표기와 관례를 정하고 자주 쓰는 공식들을 성분 계산으로 증명합니다. 요령은 하나입니다. 헷갈리면 성분 하나($\partial L/\partial x_i$)를 구하고 다시 벡터·행렬로 모읍니다.

11.1 표기와 배치 관례

스칼라 함수 $f(\mathbf{x})$($\mathbf{x} \in \mathbb{R}^n$)의 그래디언트 $\nabla_{\mathbf{x}}f$는 $\mathbf{x}$와 같은 모양(열벡터)으로 씁니다. 스칼라 함수 $f(X)$($X$는 $m \times n$ 행렬)의 그래디언트도 $X$와 같은 모양으로 씁니다:

이렇게 하면 경사하강법 $X \leftarrow X - \eta\frac{\partial f}{\partial X}$가 모양이 맞게 쓰입니다. 이것을 분모 배치(denominator layout)라 하고, 머신러닝 논문 대부분이 이 관례를 씁니다.

벡터를 벡터로 미분한 야코비 행렬(3장)은 $\frac{\partial\mathbf{f}}{\partial\mathbf{x}}$를 $m \times n$(출력×입력)으로 쓰는 분자 배치(numerator layout)와, 그 전치인 분모 배치가 논문마다 섞여 있습니다. 식의 모양(행·열 수)을 맞춰 보면 어느 관례인지 알 수 있습니다. 이 장에서는 그래디언트는 입력과 같은 모양, 야코비 행렬은 출력×입력으로 씁니다.

11.2 기본 공식

정리 11.1. $\mathbf{a} \in \mathbb{R}^n$, $A \in \mathbb{R}^{n\times n}$에 대해

1. $\nabla_{\mathbf{x}}(\mathbf{a}^T\mathbf{x}) = \mathbf{a}$
2. $\nabla_{\mathbf{x}}(\mathbf{x}^TA\mathbf{x}) = (A + A^T)\mathbf{x}$, $A$가 대칭이면 $2A\mathbf{x}$
3. $\nabla_{\mathbf{x}}\|\mathbf{x}\|^2 = 2\mathbf{x}$
4. $\nabla_{\mathbf{x}}\|A\mathbf{x} - \mathbf{b}\|^2 = 2A^T(A\mathbf{x} - \mathbf{b})$ ($A$는 $m \times n$)

증명 (2). $\mathbf{x}^TA\mathbf{x} = \sum_{j,k}x_jA_{jk}x_k$를 $x_i$로 편미분하면 $j = i$인 항에서 $\sum_kA_{ik}x_k$, $k = i$인 항에서 $\sum_jx_jA_{ji}$가 나옵니다. 둘을 더하면 $(A\mathbf{x})_i + (A^T\mathbf{x})_i$입니다. □

1변수의 $(ax)' = a$, $(ax^2)' = 2ax$와 같은 모양이라 기억하기 쉽습니다. 4번은 3번에 연쇄법칙을 쓴 것입니다.

예제 11.2 (선형회귀). $L(\boldsymbol\beta) = \|X\boldsymbol\beta - \mathbf{y}\|^2$의 그래디언트는 $2X^T(X\boldsymbol\beta - \mathbf{y})$이고, 0으로 두면 정규방정식 $X^TX\boldsymbol\beta = X^T\mathbf{y}$(선형대수 13장)가 한 줄로 나옵니다.

11.3 행렬에 대한 미분

정리 11.3. 크기가 맞는 행렬에 대해

1. $\dfrac{\partial}{\partial X}\operatorname{tr}(AX) = A^T$
2. $\dfrac{\partial}{\partial X}\operatorname{tr}(X^TAX) = (A + A^T)X$
3. $\dfrac{\partial}{\partial X}\|X\|_F^2 = 2X$ (프로베니우스 노름, $\|X\|_F^2 = \operatorname{tr}(X^TX) = \sum X_{ij}^2$)
4. $\dfrac{\partial}{\partial X}\mathbf{a}^TX\mathbf{b} = \mathbf{a}\mathbf{b}^T$
5. $\dfrac{\partial}{\partial X}\ln\det X = (X^{-1})^T$ ($X$ 가역, $\det X > 0$)

증명 (1). $\operatorname{tr}(AX) = \sum_{i,j}A_{ij}X_{ji}$이므로 $\frac{\partial}{\partial X_{ji}} = A_{ij}$, 곧 $(j, i)$ 성분이 $A_{ij}$인 행렬 $A^T$입니다. □

증명 (4). $\mathbf{a}^TX\mathbf{b} = \sum_{i,j}a_iX_{ij}b_j$이므로 $\frac{\partial}{\partial X_{ij}} = a_ib_j$입니다. □

증명 (5) 개요. 여인수 전개(선형대수 15장)로 $\frac{\partial\det X}{\partial X_{ij}} = C_{ij}$(여인수)이고, $\frac{\partial\ln\det X}{\partial X_{ij}} = \frac{C_{ij}}{\det X} = ((X^{-1})^T)_{ij}$입니다(수반행렬과 역행렬의 관계). □

대각합(trace)을 쓰는 이유: 스칼라는 $1 \times 1$ 행렬이라 $s = \operatorname{tr}(s)$이고, 대각합은 순환을 허락합니다($\operatorname{tr}(ABC) = \operatorname{tr}(CAB)$). 복잡한 식을 대각합으로 바꿔 미분하는 것이 표준 기법입니다.

11.4 소프트맥스와 교차 엔트로피

분류 모델은 점수 $\mathbf{z} \in \mathbb{R}^K$를 확률로 바꾸는 소프트맥스(softmax) $p_k = \frac{e^{z_k}}{\sum_je^{z_j}}$와, 정답 $y$(원-핫 벡터 $\mathbf{y}$)에 대한 교차 엔트로피(cross-entropy) $L = -\sum_ky_k\ln p_k = -\ln p_y$를 씁니다.

정리 11.4. $\nabla_{\mathbf{z}}L = \mathbf{p} - \mathbf{y}$.

증명. $\ln p_y = z_y - \ln\sum_je^{z_j}$이므로 $\frac{\partial(-\ln p_y)}{\partial z_k} = -[k = y] + \frac{e^{z_k}}{\sum_je^{z_j}} = p_k - y_k$입니다. ($[k = y]$는 $k = y$이면 1, 아니면 0.) □

“예측 확률 − 정답”이라는 놀랍도록 간단한 결과이고, 이것이 분류 신경망 학습의 출발점입니다. 정답 칸의 확률은 올리고 나머지는 내리는 방향입니다.

11.5 신경망 한 층의 그래디언트

예제 11.5. 선형층 $\mathbf{z} = W\mathbf{x} + \mathbf{b}$($W$는 $K \times n$) 뒤에 소프트맥스와 교차 엔트로피가 붙어 있을 때, 연쇄법칙과 정리 11.4로

유도. $z_k = \sum_jW_{kj}x_j + b_k$이므로 $\frac{\partial L}{\partial W_{kj}} = \frac{\partial L}{\partial z_k}x_j = (p_k - y_k)x_j$, 곧 외적 $(\mathbf{p} - \mathbf{y})\mathbf{x}^T$입니다(정리 11.3의 4번과 같은 모양). $\frac{\partial L}{\partial x_j} = \sum_k\frac{\partial L}{\partial z_k}W_{kj}$는 $W^T(\mathbf{p} - \mathbf{y})$입니다. □

마지막 식이 역전파에서 “앞 층으로 넘겨주는 그래디언트”입니다. 앞으로는 $W$를 곱하고, 뒤로는 $W^T$를 곱합니다.

모양 확인. $W$가 $K \times n$이면 $\frac{\partial L}{\partial W}$도 $K \times n$이어야 하고, $(\mathbf{p} - \mathbf{y})\mathbf{x}^T$는 $(K\times1)(1\times n) = K \times n$입니다. 논문의 식이 맞는지 볼 때 이 모양 확인이 가장 빠른 검산입니다.

11.6 이 장의 요약

헷갈리면 성분 하나를 미분하고 모으고, 마지막에 모양을 확인합니다.

쓰이는 곳. 모든 신경망 논문의 그래디언트 유도, 가우스 분포의 최대우도 추정($\ln\det\Sigma$의 미분), 주의(attention) 메커니즘의 역전파, 행렬 분해 기반 추천 시스템의 학습이 이 장의 공식을 씁니다. 『The Matrix Cookbook』 같은 공식집을 읽을 때도 이 장의 배치 관례를 알아야 맞게 읽을 수 있습니다.

문제

4
8

1/4
1/2
1/4
-1/2

2

-1