논문 읽기 정의·정리

이 장에서 기호(notation)란 논문에서 정의 없이 쓰이는 관례적 표기를 말합니다. 같은 기호가 분야마다 다른 뜻을 가질 수 있으므로, 논문의 “Notation” 절이나 첫 등장 위치를 늘 먼저 확인합니다.

세 번 읽기(three-pass reading)는 논문을 깊이를 달리해 세 번 훑는 방법입니다.

식의 각 기호에 모양(행렬은 행×열, 벡터는 길이)을 적고, 모든 연산이 성립하며 양변의 모양이 같은지 확인하는 것을 차원 검사(shape check)라 합니다. 물리에서는 같은 방법을 단위에 대해 하며 차원 분석이라 부릅니다.

점수 행 $\mathbf s = (s_1, \dots, s_m)$에 대해 어텐션 가중치(attention weights)는 $a_j = \dfrac{e^{s_j}}{\sum_le^{s_l}}$입니다.

$\mathbf q, \mathbf k \in \mathbb R^d$의 성분이 서로 독립이고 평균 0, 분산 1이면 $\mathrm{Var}(\mathbf q^\top\mathbf k) = d$입니다.

다중 헤드 어텐션(multi-head attention)은 $h$개의 서로 다른 투영으로 어텐션을 따로 계산해 이어 붙이고 선형변환합니다.

$q(\mathbf x_t \mid \mathbf x_0) = \mathcal N\!\left(\sqrt{\bar\alpha_t}\,\mathbf x_0,\ (1 - \bar\alpha_t)I\right)$, 곧

$\mathrm{SNR}(t) = \dfrac{\bar\alpha_t}{1 - \bar\alpha_t}$를 신호 대 잡음비(signal-to-noise ratio)라 합니다. 신호 분산과 잡음 분산의 비이고, $t$가 커질수록 0으로 줄어듭니다. 이후의 많은 논문은 잡음 스케줄을 SNR로 기술합니다.

다룰 수 있는 분포족으로 사후분포를 흉내 내는 $q_\phi(\mathbf z \mid \mathbf x) = \mathcal N(\boldsymbol\mu_\phi(\mathbf x), \mathrm{diag}(\boldsymbol\sigma^2_\phi(\mathbf x)))$를 근사 사후분포라 하고, 이를 내는 신경망을 인코더(encoder)라 합니다.

모든 $q$에 대해

$\ln p_\theta(\mathbf x) - \mathrm{ELBO} = D_{\mathrm{KL}}\!\left(q_\phi(\mathbf z \mid \mathbf x)\,\Vert\,p_\theta(\mathbf z \mid \mathbf x)\right) \ge 0$.

$D_{\mathrm{KL}}\!\left(\mathcal N(\mu, \sigma^2)\,\Vert\,\mathcal N(0, 1)\right) = \frac12\left(\mu^2 + \sigma^2 - \ln\sigma^2 - 1\right)$.

$L(\omega) = \dfrac{A}{(\omega - \omega_0)^2 + (\Gamma/2)^2} + B$ 꼴을 로렌츠 선 모양(Lorentzian lineshape)이라 합니다. $\omega_0$는 중심, $\Gamma$는 반치전폭(full width at half maximum, FWHM), $B$는 배경입니다.

Q 인자는 $Q = \omega_0/\Gamma$입니다(미분방정식 4장의 $Q = \sqrt{mk}/c = \omega_0/\gamma$와 같음).

자유도 $\nu = N - p$($p$는 매개변수 수)로 나눈 $\chi^2_\nu = \chi^2_{\min}/\nu$를 축약 카이제곱(reduced chi-squared)이라 합니다.

매개변수의 공분산 행렬은 근사적으로 $C = 2\left[\nabla^2\chi^2\right]^{-1}$이고, 매개변수 $\theta_j$의 표준 불확도는 $\sigma_{\theta_j} = \sqrt{C_{jj}}$입니다.