1장. 기호 사전

요약

논문에 자주 나오는 기호를 분야별로 모은 사전: 집합과 논리, 선형대수, 미적분, 확률과 통계, 최적화, 점근 표기, 머신러닝 고유 기호, 물리 관례

논문을 처음 펴면 막히는 곳은 대개 개념보다 기호입니다. $\mathbb E_{x \sim p}$ , $\arg\min$ , $\propto$ , $\odot$ , $\mathcal O(n\log n)$ 같은 기호는 본문에서 설명하지 않고 그냥 씁니다. 이 장은 그런 기호를 분야별로 모아, 읽는 법과 뜻, 배운 단원을 한 줄씩 정리한 사전입니다. 처음부터 외울 필요는 없고, 논문을 읽다가 막히면 찾아보는 용도로 씁니다.

1.1 읽는 법

정의 1.1. 이 장에서 기호(notation)란 논문에서 정의 없이 쓰이는 관례적 표기를 말합니다. 같은 기호가 분야마다 다른 뜻을 가질 수 있으므로, 논문의 “Notation” 절이나 첫 등장 위치를 늘 먼저 확인합니다.

예를 들어 $\sigma$ 는 통계에서는 표준편차, 머신러닝에서는 시그모이드 함수, 물리에서는 단면적이나 전기전도도입니다.

1.2 집합과 논리

기호	읽기	뜻	배운 곳
$\in$ , $\notin$	원소이다	$x \in A$ : $x$ 는 $A$ 의 원소	LA 0장
$\subseteq$	부분집합		LA 0장
$\mathbb N, \mathbb Z, \mathbb Q, \mathbb R, \mathbb C$		자연수, 정수, 유리수, 실수, 복소수	LA 0장
$\mathbb R^n$ , $\mathbb R^{m \times n}$		$n$ 차원 벡터, $m \times n$ 행렬의 집합	LA 2·4장
$\forall$ , $\exists$	모든, 존재한다	한정기호	DM 2강
$\{x : P(x)\}$		$P$ 를 만족하는 $x$ 의 집합	LA 0장
$f: A \to B$		$A$ 에서 $B$ 로 가는 함수	LA 0장
$:=$ , $\triangleq$	정의한다	왼쪽을 오른쪽으로 정의
$\lvert A\rvert$		집합의 원소 수	DM 7강
$[n]$		$\{1, 2, \dots, n\}$

1.3 선형대수

기호	뜻	배운 곳
$\mathbf x$ , $x$ (굵은 소문자)	벡터	LA 2장
$A$ , $\mathbf W$ (대문자)	행렬	LA 4장
$A^\top$ , $A^{-1}$	전치, 역행렬	LA 5·8장
$\mathbf x^\top\mathbf y$ , $\langle\mathbf x, \mathbf y\rangle$	내적	LA 13장
$\lVert\mathbf x\rVert_2$ , $\lVert\mathbf x\rVert_1$	유클리드 노름, 절댓값 합	LA 13장, OP 1장
$\lVert A\rVert_F$	프로베니우스 노름(원소 제곱합의 제곱근)	MV 11장, LA 30장
$\odot$	원소별 곱(아다마르 곱)
$\otimes$	크로네커 곱 또는 텐서곱	LA 32장
$\mathrm{tr}(A)$ , $\det A$	대각합, 행렬식	LA 15장
$\mathrm{diag}(\mathbf v)$	대각선에 $\mathbf v$ 를 놓은 행렬
$I$ , $I_n$	단위행렬	LA 5장
$A \succeq 0$	양반정치(양의 준정부호)	LA 17장, OP 1장
$\lambda_{\max}(A)$	가장 큰 고윳값	LA 16장

1.4 미적분

기호	뜻	배운 곳
$\dfrac{\partial f}{\partial x}$ , $\partial_xf$ , $f_x$	편미분	MV 2장
$\nabla f$ , $\nabla_{\boldsymbol\theta}\mathcal L$	그래디언트(아래 첨자는 무엇에 대해 미분하는지)	MV 2장
$\nabla^2f$ , $H$	헤세 행렬	MV 4장
$J$ , $\dfrac{\partial\mathbf f}{\partial\mathbf x}$	야코비 행렬	MV 3장
$\dot x$ , $\ddot x$	시간에 대한 1·2계 도함수(물리)	DE 3장
$\Delta$ , $\nabla^2$	라플라시안 $\sum\partial^2/\partial x_i^2$	DE 9장, CV 3장
$\oint$	닫힌 경로 적분	MV 9장, CV 4장

1.5 확률과 통계

기호	읽기·뜻	배운 곳
$X \sim p$	$X$ 는 분포 $p$ 를 따른다	PS 2장
$\mathcal N(\mu, \sigma^2)$ , $\mathcal N(\boldsymbol\mu, \Sigma)$	정규분포(둘째 인자는 분산)	PS 2·4장
$\mathbb E[X]$ , $\mathbb E_{x \sim p}[f(x)]$	기댓값, $p$ 에서 뽑은 $x$ 에 대한 $f$ 의 평균	PS 3장
$\mathrm{Var}$ , $\mathrm{Cov}$	분산, 공분산	PS 3·4장
$p(x \mid \theta)$ , $p_\theta(x)$	$\theta$ 가 주어졌을 때의 확률(밀도)	PS 5·7장
i.i.d.	독립이고 같은 분포	PS 6장
$\hat\theta$	추정값	PS 7장
$\propto$	비례한다(상수배 무시)	PS 10장
$H(p)$ , $H(p, q)$ , $D_{\mathrm{KL}}(p\Vert q)$	엔트로피, 교차 엔트로피, KL 발산	PS 11장
$\mathbb 1[\cdot]$ , $\mathbb 1_A$	지시함수(참이면 1, 거짓이면 0)	PS 6장
$\pm$	평균 ± 표준편차 또는 표준오차(본문 확인!)	PS 6·8장

1.6 최적화와 점근 표기

기호	뜻	배운 곳
$\min_x f(x)$	최솟값	OP 1장
$\arg\min_x f(x)$	최솟값을 주는 $x$	OP 1장, PS 7장
s.t.	~라는 조건 아래	OP 6장
$\eta$ , $\alpha$	학습률	OP 3장
$\mathcal O(g)$	충분히 큰 입력에서 상수배를 빼면 $g$ 이하	OP 3장, FA 12장
$\Omega(g)$ , $\Theta(g)$	상수배를 빼면 $g$ 이상(하한), 위아래 모두 $g$ 정도(정확한 크기)
$o(g)$	$g$ 보다 훨씬 작음( $o(g)/g \to 0$ )	CA 12장
$\tilde{\mathcal O}$	로그 인자를 무시한 $\mathcal O$
$f \approx g$ , $f \sim g$	대략 같다, 비가 1로 간다

1.7 머신러닝 고유 기호

기호	뜻	배운 곳
$\boldsymbol\theta$ , $\phi$	학습하는 매개변수	PS 7장
$\mathcal D$	데이터셋
$\mathcal L$ , $\ell$	손실 함수	OP 1장
$\sigma(\cdot)$	시그모이드	PS 9장
$\mathrm{softmax}(\mathbf z)_i$	$e^{z_i}/\sum_je^{z_j}$	MV 11장
$\mathrm{ReLU}(x)$	$\max(0, x)$	OP 1장
$d$ , $d_{\text{model}}$ , $d_k$	은닉 차원, 키 차원	2부
$B$ , $N$ , $L$ , $T$	배치 크기, 데이터 수, 층 수(또는 길이), 시간 단계
$\mathbf h_t$ , $\mathbf z$	은닉 상태, 잠재 변수	DE 5장, 2부
$\mathrm{sg}[\cdot]$ , stop-gradient	그래디언트를 흘리지 않음

1.8 물리 관례

기호	뜻	배운 곳
$\hbar$ , $k_B$ , $c$	디랙 상수, 볼츠만 상수, 빛의 속력
$\omega$ , $\omega_0$	각진동수, 고유 진동수	DE 3·4장
$\gamma$ , $\Gamma$	감쇠율, 선폭(공명의 폭)	DE 4장, 2부
$\langle A\rangle$	평균(앙상블 평균, 기댓값)	PS 3장
$\delta(x)$	디랙 델타	FA 9장
$\chi^2$	카이제곱(가중 제곱오차의 합)	PS 7장, 2부
$\mathrm{Re}$ , $\mathrm{Im}$ , $z^*$	실수부, 허수부, 켤레(수학의 $\bar z$ )	CV 1장

1.9 이 장의 요약

기호의 뜻은 분야마다 다를 수 있으니 논문의 Notation 절을 먼저 봅니다.
$\mathcal N(\mu, \sigma^2)$ 의 둘째 인자는 분산, $\pm$ 뒤가 표준편차인지 표준오차인지 본문에서 확인합니다.
$\arg\min$ 은 위치, $\min$ 은 값. $\propto$ 는 상수배 무시.

쓰이는 곳. 이 표는 2부의 해부 단원과 앞으로 읽을 모든 논문에서 씁니다. 처음 보는 기호를 만나면 이 표에서 찾고, 없으면 논문의 Notation 절이나 부록을 봅니다.

문제

1.1 [개념]

논문에 $\epsilon \sim \mathcal N(0, 4)$ 라고 쓰여 있으면 $\epsilon$ 의 표준편차는?

4
2
16
알 수 없음

정답

풀이

둘째 인자는 분산이므로 표준편차는 $\sqrt4 = 2$ 입니다.

1.2 [계산] · 확인 문제

$\arg\min_{x \in \mathbb R}(x - 3)^2 + 1$ 은?

정답

풀이

최솟값 $1$ 을 주는 위치 $x = 3$ 입니다. $\min$ 이라면 답은 1입니다.

1.3 [계산] · 확인 문제

$\mathbf a = (1, 2, 3)$ , $\mathbf b = (4, 0, -1)$ 일 때 값을 구합니다.

값	답
$\mathbf a^\top\mathbf b$	[?]
$\mathbf a \odot \mathbf b$ 의 첫째 성분	[?]
$\lVert\mathbf b\rVert_1$	[?]

정답

1
4
5

풀이

내적 $4 + 0 - 3 = 1$ . 원소별 곱 $(4, 0, -3)$ 의 첫째 성분 4. 절댓값 합 $4 + 0 + 1 = 5$ 입니다.

1.4 [계산] · 확인 문제

$\mathbb E_{x \sim p}[\mathbb 1[x > 0]]$ 에서 $p = \mathcal N(0, 1)$ 이면 값은?

정답

0.5

풀이

지시함수의 기댓값은 확률 $P(x > 0) = 0.5$ 입니다.

1.5 [개념]

실험 결과 표에 “정확도 $91.2 \pm 0.4$ (5 seeds)”라고 적혀 있습니다. 이 $\pm 0.4$ 를 해석하기 전에 무엇을 확인해야 하는지, 그리고 두 해석에 따라 95% 신뢰구간이 어떻게 달라지는지 설명합니다.

풀이

$0.4$ 가 다섯 번 실행의 표준편차 $s$ 인지 표준오차 $s/\sqrt5$ 인지 확인해야 합니다. 표준편차라면 표준오차는 $0.4/\sqrt5 \approx 0.18$ 이고, 표본이 작으므로 t 분포(자유도 4, 계수 약 2.78)로 신뢰구간은 약 $91.2 \pm 0.50$ 입니다. 표준오차라면 $91.2 \pm 2.78\cdot0.4 \approx 91.2 \pm 1.1$ 입니다(확률과 통계 8장).