3장. 기댓값, 분산, 적률

분포 전체를 수 몇 개로 요약하고 싶을 때, 가장 먼저 쓰는 것이 “평균적으로 얼마인가”(기댓값)와 “얼마나 흩어져 있는가”(분산)입니다. 이산수학 13강에서 이산 확률변수의 기댓값을 다뤘고, 이 장에서는 연속 확률변수까지 같은 이론으로 묶고 주요 분포의 평균과 분산을 표로 정리합니다. 손실 함수를 “기대 손실”로 쓰는 머신러닝 이론과, 측정의 평균과 오차를 다루는 실험 물리의 기본 도구입니다.

3.1 기댓값

정의 3.1 (기댓값).

E[X] = \begin{cases} \sum_xx\,p(x) & \text{(이산)} \\ \int_{-\infty}^\infty x\,f(x)\,dx & \text{(연속)} \end{cases}

을 $X$ 의 기댓값(expected value)이라 합니다. 평균 $\mu$ 로도 씁니다.

확률을 무게로 본 무게중심입니다. 기댓값은 실제로 나오지 않는 값일 수도 있습니다(주사위의 기댓값 3.5).

정리 3.2 (함수의 기댓값). $E[g(X)] = \sum_xg(x)p(x)$ 또는 $\int g(x)f(x)\,dx$ .

$g(X)$ 의 분포를 따로 구하지 않아도 됩니다.

정리 3.3 (선형성). $E[aX + bY + c] = aE[X] + bE[Y] + c$ . $X$ , $Y$ 가 독립이 아니어도 성립합니다.

3.2 분산

정의 3.4 (분산). $\mathrm{Var}(X) = E[(X - \mu)^2]$ 를 분산(variance), $\sigma = \sqrt{\mathrm{Var}(X)}$ 를 표준편차(standard deviation)라 합니다.

정리 3.5. $\mathrm{Var}(X) = E[X^2] - (E[X])^2$ , $\mathrm{Var}(aX + b) = a^2\mathrm{Var}(X)$ . $X$ , $Y$ 가 독립이면 $\mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y)$ .

증명 (첫째 식). $E[(X - \mu)^2] = E[X^2] - 2\mu E[X] + \mu^2 = E[X^2] - \mu^2$ . □

단위가 원래 값의 제곱이라 해석할 때는 표준편차를 씁니다. 평행이동( $+b$ )은 퍼짐을 바꾸지 않고, 배율( $a$ )은 제곱으로 들어갑니다.

3.3 주요 분포의 평균과 분산

분포	평균	분산
$\mathrm{Bern}(p)$	$p$	$p(1 - p)$
$\mathrm{Bin}(n, p)$	$np$	$np(1 - p)$
기하 $(p)$	$1/p$	$(1 - p)/p^2$
$\mathrm{Pois}(\lambda)$	$\lambda$	$\lambda$
$U(a, b)$	$(a + b)/2$	$(b - a)^2/12$
$\mathrm{Exp}(\lambda)$	$1/\lambda$	$1/\lambda^2$
$\mathcal{N}(\mu, \sigma^2)$	$\mu$	$\sigma^2$

예제 3.6 (지수분포). $E[X] = \int_0^\infty x\lambda e^{-\lambda x}dx = \frac1\lambda$ (부분적분, 미적분학 9장). $E[X^2] = \frac{2}{\lambda^2}$ 이므로 $\mathrm{Var}(X) = \frac2{\lambda^2} - \frac1{\lambda^2} = \frac1{\lambda^2}$ 입니다.

예제 3.7 (이항분포). $X = X_1 + \cdots + X_n$ ( $X_i \sim \mathrm{Bern}(p)$ 독립)이므로 선형성으로 $E[X] = np$ , 독립성으로 $\mathrm{Var}(X) = np(1 - p)$ 입니다. 합으로 쪼개면 계산이 거의 없습니다.

3.4 적률과 적률생성함수

정의 3.8. $E[X^k]$ 를 $k$ 차 적률(moment)이라 합니다. 평균은 1차 적률, 분산은 2차 중심적률입니다. 3차 표준화 적률 $E[(X - \mu)^3]/\sigma^3$ 은 왜도(skewness, 치우침), 4차는 첨도(kurtosis, 꼬리 두께)입니다.

정의 3.9 (적률생성함수). $M_X(t) = E[e^{tX}]$ .

정리 3.10. $M_X^{(k)}(0) = E[X^k]$ . 또 $X$ , $Y$ 가 독립이면 $M_{X+Y}(t) = M_X(t)M_Y(t)$ .

이유. $e^{tX} = 1 + tX + \frac{t^2X^2}{2!} + \cdots$ (테일러 급수)의 기댓값을 취하면 $t^k/k!$ 의 계수가 $E[X^k]$ 입니다. 독립이면 $E[e^{tX}e^{tY}] = E[e^{tX}]E[e^{tY}]$ 입니다. □

예제 3.11. $X \sim \mathcal{N}(\mu, \sigma^2)$ 이면 $M_X(t) = e^{\mu t + \sigma^2t^2/2}$ 입니다. 독립인 정규분포의 합은 $M$ 이 곱해져 지수가 더해지므로 다시 정규분포이고, 평균과 분산이 더해집니다.

적률생성함수는 분포를 정하는 “지문” 역할을 하고, 6장 중심극한정리의 증명에 쓰입니다. 푸리에 해석의 특성함수 $E[e^{itX}]$ (푸리에 14장)는 같은 생각을 허수로 한 것입니다.

3.5 이 장의 요약

$E[X]$ = 확률로 가중한 평균. 선형성은 독립과 무관합니다.
$\mathrm{Var}(X) = E[X^2] - \mu^2$ . 독립이면 분산이 더해집니다.
적률생성함수의 도함수가 적률, 독립합에서는 곱.

쓰이는 곳. 머신러닝의 목표인 기대 위험 $\mathbb{E}_{(x,y)}[\ell(f(x), y)]$ , 편향–분산 분해, 배치 정규화(평균 0·분산 1로 맞춤), 드롭아웃의 기댓값 보정이 이 장의 계산입니다. 실험 물리의 측정값 ± 표준편차, 통계역학의 평균 에너지와 요동도 같습니다.

문제

3.1 [계산] · 확인 문제

주사위 한 개의 눈 $X$ 에 대해 값을 씁니다.

값	답
$E[X]$	[?]
$E[X^2]$	[?]
$\mathrm{Var}(X)$	[?]
$\mathrm{Var}(2X + 3)$	[?]

정답

7/2
91/6
35/12
35/3

풀이

$E[X] = 21/6 = 7/2$ , $E[X^2] = 91/6$ , $\mathrm{Var} = 91/6 - 49/4 = 35/12$ , $\mathrm{Var}(2X + 3) = 4\cdot\frac{35}{12} = \frac{35}3$ .

3.2 [계산] · 확인 문제

밀도 $f(x) = 2x$ ( $0 \le x \le 1$ )인 $X$ 의 분산은?

정답

1/18

풀이

$E[X] = \int_0^12x^2dx = \frac23$ , $E[X^2] = \int_0^12x^3dx = \frac12$ 이므로 $\mathrm{Var} = \frac12 - \frac49 = \frac1{18}$ 입니다.

3.3 [계산] · 확인 문제

독립인 $X \sim \mathcal{N}(1, 4)$ , $Y \sim \mathcal{N}(2, 9)$ 일 때 $X + 2Y$ 의 분산은?

정답

풀이

$\mathrm{Var}(X) + 4\mathrm{Var}(Y) = 4 + 36 = 40$ 입니다.

3.4 [계산]

$X \sim \mathrm{Pois}(\lambda)$ 의 적률생성함수 $M(t) = e^{\lambda(e^t - 1)}$ 에서 $E[X^2]$ 을 $\lambda = 3$ 일 때 구합니다.

정답

풀이

$M'(t) = \lambda e^tM$ , $M''(t) = \lambda e^tM + (\lambda e^t)^2M$ 이므로 $E[X^2] = M''(0) = \lambda + \lambda^2 = 12$ 입니다. 분산은 $12 - 9 = 3 = \lambda$ 로 표와 맞습니다.

3.5 [증명]

$U(a, b)$ 의 분산이 $(b - a)^2/12$ 임을 보입니다.

풀이

$E[X] = \frac{a + b}{2}$ . $E[X^2] = \frac{1}{b - a}\int_a^bx^2dx = \frac{b^3 - a^3}{3(b - a)} = \frac{a^2 + ab + b^2}{3}$ . 분산은 $\frac{a^2 + ab + b^2}{3} - \frac{(a + b)^2}{4} = \frac{4a^2 + 4ab + 4b^2 - 3a^2 - 6ab - 3b^2}{12} = \frac{(b - a)^2}{12}$ 입니다.