5장. 조건부 분포와 조건부 기댓값

일부를 알게 되면 나머지에 대한 예측이 바뀝니다. 키를 알면 몸무게의 분포가 좁아지고, 검사 결과를 알면 병에 걸렸을 확률이 바뀝니다. 이 장에서는 “알게 된 정보로 조건을 붙인” 분포와 기댓값을 다룹니다. 조건부 기댓값 $E[Y \mid X]$는 “$X$를 보고 $Y$를 가장 잘 예측하는 함수”이고, 이것이 머신러닝의 회귀가 학습하려는 대상입니다.

5.1 조건부 분포

정의 5.1 (조건부 분포). $P(X = x) > 0$이면 $p(y \mid x) = \dfrac{p(x, y)}{p_X(x)}$. 연속이면 $f(y \mid x) = \dfrac{f(x, y)}{f_X(x)}$ ($f_X(x) > 0$).

결합분포 표에서 $X = x$인 줄만 잘라 그 합이 1이 되게 나눈 것입니다. 연속에서 $f(y \mid x)$는 결합밀도를 직선 $X = x$로 자른 단면을 정규화한 것입니다.

예제 5.2. 4장 문제 4.1의 표에서 $P(Y = 1 \mid X = 1) = \frac{0.4}{0.5} = 0.8$이고 $P(Y = 1 \mid X = 0) = \frac{0.2}{0.5} = 0.4$입니다. $X$를 알면 $Y$의 예측이 달라지므로 독립이 아닙니다.

5.2 연속 베이즈 정리

정리 5.3 (베이즈 정리).

이산수학 13강의 베이즈 정리에서 합을 적분으로 바꾼 것입니다. 분모는 $\theta$와 상관없는 정규화 상수이므로 흔히 $f(\theta \mid x) \propto f(x \mid \theta)f(\theta)$로 씁니다. 10장 베이즈 추론의 기본 식입니다.

5.3 조건부 기댓값

정의 5.4. $E[Y \mid X = x] = \sum_yy\,p(y \mid x)$ 또는 $\int y\,f(y \mid x)\,dy$. 이것을 $x$의 함수 $g(x)$로 보고 $X$를 넣은 확률변수 $g(X)$를 $E[Y \mid X]$로 씁니다.

정리 5.5 (반복 기댓값의 법칙). $E\big[E[Y \mid X]\big] = E[Y]$.

증명 (연속). $\int\left(\int yf(y \mid x)\,dy\right)f_X(x)\,dx = \iint yf(x, y)\,dy\,dx = E[Y]$. □

“경우를 나눠 평균을 내고, 그 평균들을 경우의 확률로 다시 평균 내면 전체 평균”입니다.

예제 5.6. 하루 손님 수 $N \sim \mathrm{Pois}(20)$이고 손님마다 평균 15000원을 쓰면, 하루 매출의 기댓값은 $E[E[\text{매출} \mid N]] = E[15000N] = 300000$원입니다.

정리 5.7 (전분산 공식). $\mathrm{Var}(Y) = E[\mathrm{Var}(Y \mid X)] + \mathrm{Var}(E[Y \mid X])$.

전체 퍼짐 = 그룹 안의 퍼짐의 평균 + 그룹 평균들 사이의 퍼짐. 분산분석(ANOVA)과 $R^2$(“설명된 분산”)가 이 식입니다.

5.4 최선의 예측

정리 5.8. 평균제곱오차 $E[(Y - g(X))^2]$를 가장 작게 하는 함수는 $g(X) = E[Y \mid X]$입니다.

증명 개요. $E[(Y - g)^2] = E[(Y - E[Y\mid X])^2] + E[(E[Y \mid X] - g)^2]$로 나뉩니다(교차항의 기댓값이 0). 둘째 항은 $g = E[Y \mid X]$일 때 0입니다. □

제곱오차로 학습한 회귀 모델은 조건부 평균을, 절댓값 오차로 학습한 모델은 조건부 중앙값을 근사하려 합니다. 손실 함수의 선택이 “무엇을 예측하는가”를 정한다는 뜻입니다.

예제 5.9 (정규분포). $(X, Y)$가 이변량 정규분포이면 $E[Y \mid X = x] = \mu_Y + \rho\frac{\sigma_Y}{\sigma_X}(x - \mu_X)$로 $x$의 일차식이고, $\mathrm{Var}(Y \mid X) = \sigma_Y^2(1 - \rho^2)$로 $x$와 상관없습니다. 정규분포에서는 최선의 예측이 바로 선형회귀입니다. 또 $|\rho| < 1$이면 기울기의 절댓값이 $\frac{\sigma_Y}{\sigma_X}$보다 작아, 극단적인 $x$에서 예측이 평균 쪽으로 끌려옵니다(평균으로의 회귀).

5.5 이 장의 요약

• 조건부 분포 = 결합분포의 단면을 정규화. 베이즈: 사후 ∝ 가능도 × 사전.
• $E[E[Y \mid X]] = E[Y]$, 전분산 공식.
• 제곱오차를 최소로 하는 예측은 $E[Y \mid X]$.

쓰이는 곳. 회귀 모델은 $E[Y \mid X]$를, 분류 모델은 $P(Y \mid X)$를 근사합니다. 강화학습의 가치 함수 $V(s) = E[\text{보상의 합} \mid s]$와 벨만 방정식은 반복 기댓값의 법칙이고, EM 알고리즘과 칼만 필터는 조건부 기댓값을 되풀이해 계산합니다.

문제

4/7

21/4

75.8

51.84