확률과 통계 정의·정리

표본공간 $\Omega$의 사건 $A$마다 수 $P(A)$를 정하되

1. $P(A) \ge 0$
2. $P(\Omega) = 1$
3. 서로소인 사건 $A_1, A_2, \dots$에 대해 $P(A_1 \cup A_2 \cup \cdots) = P(A_1) + P(A_2) + \cdots$

표본공간의 각 결과에 실수를 대응시키는 함수 $X : \Omega \to \mathbb{R}$를 확률변수(random variable)라 합니다.

값이 셀 수 있는(유한하거나 자연수처럼 늘어놓을 수 있는) $X$에 대해 $p(x) = P(X = x)$를 확률질량함수(probability mass function, pmf)라 합니다. $p(x) \ge 0$이고 $\sum_xp(x) = 1$입니다.

$f(x) \ge 0$이고 $\int_{-\infty}^\infty f(x)\,dx = 1$이며

$F(x) = P(X \le x)$를 누적분포함수(cumulative distribution function, cdf)라 합니다.

$F$는 증가함수이고, $\lim_{x\to-\infty}F = 0$, $\lim_{x\to\infty}F = 1$이며, $P(a < X \le b) = F(b) - F(a)$입니다. $X$가 연속이면 $F(x) = \int_{-\infty}^xf(t)\,dt$이고 $F' = f$입니다.

$0 < q < 1$에 대해 $F(x_q) = q$인 $x_q$를 $q$-분위수(quantile)라 합니다. $q = 0.5$이면 중앙값(median)입니다.

성공(1) 확률이 $p$, 실패(0) 확률이 $1 - p$인 분포를 베르누이 분포(Bernoulli distribution) $\mathrm{Bern}(p)$라 합니다.

독립인 베르누이 시행 $n$번에서 성공 횟수의 분포를 이항분포(binomial distribution) $\mathrm{Bin}(n, p)$라 합니다.

첫 성공까지 시행한 횟수 $X$: $P(X = k) = (1 - p)^{k-1}p$ ($k = 1, 2, \dots$).

평균 $\lambda$번 일어나는 드문 사건이 실제로 일어난 횟수:

$n$이 크고 $p$가 작아 $np = \lambda$가 적당하면 $\mathrm{Bin}(n, p) \approx \mathrm{Pois}(\lambda)$입니다.

$[a, b]$에서 밀도가 $\frac1{b - a}$로 일정한 분포 $U(a, b)$.

밀도 $f(x) = \lambda e^{-\lambda x}$ ($x \ge 0$)인 분포 $\mathrm{Exp}(\lambda)$. $P(X > t) = e^{-\lambda t}$입니다.

지수분포에서 $P(X > s + t \mid X > s) = P(X > t)$.

밀도

$X \sim \mathcal{N}(\mu, \sigma^2)$이면 $Z = \dfrac{X - \mu}{\sigma} \sim \mathcal{N}(0, 1)$입니다. 따라서 $P(X \le x) = \Phi\!\left(\dfrac{x - \mu}{\sigma}\right)$.

$E[g(X)] = \sum_xg(x)p(x)$ 또는 $\int g(x)f(x)\,dx$.

$E[aX + bY + c] = aE[X] + bE[Y] + c$. $X$, $Y$가 독립이 아니어도 성립합니다.

$\mathrm{Var}(X) = E[(X - \mu)^2]$를 분산(variance), $\sigma = \sqrt{\mathrm{Var}(X)}$를 표준편차(standard deviation)라 합니다.

$\mathrm{Var}(X) = E[X^2] - (E[X])^2$, $\mathrm{Var}(aX + b) = a^2\mathrm{Var}(X)$. $X$, $Y$가 독립이면 $\mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y)$.

$E[X^k]$를 $k$차 적률(moment)이라 합니다. 평균은 1차 적률, 분산은 2차 중심적률입니다. 3차 표준화 적률 $E[(X - \mu)^3]/\sigma^3$은 왜도(skewness, 치우침), 4차는 첨도(kurtosis, 꼬리 두께)입니다.

$M_X(t) = E[e^{tX}]$.

$M_X^{(k)}(0) = E[X^k]$. 또 $X$, $Y$가 독립이면 $M_{X+Y}(t) = M_X(t)M_Y(t)$.

두 확률변수 $X$, $Y$의 결합분포(joint distribution)는 이산이면 $p(x, y) = P(X = x, Y = y)$, 연속이면 $P((X, Y) \in D) = \iint_Df(x, y)\,dA$인 결합밀도 $f(x, y)$로 줍니다.

다른 변수에 대해 더하거나 적분해 없앤 것: $p_X(x) = \sum_yp(x, y)$, $f_X(x) = \int f(x, y)\,dy$.

모든 $x, y$에서 $f(x, y) = f_X(x)f_Y(y)$이면 $X$와 $Y$는 독립(independent)입니다.

$\mathrm{Cov}(X, Y) = E[(X - \mu_X)(Y - \mu_Y)] = E[XY] - E[X]E[Y]$.

$\rho = \dfrac{\mathrm{Cov}(X, Y)}{\sigma_X\sigma_Y}$.

$-1 \le \rho \le 1$이고, $|\rho| = 1$일 필요충분조건은 $Y = aX + b$($a \ne 0$)인 것입니다.

독립이면 공분산이 0입니다. 거꾸로는 성립하지 않습니다.

예제 4.9. $X$가 $\{-1, 0, 1\}$에서 균등이고 $Y = X^2$이면 $E[XY] = E[X^3] = 0$, $E[X] = 0$이라 $\mathrm{Cov} = 0$입니다. 그러나 $Y$는 $X$로 완전히 정해지므로 독립이 아닙니다. 상관계수는 직선적인 관계만 잽니다.

$\mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\mathrm{Cov}(X, Y)$.

$\Sigma = E[(\mathbf{X} - \boldsymbol\mu)(\mathbf{X} - \boldsymbol\mu)^T]$, 곧 $\Sigma_{ij} = \mathrm{Cov}(X_i, X_j)$.

$\Sigma$는 대칭이고 양반정치입니다. $\mathbf{Y} = A\mathbf{X} + \mathbf{b}$이면 $E[\mathbf{Y}] = A\boldsymbol\mu + \mathbf{b}$, $\mathrm{Cov}(\mathbf{Y}) = A\Sigma A^T$입니다.

밀도

1. 선형변환 $A\mathbf{X} + \mathbf{b}$는 다시 정규분포 $\mathcal{N}(A\boldsymbol\mu + \mathbf{b}, A\Sigma A^T)$입니다.
2. 주변분포와 조건부분포(5장)도 정규분포입니다.
3. 정규분포에서는 공분산 0과 독립이 같습니다.

$P(X = x) > 0$이면 $p(y \mid x) = \dfrac{p(x, y)}{p_X(x)}$. 연속이면 $f(y \mid x) = \dfrac{f(x, y)}{f_X(x)}$ ($f_X(x) > 0$).

$E[Y \mid X = x] = \sum_yy\,p(y \mid x)$ 또는 $\int y\,f(y \mid x)\,dy$. 이것을 $x$의 함수 $g(x)$로 보고 $X$를 넣은 확률변수 $g(X)$를 $E[Y \mid X]$로 씁니다.

$E\big[E[Y \mid X]\big] = E[Y]$.

$\mathrm{Var}(Y) = E[\mathrm{Var}(Y \mid X)] + \mathrm{Var}(E[Y \mid X])$.

평균제곱오차 $E[(Y - g(X))^2]$를 가장 작게 하는 함수는 $g(X) = E[Y \mid X]$입니다.

$X \ge 0$이고 $a > 0$이면 $P(X \ge a) \le \dfrac{E[X]}{a}$.

$P(|X - \mu| \ge k\sigma) \le \dfrac{1}{k^2}$.

모든 $\varepsilon > 0$에 대해 $\displaystyle\lim_{n\to\infty}P(|\bar X_n - \mu| \ge \varepsilon) = 0$.

i.i.d. $X_i$의 평균이 $\mu$, 분산이 $\sigma^2 < \infty$이면

데이터 $X_1, \dots, X_n$의 함수로 모수 $\theta$를 어림하는 $\hat\theta = T(X_1, \dots, X_n)$를 추정량(estimator)이라 합니다.

$E[\hat\theta] = \theta$이면 불편(unbiased)이고, $\mathrm{bias} = E[\hat\theta] - \theta$를 편향이라 합니다.

평균제곱오차(mean squared error) $\mathrm{MSE}(\hat\theta) = E[(\hat\theta - \theta)^2] = \mathrm{bias}^2 + \mathrm{Var}(\hat\theta)$.

관측한 데이터 $x_1, \dots, x_n$을 고정하고, 모수 $\theta$의 함수로 본

$\hat\theta_{\mathrm{MLE}} = \arg\max_\theta\ell(\theta)$를 최대우도 추정량(maximum likelihood estimator, MLE)이라 합니다.

적당한 조건에서 $n \to \infty$이면 MLE는 참값으로 수렴하고(일치성), 대략 정규분포를 따르며, 그 분산은 가능한 추정량 가운데 가장 작은 수준(크라메르–라오 하한)에 이릅니다.

모델 $y_i = g(x_i; \theta) + \varepsilon_i$, $\varepsilon_i \sim \mathcal{N}(0, \sigma^2)$ i.i.d.이면, 음의 로그 가능도는 $\frac{1}{2\sigma^2}\sum(y_i - g(x_i; \theta))^2 + (\text{상수})$입니다. 그러므로 MLE는 제곱오차를 최소로 하는 $\theta$입니다.

분류 모델이 $p_\theta(y \mid x)$를 내고 데이터가 $(x_i, y_i)$이면 음의 로그 가능도는 $-\sum_i\ln p_\theta(y_i \mid x_i)$이고, 이것이 교차 엔트로피 손실(다변수 미적분 11장)입니다.

데이터로 계산한 구간 $[L, U]$가 $P(L \le \theta \le U) = 1 - \alpha$를 만족하면, 이를 $\theta$의 $100(1 - \alpha)\%$ 신뢰구간(confidence interval)이라 합니다.

$\sigma$를 알면, 중심극한정리(6장)로 $\mu$의 95% 신뢰구간은

정규분포에서 뽑은 데이터이면 $T = \dfrac{\bar X - \mu}{s/\sqrt n}$는 자유도 $n - 1$인 t 분포(Student's t-distribution)를 따릅니다.

$p = P(|Z| \ge |z_{\text{관측}}| \mid H_0)$ (양측검정).

p값은 “$H_0$이 참일 확률”이 아닙니다. “$H_0$이 참이라면 이런 데이터가 얼마나 드문가”입니다.

$\bar x, \bar y$를 평균이라 할 때

$R^2 = 1 - \dfrac{\sum e_i^2}{\sum(y_i - \bar y)^2}$. 모델이 $y$의 흔들림 중 몇 %를 설명하는지 나타냅니다. 단순선형회귀에서는 $R^2 = r^2$입니다.

$\|\mathbf{y} - X\boldsymbol\beta\|^2$를 최소로 하는 $\boldsymbol\beta$는

$\sigma(z) = \dfrac{1}{1 + e^{-z}}$을 시그모이드(sigmoid) 함수라 하고, 로지스틱 회귀(logistic regression)는 $P(y = 1 \mid \mathbf x) = \sigma(\mathbf w^\top\mathbf x + b)$로 모델링합니다.

$0 < p < 1$에서 밀도가 $f(p) \propto p^{\alpha - 1}(1 - p)^{\beta - 1}$인 분포를 $\mathrm{Beta}(\alpha, \beta)$라 합니다. 평균은 $\frac{\alpha}{\alpha + \beta}$입니다.

사전분포가 $\mathrm{Beta}(\alpha, \beta)$이고 $n$번 중 $k$번 앞면을 보면, 사후분포는 $\mathrm{Beta}(\alpha + k, \beta + n - k)$입니다.

사후분포를 최대로 하는 $\hat\theta_{\mathrm{MAP}} = \arg\max_\theta[\ln p(D \mid \theta) + \ln p(\theta)]$를 최대 사후 추정(maximum a posteriori, MAP)이라 합니다.

가중치에 사전분포 $w_j \sim \mathcal N(0, \tau^2)$를 주면 $-\ln p(w) = \frac{1}{2\tau^2}\|w\|^2 + \text{상수}$이므로, MAP는 “음의 로그 가능도 + $\lambda\|w\|^2$”을 최소로 하는 것, 곧 L2 정규화(릿지, 가중치 감쇠)입니다. 라플라스 사전분포 $p(w) \propto e^{-|w|/b}$는 L1 정규화(라쏘)를 줍니다.

$P(L \le \theta \le U \mid D) = 0.95$인 구간을 95% 신용구간(credible interval)이라 합니다. 이것은 말 그대로 “데이터를 보고 나니 $\theta$가 이 안에 있을 확률이 95%”입니다.

확률 $p$인 사건의 정보량(information content)은 $I = -\log_2 p$ 비트입니다.

이산 확률변수 $X$의 엔트로피(entropy)는 정보량의 기댓값입니다.

$0 \le H(X) \le \log_2n$($n$은 결과의 수). 최솟값은 결과가 확정될 때, 최댓값은 균등분포일 때입니다.

참 분포 $p$의 데이터를 모델 분포 $q$로 부호화할 때의 평균 비트 수

$D_{\mathrm{KL}}(p\,\|\,q) \ge 0$이고, 등호는 $p = q$일 때만입니다.

$X_1, \dots, X_n$이 분포 $p$에서 뽑은 i.i.d. 표본이면

상태 $X_0, X_1, \dots$이 $P(X_{t+1} \mid X_t, \dots, X_0) = P(X_{t+1} \mid X_t)$를 만족하면 마르코프 체인(Markov chain)이라 합니다. 다음 상태는 현재만 보고 정해지고, 과거는 잊습니다.

$\boldsymbol\pi P = \boldsymbol\pi$를 만족하는 확률분포 $\boldsymbol\pi$를 정상분포(stationary distribution)라 합니다. $P^\top$의 고윳값 1에 대한 고유벡터입니다.

유한 상태 체인이 어느 상태에서든 다른 모든 상태로 갈 수 있고(기약), 주기적으로 맴돌지 않으면(비주기), 정상분포가 하나뿐이고 어디서 시작하든 $\boldsymbol\pi_0P^t \to \boldsymbol\pi$입니다.

$\pi(x)T(x \to x') = \pi(x')T(x' \to x)$를 만족하면 $\pi$는 정상분포입니다. 메트로폴리스의 수락 규칙은 이 조건을 맞추도록 만든 것입니다.