代表的な分布の期待値と分散の証明
Section: Mathematics

まずはじめに期待値と分散についておさらいします。

期待値と分散

確率空間(Ω,F,P)( \Omega ,\mathcal{F} ,P)上で定義された確率変数をXXとし、次のように定義する。

この記事の定義では、厳密に極限などの範囲を扱っていないので注意してください。

離散型の定義

高々加算個の確率変数XX(離散型確率変数)をとるとき、

XXの期待値と分散は

E[X]=∑i=1∞xiP(X=xi)Var[X]=∑i=1∞(xi−E[X])2P(X=xi)\begin{aligned} E[X] &= \sum\limits_{i=1}^{\infty} x_i P(X = x_i) \\ Var[X] &= \sum\limits_{i=1}^{\infty} (x_i - E[X])^2 P(X = x_i) \end{aligned}

連続型の定義

確率密度関数がf(x)f(x)をとるとき、

E[X]=∫−∞∞xf(x)dxVar[X]=∫−∞∞(x−E[X])2f(x)dx\begin{aligned} E[X] &= \int_{-\infty}^{\infty} xf(x)dx \\ Var[X] &= \int_{-\infty}^{\infty} (x - E[X])^2 f(x)dx \end{aligned}

分散の定義

分散は期待値の定義を用いて、以下のように表すこともできる。

Var[X]=E[(X−E[X])2]=E[X2]−(E[X])2Var[X]=E\big[(X-E[X])^2 \big] = E[X^2]-(E[X])^2

代表的な分布

期待値と分散が与えられたので、代表的な分布の期待値と分散の証明を行う。

それぞれポイントとなる部分があるので、その部分をしっかりと理解しておこう。

今回は確率母関数や特性関数を使用せず、定義から素直に導出する。

ベルヌーイ分布

x1=0x_1=0で確率pp、x2=1x_2=1で確率q=1−pq=1-pをとる離散確率分布である。

母数は、

0≤p≤10 \le p \le 1

確率関数は、

P(X=k)=pk(1−p)1−kk=0,1P(X=k)=p^k (1-p)^{1-k} \qquad k = 0,1

ベルヌーイ分布の期待値

E[X]=0P(X=0)+1P(X=1)=0q+1p=pE[X] = 0 P(X=0) + 1 P(X=1) = 0 q + 1 p = \textcolor{red}{p}

ベルヌーイ分布の分散

Var[X]=(0−E[X])2P(X=0)+(1−E[X])2P(X=1)=(0−p)2q+(1−p)2p=p2q+pq2=pq(p+q)\begin{aligned} Var[X]&=(0 - E[X])^2 P(X=0) + (1 - E[X])^2 P(X=1) \\ &=(0-p)^2q + (1-p)^2p = p^2q+pq^2 = pq(p+q) \end{aligned}

P(Ω)=p+q=1P(\Omega)=p+q=1であるため、

Var[X]=pq Var[X]=\textcolor{red}{pq}

二項分布

母数は、

n∈{0,1,2,⋯ }0≤p≤1n \in \{0,1,2,\cdots \} \\ 0 \le p \le 1

確率関数は、

P(X=k)=(nk)pk(1−p)n−kk=0,1,2,⋯ ,nP(X=k)={n\choose k}p^k(1-p)^{n-k} \qquad k=0,1,2,\cdots ,n

二項分布の期待値

E[X]=∑k=0nkP(X=k)=∑k=0nk(nk)pk(1−p)n−k\begin{aligned} E[X] &= \sum\limits_{k=0}^{n} k P(X = k) \\ &= \sum\limits_{k=0}^{n} k {n\choose k}p^k(1-p)^{n-k} \end{aligned}

k=0k=0の項は00、n−k=(n−1)−(k−1)n-k=(n-1)-(k-1)、(nk)=n!(n−k)!k!{n\choose k}=\frac{n!}{(n-k)!k!}より、

=∑k=1nkn!(n−k)!k!pk(1−p)n−k=∑k=1nkn(n−1)!((n−1)−(k−1))!k(k−1)!pk(1−p)n−k=n∑k=1n(n−1k−1)pk(1−p)n−k\begin{aligned} &= \sum\limits_{k=1}^{n} k \frac{n!}{(n-k)!k!}p^k(1-p)^{n-k} \\ &= \sum\limits_{k=1}^{n} k \frac{n(n-1)!}{((n-1)-(k-1))!k(k-1)!}p^k(1-p)^{n-k} \\ &= n \sum\limits_{k=1}^{n} {n-1\choose k-1}p^k(1-p)^{n-k} \\ \end{aligned}

i=k−1i=k-1とすると、

=np∑i=0n−1(n−1i)pi(1−p)n−1−i\begin{aligned} &= np \sum\limits_{i=0}^{n-1} {n-1\choose i}p^i(1-p)^{n-1-i} \\ \end{aligned}

二項定理(a+b)n=∑k=0n(nk)an−kbk(a+b)^n=\sum\limits_{k=0}^{n} {n\choose k}a^{n-k}b^kより、

=np(p+(1−p))n−1=np\begin{aligned} &= np (p + (1-p))^{n-1} = \textcolor{red}{np} \\ \end{aligned}

二項分布の分散

Var[X]=E[X2]−(E[X])2Var[X] = E[X^2]-(E[X])^2を用いて証明を行う。

k2=k(k−1)+kk^2=k(k-1)+k、k=0,1k=0,1の項は00より、

E[X2]=∑k=0nk2P(X=k)=∑k=2nk(k−1)(nk)pk(1−p)n−k+E[X]=∑k=2nk(k−1)n(n−1)(n−2)!((n−2)−(k−2))!k(k−1)(k−2)!pk(1−p)n−k+E[X]=n(n−1)∑k=2n(n−2k−2)pk(1−p)n−k+E[X]\begin{aligned} E[X^2] &= \sum\limits_{k=0}^{n} k^2 P(X = k) \\ &= \sum\limits_{k=2}^{n} k(k-1) {n\choose k}p^k(1-p)^{n-k} + E[X] \\ &= \sum\limits_{k=2}^{n} k(k-1) \frac{n(n-1)(n-2)!}{((n-2)-(k-2))!k(k-1)(k-2)!} p^k(1-p)^{n-k} + E[X] \\ &= n(n-1) \sum\limits_{k=2}^{n} {n-2\choose k-2}p^k(1-p)^{n-k} + E[X] \\ \end{aligned}

i=k−2i=k-2とすると、

=n(n−1)p2∑i=0n−2(n−2i)pi(1−p)n−2−i+E[X]=n(n−1)p2(p+(1−p))n−2+np=n(n−1)p2+np\begin{aligned} &= n(n-1) p^2 \sum\limits_{i=0}^{n-2} {n-2\choose i}p^i(1-p)^{n-2-i} + E[X] \\ &= n(n-1) p^2 (p+(1-p))^{n-2} + np \\ &= n(n-1) p^2 + np \end{aligned}

よって

Var[X]=E[X2]−(E[X])2=n(n−1)p2+np−(np)2=−np2+np=np(−p+1)=npq\begin{aligned} Var[X] &= E[X^2]-(E[X])^2 \\ &=n(n-1) p^2 + np - (np)^2 \\ &= -np^2 +np = np(-p+1) = \textcolor{red}{npq} \end{aligned}

ポアソン分布

母数は、

0<λ0 < \lambda

確率関数は、

P(X=k)=λke−λk!k=0,1,2,⋯P(X=k)=\frac{\lambda^k e^{-\lambda}}{k!} \qquad k=0,1,2,\cdots

ポアソン分布の期待値

E[X]=∑k=0∞kP(X=k)=∑k=1∞kλke−λk!=λe−λ∑k=1∞λk−1(k−1)!\begin{aligned} E[X] &= \sum\limits_{k=0}^{\infty} k P(X = k) \\ &= \sum\limits_{k=1}^{\infty} k \frac{\lambda^k e^{-\lambda}}{k!} \\ &= \lambda e^{-\lambda} \sum\limits_{k=1}^{\infty} \frac{\lambda^{k-1}}{(k-1)!} \\ \end{aligned}

exe^xのマクローリン展開∑i=0∞xii!=1+x+x22!+⋯\sum\limits_{i=0}^{\infty} \frac{x^i}{i!} = 1+x+\frac{x^2}{2!} + \cdots、i=k−1i=k-1より、

=λe−λ∑i=0∞λii!=λeλ−λ=λ\begin{aligned} &= \lambda e^{-\lambda} \sum\limits_{i=0}^{\infty} \frac{\lambda^{i}}{i!} \\ &= \lambda e^{\lambda-\lambda} \\ &= \textcolor{red}{\lambda} \end{aligned}

ポアソン分布の分散

Var[X]=E[X2]−(E[X])2Var[X] = E[X^2]-(E[X])^2を用いて証明を行う。

k2=k(k−1)+kk^2=k(k-1)+k、k=0,1k=0,1の項は00より、

E[X2]=∑k=0∞k2P(X=k)=∑k=2∞k(k−1)λke−λk!+E[X]=λ2e−λ∑k=2∞λk−2(k−2)!+E[X]=λ2eλ−λ+E[X]=λ2+λ\begin{aligned} E[X^2] &= \sum\limits_{k=0}^{\infty} k^2 P(X = k) \\ &= \sum\limits_{k=2}^{\infty} k(k-1) \frac{\lambda^k e^{-\lambda}}{k!} + E[X] \\ &= \lambda^2 e^{-\lambda} \sum\limits_{k=2}^{\infty} \frac{\lambda^{k-2}}{(k-2)!} + E[X] \\ &= \lambda^2 e^{\lambda-\lambda} + E[X] = \lambda^2 + \lambda \\ \end{aligned}

よって

Var[X]=E[X2]−(E[X])2=λ2+λ−(λ)2=λ\begin{aligned} Var[X] &= E[X^2]-(E[X])^2 \\ &=\lambda^2 + \lambda - (\lambda)^2 \\ &= \textcolor{red}{\lambda} \end{aligned}

連続一様分布

母数は、

−∞<a<b<∞-\infty < a < b < \infty

確率密度関数は、

f(x)=1b−aa≤x≤bf(x)= \frac{1}{b-a} \qquad a \le x \le b

連続一様分布の期待値

E[X]=∫−∞∞xf(x)dx=∫abx1b−adx=[121b−ax2]ab=b2−a22(b−a)=a+b2\begin{aligned} E[X] &= \int_{-\infty}^{\infty} xf(x)dx \\ &= \int_{a}^{b} x \frac{1}{b-a} dx \\ &= \left[\frac{1}{2} \frac{1}{b-a} x^2\right]_a^b \\ &= \frac{b^2-a^2}{2(b-a)}\\ &= \textcolor{red}{\frac{a+b}{2}} \end{aligned}

連続一様分布の分散

Var[X]=E[X2]−(E[X])2Var[X] = E[X^2]-(E[X])^2を用いて証明を行う。

連続一様分布ではf(x)f(x)は定数であるため、

E[X2]=∫abx2f(x)dx=f(x)[13x3]ab=b3−a33(b−a)\begin{aligned} E[X^2] &= \int_{a}^{b} x^2f(x)dx \\ &= f(x) \left[\frac{1}{3} x^3\right]_a^b \\ &= \frac{b^3-a^3}{3(b-a)} \end{aligned}

a3+b3=(a+b)(a2−ab+b2)a^3+b^3=(a+b)(a^2-ab+b^2)より、

=b2+ab+a23\begin{aligned} &= \frac{b^2+ab+a^2}{3} \end{aligned}

よって

Var[X]=E[X2]−(E[X])2=b2+ab+a23−(a+b2)2=4(b2+ab+a2)−3(a2+2ab+b2)12=b2−2ab+a212=(b−a)212\begin{aligned} Var[X] &= E[X^2]-(E[X])^2 \\ &=\frac{b^2+ab+a^2}{3}-(\frac{a+b}{2})^2 \\ &= \frac{4(b^2+ab+a^2) - 3(a^2+2ab+b^2)}{12} \\ &= \frac{b^2-2ab+a^2}{12} \\ &= \textcolor{red}{\frac{(b-a)^2}{12}} \end{aligned}

指数分布

母数は、

0<λ0 < \lambda

確率密度関数は、

f(x)=λe−λx0≤xf(x) = \lambda e^{-\lambda x} \qquad 0 \le x

指数分布の期待値

E[X]=∫−∞∞xf(x)dx=∫0∞xλe−λxdx=[xλ(−1λ)e−λx]0∞−∫0∞−e−λxdx\begin{aligned} E[X] &= \int_{-\infty}^{\infty} xf(x)dx \\ &= \int_{0}^{\infty} x \lambda e^{-\lambda x} dx \\ &= \left[x \lambda (-\frac{1}{\lambda})e^{-\lambda x}\right]_0^\infty - \int_{0}^{\infty} - e^{-\lambda x} dx \\ \end{aligned}

lim⁡x→∞xe−x=0\lim\limits_{x\to\infty}xe^{-x}=0より、(はさみうちの原理を用いて導出できる)

=0−[1λe−λx]0∞=1λ\begin{aligned} &= 0 - \left[ \frac{1}{\lambda}e^{-\lambda x}\right]_0^\infty \\ &= \textcolor{red}{\frac{1}{\lambda}} \end{aligned}

指数分布の分散

Var[X]=E[X2]−(E[X])2Var[X] = E[X^2]-(E[X])^2を用いて証明を行う。

E[X2]=∫−∞∞x2f(x)dx=∫0∞x2λe−λxdx=[x2λ(−1λ)e−λx]0∞−(−2λ)∫0∞λxe−λxdx=[x2λ(−1λ)e−λx]0∞−(−2λ)E[X]=2λ2\begin{aligned} E[X^2] &= \int_{-\infty}^{\infty} x^2f(x)dx \\ &= \int_{0}^{\infty} x^2 \lambda e^{-\lambda x} dx \\ &= \left[x^2 \lambda (-\frac{1}{\lambda})e^{-\lambda x}\right]_0^\infty - (-\frac{2}{\lambda}) \int_{0}^{\infty} \lambda x e^{-\lambda x} dx \\ &= \left[x^2 \lambda (-\frac{1}{\lambda})e^{-\lambda x}\right]_0^\infty - (-\frac{2}{\lambda}) E[X] \\ &= \frac{2}{\lambda^2} \end{aligned}

よって

Var[X]=E[X2]−(E[X])2=2λ2−(1λ)2=1λ2\begin{aligned} Var[X] &= E[X^2]-(E[X])^2 \\ &= \frac{2}{\lambda^2} - (\frac{1}{\lambda})^2 \\ &= \textcolor{red}{\frac{1}{\lambda^2}} \end{aligned}