多次元正規分布の条件付き確率計算が3次元なのにえぐい

概要

問題：
3次元正規分布f(x,y,z)に対して、条件付き確率f(z | x, y)を求めよ。

問題

3次元正規分布の計算問題。

2012年度統計検定1級の過去問の解答。

以下のように計算しやすい簡単な分布を考える。

平均は(0,0,0)。分散・共分散行列は以下の通りとする。

$\Sigma = \left(\begin{array}{ccc}1 & \rho_{xy} & \rho_{zx} \\\rho_{xy} & 1 & \rho_{yz} \\\rho_{zx} & \rho_{yz} & 1\end{array}\right)$

この3次元正規分布をf(x,y,z)と表す。

$f(x, y, z) = \frac{1}{\sqrt{(2\pi)^2 \det{\Sigma}}} \exp \{ -\frac{1}{2} (x,y,z) \Sigma (x,y,z)^t \}$

問題(再掲)：
条件付き確率f(z | x, y)を求めよ。

解答

まず同時分布f(x,y)を求める。これには2つの解法がある。

①単にzを無視してよいので、分散・共分散の値から、

$f(x, y) = \frac{1}{\sqrt{(2\pi)^2 \det{A_1}}} \exp \{ -\frac{1}{2} (x,y) A_1 (x,y)^t \}$

②上記のやり方がどうしても納得できない、という僕のような人(ヒマ人)のためには周辺化を。

まず、分散・共分散行列の逆行列を次のように定義する。

$\Sigma^{-1} = \left(\begin{array}{cc}A_1 & B \\B^t & a_{33}\end{array}\right)$

$A_1 = \left(\begin{array}{cc}a_{11} & a_{12} \\a_{12} & a_{22}\end{array}\right)$

$B = \left(\begin{array}{c}b_1 \\b_2\end{array}\right)$

f(x,y,z)をzで周辺化して、

$f(x, y) = \int_{-\infty}^{\infty} f(x, y, z) dz$

$= \frac{1}{\sqrt{(2\pi)^3 \det{\Sigma}}} \exp \{ -\frac{1}{2} (x,y) A_1 (x,y)^t \}$

$\cdot \int_{-\infty}^{\infty} \exp \{ - (x,y)B z -\frac{1}{2} a_{33} z^2 \} dz$

$= \frac{1}{\sqrt{(2\pi)^3 \det{\Sigma}}} \exp \{ -\frac{1}{2} (x,y) A_1 (x,y)^t \}$

$\cdot \int_{-\infty}^{\infty} \exp [ -\frac{1}{2} a_{33} \{ (z + \frac{(x, y)B}{a_{33}} )^2 - (\frac{(x,y)B}{a_{33}})^2 \} ] dz$

$= \frac{1}{\sqrt{(2\pi)^3 \det{\Sigma}}} \exp \{ -\frac{1}{2} (x,y) A_1 (x,y)^t \}$

$\cdot \exp [ -\frac{1}{2} a_{33} \{ - (\frac{(x,y)B}{a_{33}})^2 \} ] \sqrt{\frac{2\pi}{a_{33}}}$

$= \frac{1}{\sqrt{(2\pi)^2 (\det{\Sigma}) a_{33}}} \exp \{ -\frac{1}{2} (a_{11} x^2 + 2 a_{12} xy + a_{22} y^2 - \frac{1}{a_{33}} (b_1 x + b_2 y)^2 ) \}$

$= \frac{1}{\sqrt{(2\pi)^2 (\det{\Sigma}) a_{33}}} \exp [ -\frac{1}{2} \{ (a_{11} - \frac{b_1^2}{a_{33}}) x^2$

$+ 2 (a_{12} - \frac{b_1 b_2}{a_{33}}) xy + (a_{22} - \frac{b_2^2}{a_{33}}) y^2 \} ]$

はい。綺麗にx,yの正規分布になりました。

条件付き確率を求める

あとは割るだけです!

$f(z \vert x, y) = \frac{f(x, y, z)}{f(x, y)}$

$= \frac{\frac{1}{\sqrt{(2\pi)^2 \det{\Sigma}}} \exp \{ -\frac{1}{2} (x,y,z) \Sigma (x,y,z)^t \}}{\frac{1}{\sqrt{(2\pi)^2 (\det{\Sigma}) a_{33}}} \exp [ -\frac{1}{2} \{ (a_{11} - \frac{b_1^2}{a_{33}}) x^2 + 2 (a_{12} - \frac{b_1 b_2}{a_{33}}) xy + (a_{22} - \frac{b_2^2}{a_{33}}) y^2 \} ]}$

$= \sqrt{\frac{a_{33}}{2\pi}} \exp [ -\frac{1}{2} \{ \frac{b_1^2}{a_{33}} x^2 + \frac{b_2^2}{a_{33}} y^2 + a_{33} z^2 + \frac{2 b_1 b_2}{a_{33}} xy + 2 b_2 yz + 2 b_1 zx \} ]$

$= \sqrt{\frac{a_{33}}{2\pi}} \exp [ -\frac{a_{33}}{2} \{ z^2 + \frac{2(b_1 x + b_2 y)}{a_{33}} z + \frac{b_1^2}{a_{33}^2} x^2 + \frac{b_2^2}{a_{33}^2} y^2 + \frac{2 b_1 b_2}{a_{33}^2} xy \} ]$

$= \sqrt{\frac{a_{33}}{2\pi}} \exp \{ -\frac{a_{33}}{2} (z + \frac{b_1 x + b_2 y}{a_{33}} )^2 \}$

とても綺麗なzの正規分布になりました。

この正規分布は、平均が0ではなく、xとyの線型和になっています。これは、3次元正規分布が、3次元空間に斜めの雲のように広がっており、条件付き確率は、その雲の射影だからとイメージすると直感的でしょう。

平均シフト効果

平均が(x,y)に行列Lをかけたものになるという結果は、シナイ確率論 p103〜p109の一般的な式

$L=-(A_1)^{-1}B^t$

と全く同じです。このことが、改めて確認できました。

概要

問題

解答

条件付き確率を求める

平均シフト効果

「多次元正規分布の条件付き確率計算が3次元なのにえぐい」への2件のフィードバック