出典: Wikimura

確率

確率変数Xに対して、X=xとなる確率はP(X=x)と書かれ、普通はP(x)と略して書くらしい。

確率変数X,Yに対して、X=xかつY=yとなる確率はP(X=x, Y=y)と書かれ、普通はP(x,y)と書くらしい。 ここで、これらが独立に起こることであれば、P(x,y) = P(x) P(y)が成り立つ。

確率変数X,Yに対して、Y=yという条件のもと、X=xとなる確率はP(x|y)と書かれる。 これは条件付き確率という。 全体の内X=xかつY=yはP(x,y)で起こる。全体の内Y=yはP(y)で起こる。 だから、Y=y内でX=xとなるのは...P(x|y) = P(x,y) / P(y)ということになる。 もし独立なら、P(x|y) = P(x)となる。これは、P(x,y) = P(x) P(y)だから。

確率変数X,Y,Zに対して、X,Yが独立なら、P(x,y|z) = P(x|z) P(y|z)が成り立つ。 これは、P(x|y,z) = P(x,y,z) / P(y,z) = P(x,y) / P(y) * P(x,z) / P(z)だから。

確率変数X,Y,Zに対して、P(x,y|z) = P(x|z) P(y|z)が成り立つことは、条件付き独立という。 X,Yは独立じゃないが、Z=zという条件があれば独立となる(無関係となる)という性質。

ベイズの定理

P(x|y) = P(y|x) P(x) / P(y)

結局のところ、P(x|y) P(y) = P(y|x) P(x) = P(x,y)なので、お互い対称に見えるが... 原因と結果の非対称性があるからこれが重要になる?

• x: 原因(状態)
• y: 結果(観測)
• P(x): prior 事前確率
• P(y): 観測 y の生起確率 = P(y|x) P(x) のxに関する総和
• P(y|x): 原因と結果の関係(生成モデル)
• P(x|y): posterior 事後確率(結果を得た後の知識)

結果 y を得た後、原因に関する知識を改められるらしい。