chap08 1 12
TRANSCRIPT
第8章グラフィカルモデル
山下正行
Twitter ruto5
PRML勉強会第10回 201019
目次
81 ベイジアンネットワーク811 例多項式曲線フィッティング812 生成モデル
8 グラフィカルモデル
確率変数をノードとし確率変数間に統計的な依存関係を有向辺で表したグラフを考えるこのグラフに基づいて複数の確率変数の結合確率や条件付確率を扱うモデル
朱鷺の杜によれば
8章 グラフィカルモデル
これまでの確率論加法定理乗法定理
どんな複雑なモデルでも定式化して解くことができる
確率的グラフィカルモデル 解析に使うと とても便利
1確率モデル構造の視覚化する方法を提供新モデル設計方針の決定支援
2グラフ構造から条件付き独立性などのモデル性質に関する知見を得る
3精巧なモデルで推論や学習を実行するのにグラフ上の操作として表現
で成り立っていた
確率分布の図式的な表現
数学的な表現も兼ねている
特徴
グラフ
リンク(辺弧)
ノード(頂点)
「全確率変数上の同時分布が一部の変数のみに依存する因子の積としてどのように分解可能か」を表現する
確率的グラフィカルモデルでのグラフ
グラフリンクによって接続されたノードの集まり
変数間の確率的関係
確率変数
確率的グラフィカルモデル
有向無向グラフ
有向グラフのリンクが特定の方向性を持ち矢印で描かれる
ベイジアンネットワーク(別名 有向グラフィカルモデル)
無向リンクが方向性を持たない
マルコフ確率場(別名 無向グラフィカルモデル)
確率変数間の因果関係を表現するのに便利
確率変数間の緩い束縛関係を表現するのに便利
推論問題を解く際 有無向グラフを因子グラフに変換すると便利
パターン認識や機械学習に応用する場合に重要となる側面に焦点を当てる
因子因子をで表しリンクは方向性を持たない 843で説明
グラフィカルモデルの特徴
一般的な議論に関する資料1Whittaker J (1990) Graphical Models in Applied Multivariate Statistics Wiley
2Lauritzen SL (1996) Graphical Models Oxford University Press
3Jensen F V (1996) An Introduction to Bayesian Networks UCL Press
7Jordan M I (2007) An Introduction to Probabilistic Graphical Models In preparatioA
1 2
4Castillo E J M Gutierrez and A S Hadi (1997) Expert Systems and Probabilistic Network Modes Springer
4
5Jordan M I (1999) Learning in Graphical Models MIT Press
5
6Cowell R G A P Dawid S L Lauritzen and D J Spiegelhalter (1999) Probabilistic Networks and Expert Systems Springer
6
81 ベイジアンネットワーク
3変数abc上の任意の同時分布 p(abc)を考える
確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる
第2因子も(111)を適用
aはbの親ノード bはaの子ノード
有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる
a b
aとbの関係
Fig81
全結合
図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える
Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される
全てのノードの組に対してリンクを持つ
条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能
グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する
確率の乗法定理を繰り返し適用
全結合
全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す
Fig82
1つの条件付分布を1つのノードに対応させる
各条件付分布は対応するノードの親だけに条件付けられるようにする
表し方
有向グラフと変数分布間の関係
グラフによって定義される同時分布
グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる
K個のノードを持つグラフに対応する同時分布
xkの親ノード集合X=x1xK
与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している
各ノードが1つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能
演習81(基本)12
問変数を1つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する
グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない
それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる
演習81(基本)22
この処理をK-2回繰り返して以下の式の左が得られる
有向非循環グラフ(DAG)
有向閉路
有向閉路を持たない
大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる
=
directed acyclic graph
あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路
有向非循環グラフ
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
目次
81 ベイジアンネットワーク811 例多項式曲線フィッティング812 生成モデル
8 グラフィカルモデル
確率変数をノードとし確率変数間に統計的な依存関係を有向辺で表したグラフを考えるこのグラフに基づいて複数の確率変数の結合確率や条件付確率を扱うモデル
朱鷺の杜によれば
8章 グラフィカルモデル
これまでの確率論加法定理乗法定理
どんな複雑なモデルでも定式化して解くことができる
確率的グラフィカルモデル 解析に使うと とても便利
1確率モデル構造の視覚化する方法を提供新モデル設計方針の決定支援
2グラフ構造から条件付き独立性などのモデル性質に関する知見を得る
3精巧なモデルで推論や学習を実行するのにグラフ上の操作として表現
で成り立っていた
確率分布の図式的な表現
数学的な表現も兼ねている
特徴
グラフ
リンク(辺弧)
ノード(頂点)
「全確率変数上の同時分布が一部の変数のみに依存する因子の積としてどのように分解可能か」を表現する
確率的グラフィカルモデルでのグラフ
グラフリンクによって接続されたノードの集まり
変数間の確率的関係
確率変数
確率的グラフィカルモデル
有向無向グラフ
有向グラフのリンクが特定の方向性を持ち矢印で描かれる
ベイジアンネットワーク(別名 有向グラフィカルモデル)
無向リンクが方向性を持たない
マルコフ確率場(別名 無向グラフィカルモデル)
確率変数間の因果関係を表現するのに便利
確率変数間の緩い束縛関係を表現するのに便利
推論問題を解く際 有無向グラフを因子グラフに変換すると便利
パターン認識や機械学習に応用する場合に重要となる側面に焦点を当てる
因子因子をで表しリンクは方向性を持たない 843で説明
グラフィカルモデルの特徴
一般的な議論に関する資料1Whittaker J (1990) Graphical Models in Applied Multivariate Statistics Wiley
2Lauritzen SL (1996) Graphical Models Oxford University Press
3Jensen F V (1996) An Introduction to Bayesian Networks UCL Press
7Jordan M I (2007) An Introduction to Probabilistic Graphical Models In preparatioA
1 2
4Castillo E J M Gutierrez and A S Hadi (1997) Expert Systems and Probabilistic Network Modes Springer
4
5Jordan M I (1999) Learning in Graphical Models MIT Press
5
6Cowell R G A P Dawid S L Lauritzen and D J Spiegelhalter (1999) Probabilistic Networks and Expert Systems Springer
6
81 ベイジアンネットワーク
3変数abc上の任意の同時分布 p(abc)を考える
確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる
第2因子も(111)を適用
aはbの親ノード bはaの子ノード
有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる
a b
aとbの関係
Fig81
全結合
図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える
Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される
全てのノードの組に対してリンクを持つ
条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能
グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する
確率の乗法定理を繰り返し適用
全結合
全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す
Fig82
1つの条件付分布を1つのノードに対応させる
各条件付分布は対応するノードの親だけに条件付けられるようにする
表し方
有向グラフと変数分布間の関係
グラフによって定義される同時分布
グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる
K個のノードを持つグラフに対応する同時分布
xkの親ノード集合X=x1xK
与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している
各ノードが1つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能
演習81(基本)12
問変数を1つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する
グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない
それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる
演習81(基本)22
この処理をK-2回繰り返して以下の式の左が得られる
有向非循環グラフ(DAG)
有向閉路
有向閉路を持たない
大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる
=
directed acyclic graph
あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路
有向非循環グラフ
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
8章 グラフィカルモデル
これまでの確率論加法定理乗法定理
どんな複雑なモデルでも定式化して解くことができる
確率的グラフィカルモデル 解析に使うと とても便利
1確率モデル構造の視覚化する方法を提供新モデル設計方針の決定支援
2グラフ構造から条件付き独立性などのモデル性質に関する知見を得る
3精巧なモデルで推論や学習を実行するのにグラフ上の操作として表現
で成り立っていた
確率分布の図式的な表現
数学的な表現も兼ねている
特徴
グラフ
リンク(辺弧)
ノード(頂点)
「全確率変数上の同時分布が一部の変数のみに依存する因子の積としてどのように分解可能か」を表現する
確率的グラフィカルモデルでのグラフ
グラフリンクによって接続されたノードの集まり
変数間の確率的関係
確率変数
確率的グラフィカルモデル
有向無向グラフ
有向グラフのリンクが特定の方向性を持ち矢印で描かれる
ベイジアンネットワーク(別名 有向グラフィカルモデル)
無向リンクが方向性を持たない
マルコフ確率場(別名 無向グラフィカルモデル)
確率変数間の因果関係を表現するのに便利
確率変数間の緩い束縛関係を表現するのに便利
推論問題を解く際 有無向グラフを因子グラフに変換すると便利
パターン認識や機械学習に応用する場合に重要となる側面に焦点を当てる
因子因子をで表しリンクは方向性を持たない 843で説明
グラフィカルモデルの特徴
一般的な議論に関する資料1Whittaker J (1990) Graphical Models in Applied Multivariate Statistics Wiley
2Lauritzen SL (1996) Graphical Models Oxford University Press
3Jensen F V (1996) An Introduction to Bayesian Networks UCL Press
7Jordan M I (2007) An Introduction to Probabilistic Graphical Models In preparatioA
1 2
4Castillo E J M Gutierrez and A S Hadi (1997) Expert Systems and Probabilistic Network Modes Springer
4
5Jordan M I (1999) Learning in Graphical Models MIT Press
5
6Cowell R G A P Dawid S L Lauritzen and D J Spiegelhalter (1999) Probabilistic Networks and Expert Systems Springer
6
81 ベイジアンネットワーク
3変数abc上の任意の同時分布 p(abc)を考える
確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる
第2因子も(111)を適用
aはbの親ノード bはaの子ノード
有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる
a b
aとbの関係
Fig81
全結合
図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える
Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される
全てのノードの組に対してリンクを持つ
条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能
グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する
確率の乗法定理を繰り返し適用
全結合
全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す
Fig82
1つの条件付分布を1つのノードに対応させる
各条件付分布は対応するノードの親だけに条件付けられるようにする
表し方
有向グラフと変数分布間の関係
グラフによって定義される同時分布
グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる
K個のノードを持つグラフに対応する同時分布
xkの親ノード集合X=x1xK
与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している
各ノードが1つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能
演習81(基本)12
問変数を1つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する
グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない
それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる
演習81(基本)22
この処理をK-2回繰り返して以下の式の左が得られる
有向非循環グラフ(DAG)
有向閉路
有向閉路を持たない
大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる
=
directed acyclic graph
あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路
有向非循環グラフ
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
グラフ
リンク(辺弧)
ノード(頂点)
「全確率変数上の同時分布が一部の変数のみに依存する因子の積としてどのように分解可能か」を表現する
確率的グラフィカルモデルでのグラフ
グラフリンクによって接続されたノードの集まり
変数間の確率的関係
確率変数
確率的グラフィカルモデル
有向無向グラフ
有向グラフのリンクが特定の方向性を持ち矢印で描かれる
ベイジアンネットワーク(別名 有向グラフィカルモデル)
無向リンクが方向性を持たない
マルコフ確率場(別名 無向グラフィカルモデル)
確率変数間の因果関係を表現するのに便利
確率変数間の緩い束縛関係を表現するのに便利
推論問題を解く際 有無向グラフを因子グラフに変換すると便利
パターン認識や機械学習に応用する場合に重要となる側面に焦点を当てる
因子因子をで表しリンクは方向性を持たない 843で説明
グラフィカルモデルの特徴
一般的な議論に関する資料1Whittaker J (1990) Graphical Models in Applied Multivariate Statistics Wiley
2Lauritzen SL (1996) Graphical Models Oxford University Press
3Jensen F V (1996) An Introduction to Bayesian Networks UCL Press
7Jordan M I (2007) An Introduction to Probabilistic Graphical Models In preparatioA
1 2
4Castillo E J M Gutierrez and A S Hadi (1997) Expert Systems and Probabilistic Network Modes Springer
4
5Jordan M I (1999) Learning in Graphical Models MIT Press
5
6Cowell R G A P Dawid S L Lauritzen and D J Spiegelhalter (1999) Probabilistic Networks and Expert Systems Springer
6
81 ベイジアンネットワーク
3変数abc上の任意の同時分布 p(abc)を考える
確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる
第2因子も(111)を適用
aはbの親ノード bはaの子ノード
有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる
a b
aとbの関係
Fig81
全結合
図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える
Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される
全てのノードの組に対してリンクを持つ
条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能
グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する
確率の乗法定理を繰り返し適用
全結合
全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す
Fig82
1つの条件付分布を1つのノードに対応させる
各条件付分布は対応するノードの親だけに条件付けられるようにする
表し方
有向グラフと変数分布間の関係
グラフによって定義される同時分布
グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる
K個のノードを持つグラフに対応する同時分布
xkの親ノード集合X=x1xK
与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している
各ノードが1つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能
演習81(基本)12
問変数を1つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する
グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない
それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる
演習81(基本)22
この処理をK-2回繰り返して以下の式の左が得られる
有向非循環グラフ(DAG)
有向閉路
有向閉路を持たない
大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる
=
directed acyclic graph
あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路
有向非循環グラフ
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
有向無向グラフ
有向グラフのリンクが特定の方向性を持ち矢印で描かれる
ベイジアンネットワーク(別名 有向グラフィカルモデル)
無向リンクが方向性を持たない
マルコフ確率場(別名 無向グラフィカルモデル)
確率変数間の因果関係を表現するのに便利
確率変数間の緩い束縛関係を表現するのに便利
推論問題を解く際 有無向グラフを因子グラフに変換すると便利
パターン認識や機械学習に応用する場合に重要となる側面に焦点を当てる
因子因子をで表しリンクは方向性を持たない 843で説明
グラフィカルモデルの特徴
一般的な議論に関する資料1Whittaker J (1990) Graphical Models in Applied Multivariate Statistics Wiley
2Lauritzen SL (1996) Graphical Models Oxford University Press
3Jensen F V (1996) An Introduction to Bayesian Networks UCL Press
7Jordan M I (2007) An Introduction to Probabilistic Graphical Models In preparatioA
1 2
4Castillo E J M Gutierrez and A S Hadi (1997) Expert Systems and Probabilistic Network Modes Springer
4
5Jordan M I (1999) Learning in Graphical Models MIT Press
5
6Cowell R G A P Dawid S L Lauritzen and D J Spiegelhalter (1999) Probabilistic Networks and Expert Systems Springer
6
81 ベイジアンネットワーク
3変数abc上の任意の同時分布 p(abc)を考える
確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる
第2因子も(111)を適用
aはbの親ノード bはaの子ノード
有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる
a b
aとbの関係
Fig81
全結合
図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える
Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される
全てのノードの組に対してリンクを持つ
条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能
グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する
確率の乗法定理を繰り返し適用
全結合
全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す
Fig82
1つの条件付分布を1つのノードに対応させる
各条件付分布は対応するノードの親だけに条件付けられるようにする
表し方
有向グラフと変数分布間の関係
グラフによって定義される同時分布
グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる
K個のノードを持つグラフに対応する同時分布
xkの親ノード集合X=x1xK
与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している
各ノードが1つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能
演習81(基本)12
問変数を1つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する
グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない
それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる
演習81(基本)22
この処理をK-2回繰り返して以下の式の左が得られる
有向非循環グラフ(DAG)
有向閉路
有向閉路を持たない
大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる
=
directed acyclic graph
あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路
有向非循環グラフ
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
一般的な議論に関する資料1Whittaker J (1990) Graphical Models in Applied Multivariate Statistics Wiley
2Lauritzen SL (1996) Graphical Models Oxford University Press
3Jensen F V (1996) An Introduction to Bayesian Networks UCL Press
7Jordan M I (2007) An Introduction to Probabilistic Graphical Models In preparatioA
1 2
4Castillo E J M Gutierrez and A S Hadi (1997) Expert Systems and Probabilistic Network Modes Springer
4
5Jordan M I (1999) Learning in Graphical Models MIT Press
5
6Cowell R G A P Dawid S L Lauritzen and D J Spiegelhalter (1999) Probabilistic Networks and Expert Systems Springer
6
81 ベイジアンネットワーク
3変数abc上の任意の同時分布 p(abc)を考える
確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる
第2因子も(111)を適用
aはbの親ノード bはaの子ノード
有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる
a b
aとbの関係
Fig81
全結合
図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える
Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される
全てのノードの組に対してリンクを持つ
条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能
グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する
確率の乗法定理を繰り返し適用
全結合
全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す
Fig82
1つの条件付分布を1つのノードに対応させる
各条件付分布は対応するノードの親だけに条件付けられるようにする
表し方
有向グラフと変数分布間の関係
グラフによって定義される同時分布
グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる
K個のノードを持つグラフに対応する同時分布
xkの親ノード集合X=x1xK
与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している
各ノードが1つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能
演習81(基本)12
問変数を1つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する
グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない
それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる
演習81(基本)22
この処理をK-2回繰り返して以下の式の左が得られる
有向非循環グラフ(DAG)
有向閉路
有向閉路を持たない
大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる
=
directed acyclic graph
あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路
有向非循環グラフ
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
81 ベイジアンネットワーク
3変数abc上の任意の同時分布 p(abc)を考える
確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる
第2因子も(111)を適用
aはbの親ノード bはaの子ノード
有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる
a b
aとbの関係
Fig81
全結合
図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える
Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される
全てのノードの組に対してリンクを持つ
条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能
グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する
確率の乗法定理を繰り返し適用
全結合
全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す
Fig82
1つの条件付分布を1つのノードに対応させる
各条件付分布は対応するノードの親だけに条件付けられるようにする
表し方
有向グラフと変数分布間の関係
グラフによって定義される同時分布
グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる
K個のノードを持つグラフに対応する同時分布
xkの親ノード集合X=x1xK
与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している
各ノードが1つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能
演習81(基本)12
問変数を1つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する
グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない
それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる
演習81(基本)22
この処理をK-2回繰り返して以下の式の左が得られる
有向非循環グラフ(DAG)
有向閉路
有向閉路を持たない
大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる
=
directed acyclic graph
あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路
有向非循環グラフ
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
全結合
図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える
Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される
全てのノードの組に対してリンクを持つ
条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能
グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する
確率の乗法定理を繰り返し適用
全結合
全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す
Fig82
1つの条件付分布を1つのノードに対応させる
各条件付分布は対応するノードの親だけに条件付けられるようにする
表し方
有向グラフと変数分布間の関係
グラフによって定義される同時分布
グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる
K個のノードを持つグラフに対応する同時分布
xkの親ノード集合X=x1xK
与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している
各ノードが1つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能
演習81(基本)12
問変数を1つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する
グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない
それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる
演習81(基本)22
この処理をK-2回繰り返して以下の式の左が得られる
有向非循環グラフ(DAG)
有向閉路
有向閉路を持たない
大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる
=
directed acyclic graph
あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路
有向非循環グラフ
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す
Fig82
1つの条件付分布を1つのノードに対応させる
各条件付分布は対応するノードの親だけに条件付けられるようにする
表し方
有向グラフと変数分布間の関係
グラフによって定義される同時分布
グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる
K個のノードを持つグラフに対応する同時分布
xkの親ノード集合X=x1xK
与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している
各ノードが1つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能
演習81(基本)12
問変数を1つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する
グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない
それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる
演習81(基本)22
この処理をK-2回繰り返して以下の式の左が得られる
有向非循環グラフ(DAG)
有向閉路
有向閉路を持たない
大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる
=
directed acyclic graph
あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路
有向非循環グラフ
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
有向グラフと変数分布間の関係
グラフによって定義される同時分布
グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる
K個のノードを持つグラフに対応する同時分布
xkの親ノード集合X=x1xK
与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している
各ノードが1つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能
演習81(基本)12
問変数を1つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する
グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない
それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる
演習81(基本)22
この処理をK-2回繰り返して以下の式の左が得られる
有向非循環グラフ(DAG)
有向閉路
有向閉路を持たない
大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる
=
directed acyclic graph
あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路
有向非循環グラフ
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
演習81(基本)12
問変数を1つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する
グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない
それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる
演習81(基本)22
この処理をK-2回繰り返して以下の式の左が得られる
有向非循環グラフ(DAG)
有向閉路
有向閉路を持たない
大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる
=
directed acyclic graph
あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路
有向非循環グラフ
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
演習81(基本)22
この処理をK-2回繰り返して以下の式の左が得られる
有向非循環グラフ(DAG)
有向閉路
有向閉路を持たない
大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる
=
directed acyclic graph
あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路
有向非循環グラフ
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
有向非循環グラフ(DAG)
有向閉路
有向閉路を持たない
大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる
=
directed acyclic graph
あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路
有向非循環グラフ
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
演習82(基本)
問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ
グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する
また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない
エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない
次の閉路は有向閉路であるはずがない
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
811多項式曲線フィッティング
例ベイズ多項式回帰モデル
モデルの確率変数 多項式係数ベクトルw
観測データt=(t1tN)T
確率分布を記述するために有向グラフを利用する方法
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる
Fig83 ①代表ノード③ノード数
②プレート
プレートによるコンパクトな表現
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
プレートによるコンパクトな表現
モデルのパラメータも陽に書いた方が便利な場合もある
Fig85
グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円
確率変数
分布の精度パラメータ(ハイパーパラメータ) α
入力データ x=(x1xN)T
ノイズの分散 σ2
グラフ表現でも描くことができる
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合
確率変数のいくつかを特定の観測値に対応させる
例多項式曲線フィッティングの場合 学習データtn
Fig86
観測変数は対応するノードに影付けする
潜在変数(隠れ変数)
9章と12章で詳しく説明
観測変数確率モデルで重要な役割を果たす
観測されていない
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
事後分布
{tnの値を観測すると多項式係数wの事後分布を求めることができる
ベイズの定理が適用されている 決定的パラメータは省略
125節 曲線フィッティング再訪より
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと
問新しい入力値 が与えられた時対応する観測データで条件付けられた
の確率分布を求めたい
Fig87
グラフィカルモデルで表すと
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
tに含まれる確率変数は学習データ集合の観測値に暗に固定されている
計算詳細は3章で議論した
確率の加法定理よりモデルパラメータwを積分消去すると
が求まる
求めるべき の予測分布が得られる
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
812 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い
グラフィカルモデルと特に関係の深い伝承サンプリング法について
に従って因数分解されるK変数上の
同時分布p(x1xK)を考える親ノード
子ノード
サンプリング法については11章で説明
変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
目的同時分布に従うサンプル を発生させること
番号の最も小さいノードから順にサンプルを発生させていけば良い
1分布p(x1)に従うサンプルを発生させる
p(x1)
p(x2)p(x1)
2各ノードを番号順に進む
p(xn)
3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる
親変数 pan 値はサンプリングされた値を用いる
p(x2)p(x1) p(x3)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
全変数上のサンプルを得る
特定の形の分布からサンプル値を発生させる方法がある 11章で説明
目的達成
p(x1)
p(x1x2) = p(x1)p(x2|x1)
p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)
p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)
p(x2)p(x1)
p(x2)p(x1)p(xn)
p(xn)p(xK)
全変数上の同時分布に従うサンプルを1つ発生させたことになる
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
一部の変数上のサンプルを得る
x4
分布p(x2x4)に従うサンプル
観測値潜在変数
潜在変数の重要な役割
観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある
p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)
x1 x2 x3
一部の変数集合上の周辺分布に従うサンプルを得たい場合
p(x4)p(x1) p(x2) p(x3)
同時分布p(x1x2x3x4)に従うサンプル
p(x1) p(x2)
他の値 は捨てる
同時分布p(x1x2)に従うサンプル
確率モデルの実際のアプリケーションでは
末端ノードに対応する大きい番号が割り振られた変数
小さい変数が振られたノード
観測データを発生する過程を表現している
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
例 物体認識問題
像観測データ点
隠れ変数
目的観測データ(物体の像)から物体の種類を推論する
観測像が1つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める
問題
Fig88
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
生成モデル図88は観測データが生成される因果過程を表現している
多項式回帰モデルは生成モデルではない
入力変数xに関する確率分布を与えられていない
人工的なデータ点を生成できない
尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能
複雑な同時分布を単純な要素から構成するためだけに導入してもOK
観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生
実用上そのモデルによって表現される確率分布の形を理解する上で有効
PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann
生成モデル
理由
伝承サンプリングを生成モデルに適用
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
参考文献
尾上守夫(監訳)パターン識別新技術コミュニケーションズ20012
httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false
httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false
httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf
httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141
httpwwwcsberkeleyedu~jordan
httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp
httppeoplecsubcca~murphykBayesbayeshtml
httpsslieewashingtoneducoursesee512lecslectureshtml
httpwww-userscsyorkacuk~jcteachingagm
宮川雅巳 グラフィカルモデリング朝倉書店19973
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)
補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる
p(x1)
p(x2)p(x1)
p(x2)p(x1) p(x3)
p(x2)p(x1) p(x3) p(x4)
p(x1)
p(x2)
p(x3)
p(x4)
図 一部の変数上のサンプルを得る場合
(a) (b)