MACS活動報告会 SG7

自然科学における統計サンプリング：数理から実践まで

加藤 傑

SG7の活動内容

1. テキストを用いたゼミ形式の勉強会

2. 外部講師の講演会

ゼミ本

第Ⅰ部

マルコフ連鎖モンテカルロ法の基礎

第Ⅲ部

マルコフ連鎖モンテカルロ法の基礎

と統計科学への応用

ゼミの進め方

週一回のペースで集まる。

１０ページ程を学生２人で担当。

ゼミでは担当学生が内容の説明＆補足。

分からない点があれば参加者全員で考える。

それでも決着がつかなかったら次回へ持ち越し。

ゼミの様子

ゼミの内容（かるく）

キーワード

● サンプリング

● マルコフ連鎖モンテカルロ(MCMC)法

● ベイズ推論

サンプリング

● ある確率分布からサンプルを得ること。

（実世界で実験してサンプルを得ることではない。）

● 統計学、シミュレーション等の分野では重要。

● 確率分布が多変量になるとしんどい。

マルコフ連鎖モンテカルロ(MCMC)法

● 多変量の確率分布からのサンプリングが楽になる。

● すごい

● （割愛）

ベイズ推論

● （実世界の）サンプルから、そのサンプルが従う

確率分布を推定する。

● この確率分布から統計情報を導出するときに

サンプリングが必要。

● 多変量の確率分布だとMCMC法が有用。

次へ続く…

補足

多変量の確率分布からのサンプリングが何故しんどいの？

定数Zを求めるのがしんどい。

補足

MCMC法のどこがいいの？

ある２点間の確率の比P(x1|y)/P(x2|y)だけを用いて

サンプリングするのでZを計算する必要性がない。

SG7：外部講師セミナーの報告

セミナーの流れ

●外部から講師をお招きして●今までに二度開催●来週水曜日にもう一度開催●ポスターなどで告知●水曜の夕方、本読み会に変わって一時間半●終わったら懇親会

SG７内での準備

● 講師の先生に予習用として紹介していただいた論文の中から一つを選んでみんなで読んできて二人が発表し、皆で議論を行う

第一回セミナー

● 日時　2016年12月7日（水）15:30 -17:00● 場所　理学部1号館106号室● 講師　大関真之　氏（東北大学大学院情報科学研究科）

● 講演題目　機械学習におけるサンプリング

機械学習

● 機械学習はデータに対する関数の自律的フィッティング● 誤差を小さくしたいので、勾配法を用いて、最適化問題を解く

● 多層ニューラルネットワーク(多段階の線型・非線形変換の繰り返し)

● 非線形変換が何でもいいと思われていたが、微分が1以下になると積にすると減算してしまう

● データを増やしすぎると、過学習してデータに合わせすぎてしまう

ボルツマン機械学習

● 多くのデータから確率分布を明かにするボルツマン機械学習に於いて、期待値が経験平均になっている

● 期待値計算が必要だが、サンプリングで行うとMCMCや棄却法などの方法が用いられて来たが時間がかかる

● サンプリングを行わないために、統計力学由来の手法、平均場近似をそのまま用いると、精度が悪いため使われ無かった

● 平均場近似とデータを合わせた方法擬似最尤法や● 可視変数と隠れ変数間のみに関係を持つ制限ありボルツマン

● 隠れ変数の多層ニューラルネットワークを用いた深層ボルツマン

● 大関氏の本● 各自読みました● わかりやすくかかれた入門書なのでおすすめです

MACSホームページの活動報告

http://www.sci.kyoto-u.ac.jp/ja/academics/programs/macs/activities/2016.html

第二回セミナー

● 日時　2017年1月25日（水）16:30 -18:00● 場所　理学部1号館106号室● 講師　福島孝治　氏（東京大学大学院総合文化研究科）

● 講演題目　詳細つりあい条件を破るモンテカルロ・サンプリングの現状

MCMCの基礎

● 確率密度分布が与えられたとき、任意の状態についての相対確率は容易に求まるが、絶対値が不明なためサンプリングを行う

● サンプリング手法の一つ、マルコフ連鎖に於いて、遷移確率Wが、– 釣り合い条件をみたす(各状態から出て行く確率の流れと入ってくるものが等しい)

– 有限回数で有限確率で任意の点にたどり着ける– W(x→x)≠0

三つを満たす。

詳細釣りあい条件

● 釣り合い条件を満たせば良いが、条件が緩過ぎて、状況が作り辛い

● 詳細釣り合い条件（各状態間での流れが釣り合う）だと条件が増加し作りやすいため良く用いられる

● 遷移確率行列Wが持つ第二固有値λ2が小さければ速く収束する

● それにはボトルネックの解消が有効だが、ボトルネックの位置が分からないためコントロールが困難だった

ねじれ詳細釣り合い条件

● 詳細釣りあい条件を破るモンテカルロ法が、2010年のSuwa-Todo論文から始まり様々な手法が提案されてきた

● ねじれ詳細釣り合い条件では状態空間を二倍にし、Lifting parameter ε±1を導入する

● ε=1の状態Aから状態Ｂへの遷移量が、

ε=-1での状態Bから状態Aへの遷移量と一致するようにする

● 各状態空間で流れが出来る

MACSホームページの活動報告

http://www.sci.kyoto-u.ac.jp/ja/academics/programs/macs/activities/2016.html

第三回セミナー(来週開催)

● 日時　2017年2月22日（水）16:30 -18:00● 場所　理学部1号館106号室● 講師　粟津暁紀　氏（広島大学・理学研究科・数理分子生命理学専攻）

● 講演題目　実験データに基づく遺伝子制御構造・動態の解析