グラフィカルモデル

グラフィカルモデル(英語: Graphical model)は、グラフが、確率変数間の条件付き依存構造を示しているような確率モデルである。これらは一般に確率論や統計、特にベイズ統計や機械学習で使用される。

一般的には、多次元空間上の完全な分布と、ある特定の分布が保持する独立性の集合のコンパクトかつ分解された(factorized)表現であるグラフを表現するための基盤として、確率的グラフィカルモデルはグラフベースの表現を使用している。グラフィカルな分布の表現でよく使われるものにベイジアンネットワークとマルコフ確率場がある。両者は分解と独立性の性質を包含するが、表現することができる独立性の集合と、導く分布の分解が異なる^[1] 。

もし、モデルのネットワーク構造が有向非巡回グラフならば、そのモデルは、すべての確率変数の同時確率の積で表される。厳密に言うと、事象を${\displaystyle X_{1},\ldots ,X_{n}}${\displaystyle X_{1},\ldots ,X_{n}}とすると、共起確率は次を満たす:

${\displaystyle P[X_{1},\ldots ,X_{n}]=\prod _{i=1}^{n}P[X_{i}|pa_{i}]}${\displaystyle P[X_{1},\ldots ,X_{n}]=\prod _{i=1}^{n}P[X_{i}|pa_{i}]}

ここで${\displaystyle pa_{i}}${\displaystyle pa_{i}}はノード${\displaystyle X_{i}}${\displaystyle X_{i}}の親である。言い換えれば、同時確率は条件付き確率の積に因数分解される。例えば、上に指名した図のグラフィカルモデルは、同時確率が次のように因数分解される確率変数${\displaystyle A,B,C,D}${\displaystyle A,B,C,D}によって構成されている:

${\displaystyle P[A,B,C,D]=P[A]P[B]P[C|B,D]P[D|A,B,C].}${\displaystyle P[A,B,C,D]=P[A]P[B]P[C|B,D]P[D|A,B,C].}

どの2つのノードも、それらの親ノードによる条件付き独立である。一般に、d-separation(英語: d-separation )と呼ばれる基準をグラフが満たしていれば、どの2つのノード集合も第3の集合による条件付き独立となる。ベイジアンネットワークにおいては、局所独立性と大域独立性は等しい。

このグラフィカルモデルは有向非巡回グラフであるベイジアンネットワーク(Bayesian network, Belief network)として知られている。隠れマルコフモデルやニューラルネットワークといった古典的な機械学習モデルや、Variable-orderマルコフモデル(英語: variable-order Markov model )のような新しいモデルは、ベイジアンネットワークの特殊ケースと考えることができる。

マルコフ確率場(マルコフネットワーク)は無向グラフ上のモデルである。繰り返し構造を多く持つグラフィカルモデルはプレートノーテーション(英語: Plate notation )を用いて表すことができる。

• 因子グラフ(英語: factor graph )は変数と因子を繋ぐ無向2部グラフである。それぞれの因子はそれと繋がっている変数の確率分布を表現する。グラフは、確率伝搬法を作用させるために因子グラフの形に変形される。
• クリークツリー(英語: clique tree )は、クリークの木であり、Junction Treeアルゴリズム(英語: Junction tree algorithm ))で用いられる。
• 連鎖グラフ(英語: chain tree ))は有向エッジと無向エッジの両方を持つことを許した、有向な閉路を持たない(つまり、どのノードからスタートしても、枝の方向に従って移動すれば始点に戻らない)グラフである。有向非巡回グラフも無向グラフも連鎖グラフの特殊ケースであり、それゆえベイジアンネットワークやマルコフネットワークを単一化したり一般化したりすることができる。^[2]
• Ancestralグラフ(英語: Ancestral graph )は拡張版であり、有向エッジ、双方向エッジ、無向エッジを持つ。^[3]
• 条件付き確率場(Conditional random field)は無向グラフ上の識別モデルである。
• 制限ボルツマンマシン(Restricted Boltzmann machine)は無向グラフ上の生成モデルである。

このモデルのフレームワークは、複雑な分布を簡潔に記述したり、分布中の非構造化情報を抽出したりするために、その構造を発見し分析するアルゴリズムを提供する。さらにそれらを構築し有効的に利用することを可能にする。^[1] グラフィカルモデルの応用には、情報抽出、音声認識、コンピュータビジョン、低密度パリティ検査符号の復号、遺伝子調節ネットワーク(英語: gene regulatory network )のモデリング、遺伝子の発見および疾患の診断、タンパク質構造のためのグラフィカルモデル(英語: graphical models for protein structure )などがある。

• Bishop, Christopher M. (2006). "Chapter 8. Graphical Models". Pattern Recognition and Machine Learning. Springer. pp. 359–422. ISBN 0-387-31073-8. MR 2247587 . http://research.microsoft.com/~cmbishop/PRML/pdf/Bishop-PRML-sample.pdf  
• Cowell, Robert G.; Dawid, A. Philip; Lauritzen, Steffen L.; Spiegelhalter, David J. (1999). Probabilistic networks and expert systems. Berlin: Springer. ISBN 0-387-98767-3. MR 1697175   A more advanced and statistically oriented book
• Jensen, Finn (1996). An introduction to Bayesian networks. Berlin: Springer. ISBN 0-387-91502-8  
• Koller, D.; Friedman, N. (2009). Probabilistic Graphical Models . Massachusetts: MIT Press. pp. 1208. ISBN 0-262-01319-3  
• Pearl, Judea (1988). Probabilistic Reasoning in Intelligent Systems (2nd revised ed.). San Mateo, CA: Morgan Kaufmann. ISBN 1-55860-479-0. MR 0965765   A computational reasoning approach, where the relationships between graphs and probabilities were formally introduced.

• Edoardo M. Airoldi (2007). "Getting Started in Probabilistic Graphical Models". PLoS Computational Biology 3 (12): e252. doi:10.1371/journal.pcbi.0030252. PMC 2134967. PMID 18069887 . https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2134967/ . 
• Jordan, Michael I. (2004). "Graphical Models". Statistical Science 19 (1): 140–155. doi:10.1214/088342304000000026. ISSN 0883-4237. 

• Heckerman's Bayes Net Learning Tutorial
• A Brief Introduction to Graphical Models and Bayesian Networks
• Sargur Srihari's lecture slides on probabilistic graphical models

• 確率伝搬法
• 共分散構造分析

• ベイズ統計
• グラフィカルモデル
• 数学に関する記事
• 種類別のモデル
• 統計モデル

• ISBNマジックリンクを使用しているページ