这部分讨论 inference 里面基本的问题，即计算 
的补集，可以理解成为取
不过我们应该清楚的认识到 inference 问题是“很难”的。，即便是近似解。但是一般说来我们的算法不会退化到最差的情况，因此我们觉得可以接受。
精确推断是 NPC 给定一个 BN，一个其中的随机变量 
，决定
这个证明需要：说明这是一个多项式时间可验证的（给定一个 assignement 之后我们只需要按照 factor 求乘积即可）以及找到一个 NPC
说明存在一个多项式时间的归约。这个规约可以用 3-SAT，我们将 3-SAT 里面的 propositional variable 给定一个顶点 
更直接的我们可以证明计算
任意的近似推断也是 NP-hard 我们称 
那么我们怎么处理这个问题呢？其实想法很简单，很直接（既然我们怎么做都不可能做得更好）。如果没有 evidence，我们相当于计算 maginal
distribution 
在有 evidence 的情况下问题也并没有边困难！为什么呢？我们等价于计算 
的部分替换成为对应的值，这导致我们在 reduced factor 上进行类似的计算即可。
这里面有两个核心的想法：
另外如何选择合理的消元顺序也是一个有意思的问题。
为了将这个过程用算法实现，我们知道每个 factor 对应于一个 table，有关联的变量，我们需要有一个 table 的集合，通过变量获得相关 table 子集的方法，消去某个变量的方法。我们为每个 factor 建立一个类，其中包含数据区，若干个变量；每个变量有一个类，包含对应的维数，名称等信息。
|
1
2
3
4
5
6
7
8
9
10 |
struct
drv { // for discrete random variables std::string name ; std::size_t
n_vals ;} ;template
<class
RealType>struct
tbl { std::vector<drv*> var ; std::vector<RealType> data ;} ; |
这样我们建立一个 boost::bimap 用来检索（这是 pseudo code 了）：
|
1
2
3
4
5 |
boost::bimap<unique<tbl*>, multi<drv*> > m ;for
(int i = 0 ; i < tbls.size () ; ++ i) { for
(int j = 0 ; j < tbls [i].var.size () ; ++ j) m.insert (std::make_pair (&tbls [i], tbls[i].var [j])) ;} |
这样给定了 elimination 顺序后，如 std::vector<drv*>，有
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18 |
boost::shared_ptr<tbl>eliminate (const
std::vector<drv*>& order) { // assume we have m std::vector<boost::shared_ptr<tbl> > aux_tbls ; // for interim factors for
(int i = 0 ; i < order.size () ; ++ i) { // find in bimap all related factors std::pair<..., ...> ranges = m.right.find (order[i]) ; // call sum-product boost::shared_ptr<tbl> new_factor = sum_product (ranges.first, ranges.second, order[i]) ; // remove factors from bimap // ... // add new to bimap // ... // save it aux_tbls.push_back (new_factor) ; } return
aux_tbls[aux_tbls.size () - 1] ;} |
这里的 sum_product 的实现大致如下
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23 |
boost::shared_ptr<tbl>sum_product (Iterator begin, Iterator end, drv* a) { boost::shared_ptr<tbl> t = new
tbl () ; std::size_t
s = 1 ; // add vars to t and compute size for
(Iterator iter = begin ; iter != end ; ++ iter) { for
(int i = 0 ; i < (*iter).var.size () ; ++ i) { drv* cur = (*iter).var [i] ; if
(a != cur) { t.var.push_back [cur] ; s *= cur->n_vals ; } } } t -> data.resize (s) ; // building the table // foreach value { // compute the product from each of the input tables // sum up and place the sum into output table } return
t ;} |
嗯大致如此了。不知道使用 metaprogramming
会不会有点好处（还是纯粹折腾？）那么很重要的一点就是我们需要理解清楚这个算法的“瓶颈”在哪里？其实很容易看出来就是我们中间产生的那个 table
里面尺寸最大的，为了填充它，我们将耗费 
维的），这反应出来图的性质其实是对应的 clique size – 1。如果算上 fill edge，我们称这个 graph 为某个消元序下的 induced
graph，这里
为此图的 width，或者所谓 induced
width）。这刻画了我们的消元算法的时间复杂度。
下面的定理告诉我们，最优消元序也不好弄 -,-b
定理 给定图，界 
为此一般选择的策略都是 heuristic 的，通常有
注意所有的 induced graph 都是 chordal，我们可以证明每个 chordal graph 也对应着一个消元序（即不会额外引入 fill edge）。这个消元序可以使用 maximal cardinality 算法获得（每次选择 marked neighbors 最多的点，并把当前点 mark，按此顺序的逆序即可）。注意因为我们并不知道消元序，所以我们无法直接使用这个算法，而如果对于非 chordal graph 这个算法获得的结果往往不如前面的。
除了以上的策略以外，还有一种称为 conditioning 的策略（video 中并没有 cover），其解决的核心问题是消元法可能产生的 table 尺寸过大而无法放入内存。那 conditioning 的 idea 是什么呢？其实也很简单就是直接拿某些东西进行累加：
这样做的意义在于，我们只需要遍历所有可能的取值，而不必要存放其中的 factor，这样我们等价于每次用那部分 factor计算出来的一项完成结果中的一部分，然后遍历时累加最后得到结果，这明显没减少总共的计算次数。（与消元法的差异在于消元时每次都先加好了，最后再乘，所以只是顺序上的调整）这里复杂度分析也是借助对应 induced graph（没大看明白有什么用）。
在某些情况下 conditioning 可以得到加速：
有了这两种基本的求解方法后，我们来看两个具体带有结构的 CPD 上如何简化。一个例子是 noisy OR，对于 OR 这类操作，简化的想法是将原因分开进行 OR 而不要一次全部 OR 起来，这样做会增大 conditioning 的代价。另一个例子是 context-specific independency，这时我们使用了 tree 或者 rule 类型的表示，这时我们就应该利用这些结构来改进 conditioning。（感觉这类型见的不多，后面有空详细看例子吧！）
——————-
Therefore Abimelech rose early in the morning, and called all
his servants, and told all these things in their ears: and the men were sore
afraid.
原文地址：http://www.cnblogs.com/focus-ml/p/3775438.html
