马尔可夫随机场与条件随机场

文章目录

马尔可夫随机场1. 引言2. 团与极大团3. MRF联合概率4. MRF的条件独立性(有向分离)条件随机场

马尔可夫随机场

1. 引言

马尔可夫随机场(Markov Random Field，简称MRF)，是马尔可夫网的一种，生成式模型，是一种著名的无向图模型。图中每个节点表示一个或一组变量，结点之间的边表示两个变量之间的依赖关系。马尔科夫随机场有一组势函数，非负实函数，主要用于定义概率分布函数。

2. 团与极大团

对于一个马尔科夫随机场图中的结点的一个子集，若其中任意两节点键都有边连接，则成结点子集为一个团。

若在一个团中加入另外任何一个结点都不在形成团，责成该团为极大团。

3. MRF联合概率

MRF中，多变量之间的联合概率分布能基于团分解为多个因子的乘积，每个因子仅与一个团相关。具体来说，对n个变量{x1,x2...,xn}\{x_1,x_2...,x_n\}{x1​,x2​...,xn​}所有团构成集合为C，与团QϵCQ\epsilon CQϵC对应的变量集合记为xQx_QxQ​，则联合概率P(X)P(X)P(X)为:P(X)=1Z∏QϵCψQ(xQ)P(X)=\frac {1}{Z} \prod_{Q\epsilon C}\psi_Q(x_Q)P(X)=Z1​QϵC∏​ψQ​(xQ​)其中ψQ\psi_QψQ​为与团Q对应的势函数，用于对团Q中的变量关系进行建模，Z=∑x∏QϵCψQ(xQ)Z=\sum_x \prod_{Q\epsilon C}\psi_Q(x_Q)Z=∑x​∏QϵC​ψQ​(xQ​)为规范化因子，以确保P(x)是被正确定义的概率。

很显然，若变量个数较多，则团的数目将会很多，这就会带来计算负担。注意到若团Q不是极大团册必被一个极大团Q∗Q^*Q∗所包含，这就意味着xQx_QxQ​之间的关系不仅体现在势函数ψQ\psi_QψQ​中还体现在ψQ∗\psi_Q^*ψQ∗​中于是联合概率P(X)可基于极大团来定义，假定所有极大团构成的集合为C∗C^*C∗，则有P(X)=1Z∗∏QϵC∗ψQ(xQ)P(X)=\frac {1}{Z^*} \prod_{Q\epsilon C^*}\psi_Q(x_Q)P(X)=Z∗1​QϵC∗∏​ψQ​(xQ​)，其中Z=∑x∏QϵC∗ψQ(xQ)Z=\sum_x \prod_{Q\epsilon C^*}\psi_Q(x_Q)Z=∑x​∏QϵC∗​ψQ​(xQ​)

4. MRF的条件独立性(有向分离)

在f给定的情况下，判断a和b的独立性。我们把a，e，c当做一个整体，由贝叶斯网络独立性分析可知左半部分和b相互独立，我们认为a和b独立，通俗点说，这就是有向分离。

而对于MRF有：

全局马尔科夫性：给定两个变量子集分离集，则这两个变量子集条件独立。

推论：

局部马尔可夫性：给定某变量的邻接变量，则该变量独立与其他变量。成对马尔科夫性：给定所有其他变量，两个非邻接变量条件独立。

条件随机场

(/p/55755fc649b1)