介绍MarkovProcesses之前，必须介绍一下马尔科夫性质。1MarkovProperty具有马尔科夫性质的状态满足下面公式： 根据公式也就是说给定当前状态St,将来的状态与t时刻之前的状态已经...

今天我们把注意力放到无向图模型，以及马尔可夫网络(MarkovNetworks)。事实上之所以叫做无向图模型，只是因为概率图中的边可以是双向的：在这里，就是所有可能性值的求和：唯一与马尔可夫网络不同的...

前面总结了马尔科夫决策过程之MarkovProcesses（马尔科夫过程），见下文：马尔科夫决策过程之MarkovProcesses（马尔科夫过程）马尔科夫决策过程之MarkovRewardProce...

本文我们总结一下马尔科夫决策过程之MarkovRewardProcess（马尔科夫奖励过程），valuefunction等知识点。1MarkovRewardProcess马尔科夫奖励过程在马尔科夫过程...