马尔科夫相关概率问题

用来描述一个动态过程的：
1.经过某个状态的概率；
2.到达了终止状态后，经过多少路程的期望；
3.足够长时间后的稳定状态。

1.经过某个状态的概率
例题：持续抛硬币，抛出第一个001甲赢，抛出第一个101乙赢，问甲乙各自赢的概率。
做法：画出状态转移图，终止状态是001和101，状态含义：最后n位是（0,00,001或者1,10,101）；给出进入各个状态的转移概率；给状态都编号，概率Xi，对每个状态列方程求解。
注意：开始抛得0,概率0.5，故X1=0.5，下一个00状态X2=0.5X1+0.5X2，这是这个状态分别由X1和自己以一定概率转移来的（算的是“入边”）。
另一种做法：枚举初始的两次的状态：00,01,10,11，然后讨论。

2.到达了终止状态后，经过多少路程的期望
例题1：游戏中人物升级，p1概率不动，（p2概率降级），p3概率成功，每次升级都要消耗一个宝石，请问升到n级需要的宝石期望是多少？
例题2：（看着像第一种题）持续抛硬币，抛出第一个001就终止，问要抛多少次？
做法：画出状态转移图，终止状态只有一个，状态含义：到i级；给出进入各个状态的转移概率；给状态都编号，Xi代表从这个状态走到终止状态时消耗的宝石的期望；对每个状态列方程求解。
注意：X0=p0*(X0+1)+p1*(X1+1)（不考虑降级），所以这个式子是算“出边”，其含义是，X0要走到终点的话，要走遍所有的“出边”，其中，如果是走X1这条路，那么到终点的期望是X1走到终点的期望加上已经走的1步。

3.稳定状态
例题：人口迁徙，A市经过1年后，p11概率留在A，p12概率去B，B市经过一年后，p21概率去A，p22概率留在B，问人口稳定下来AB市的人口各是多少？
做法：转移矩阵的N次方，N->无穷大。