时序数据预测模型

给定无穷时序数据x...0,1...，

已知过去x...,0，任一总结函数s0=f(x...,0)，可以得到状态表象s...0,1,...。

提出问题：求最优总结函数f0，使得互信息量I(s...0, s1...)最大。

解：I=H1... - H..0|1..

先看条件几率P..0|1..，表示已知过去时将来的概率：

P..0|1.. = p..0|1 * p..1|2 * p..2|3 * ...

若f满足p..0|1=pm..0|1, 则

P..0|1..=pm..0|1 * pm+1..1|2 * pm+2..2|3...

P..0,1..=p..0 * P..0|1.. = p..1 * pm+1..1|2 * pm+2..2|3... p1..1-m|2-m.. = p..1-m * p1..1-m|2-m..

P1..就是将..0积分掉，

p1..= p1..1-m * p1..1-m|2-m..

则I中p1..1-m|2-m..后面的项全减掉了, 所以

I = h1..1-m - (hm..0|1 + hm+1..1|2 +..+ h0..-m|1-m)

=I(m..0, 1..1-m)

就是说，全局I可由m..1-m范围内的s求得。特别当m=0时，与0，1的互信息量相等：

I(..0, 1..) = I(0, 1)。

---

若f未知时，则m未知，我们任意设定的m可能小于实际m，则求出的I有截断，则比真实的I小，就会存在总结遗漏信息的情况，就需要why机制来找回因子。