给定无穷时序数据x...0,1...,
已知过去x...,0,任一总结函数s0=f(x...,0),可以得到状态表象s...0,1,...。
提出问题:求最优总结函数f0,使得互信息量I(s...0, s1...)最大。
解:I=H1... - H..0|1..
先看条件几率P..0|1..,表示已知过去时将来的概率:
P..0|1.. = p..0|1 * p..1|2 * p..2|3 * ...
若f满足p..0|1=pm..0|1, 则
P..0|1..=pm..0|1 * pm+1..1|2 * pm+2..2|3...
P..0,1..=p..0 * P..0|1.. = p..1 * pm+1..1|2 * pm+2..2|3... p1..1-m|2-m.. = p..1-m * p1..1-m|2-m..
P1..就是将..0积分掉,
p1..= p1..1-m * p1..1-m|2-m..
则I中p1..1-m|2-m..后面的项全减掉了, 所以
I = h1..1-m - (hm..0|1 + hm+1..1|2 +..+ h0..-m|1-m)
=I(m..0, 1..1-m)
就是说,全局I可由m..1-m范围内的s求得。特别当m=0时,与0,1的互信息量相等:
I(..0, 1..) = I(0, 1)。
若f未知时,则m未知,我们任意设定的m可能小于实际m,则求出的I有截断,则比真实的I小,就会存在总结遗漏信息的情况,就需要why机制来找回因子。