美文网首页
注意力机制与链式条件几率

注意力机制与链式条件几率

作者: JamesPang_4841 | 来源:发表于2019-03-08 08:58 被阅读0次

    我们的目标是给定X,求Y的分布:P(Y|X),其中X,Y是多维向量。

    实际情况中,y1可能和x1关系更大,y2和x3,x5更相关...

    所以我们改写P(Y|X) = p(y1|X)p(y2|Xy1)p(y3|Xy1y2)...

    对于给定训练样本集,p(y1|X),p(y2|Xy1),p(y3|Xy1y2)...,都很好求(y的顺序一般按照关系从大到小的)。

    在实用测试时,由x生成一些y1,xy1生成一些y2...直至结果。

    有人问,为何这样折腾,不直接求P(Y|X)呢?

    因为Y维度太高的话,样本数太少不行的,太稀疏了!求p(y1|X)需要的样本数就少很多嘛!


    针对p(y1|X),Y的高维度问题解决了;但是,X维度太高的话,长程关联依然很难捕获。f1就是X的简化版。现在的问题就是f1如何得到。最简单粗暴的方法是直接精简X。普通的X我们也只能这样;

    相关文章

      网友评论

          本文标题:注意力机制与链式条件几率

          本文链接:https://www.haomeiwen.com/subject/iwjlpqtx.html