位置编码

位置编码

作者: SimonLiu000 | 来源:发表于2021-08-31 19:55 被阅读0次

Transformer: 不可学习位置编码

可以看出不同的column(j)之间，周期不一样

不同的row(i)之间，值不一样

且相邻的column之间，相位不一样

$\mathbf{P} \in \mathbb{R}^{n \times d}: p_{i, 2 j}=\sin \left(\frac{i}{10000^{2 j / d}}\right), \quad p_{i, 2 j+1}=\cos \left(\frac{i}{10000^{2 j / d}}\right)$

特点：

相邻一定距离的位置，可以通过线性变换得到

$\omega_{j}=1 / 10000^{2 j / d}$

$\left[\begin{array}{cc}\cos \left(\delta \omega_{j}\right) & \sin \left(\delta \omega_{j}\right) \\-\sin \left(\delta \omega_{j}\right) & \cos \left(\delta \omega_{j}\right)\end{array}\right]\left[\begin{array}{c}p_{i, 2 j} \\p_{i, 2 j+1}\end{array}\right]=\left[\begin{array}{c}p_{i+\delta, 2 j} \\p_{i+\delta, 2 j+1}\end{array}\right]$

BERT：可学习位置编码

直接设定为可学习的与序列等长的向量即可，可以用随机初始化

相关文章

网友评论

本文标题：位置编码

本文链接：https://www.haomeiwen.com/subject/lfzziltx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

热点阅读

关于我们|服务条款|联系我们|位置编码|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！