关于bert的一些思考

作者: A_You | 来源:发表于2019-06-19 09:48 被阅读0次

关于bert的一些思考
2019 年最值得关注的 10 个机器学习开源项目
NLP算法岗面试前的知识点总结
可能会绕过RNN了
BERT 模型蒸馏 TinyBERT
Bert使用随笔
iOS关于换肤和夜间模式的一些思考
bert资料笔记
XLNet: Generalized Autoregressiv
BERT 详解（二）

不存在词库中的字符编码

选取 ~ 和﹌两个字符(不在词表中),分别进行编码：

bc.encode(['~','﹌'])
>array([[-0.07489464,  0.16149375, -0.33627284, ...,  0.04575281,
>        -0.28409064, -0.37837937],
>       [-0.5791109 ,  0.6424987 , -0.44838306, ...,  0.15206014,
>         0.2173949 , -0.34425637]], dtype=float32) ```
可以看到得出的vector是不一样的

关于bert的一些思考
不存在词库中的字符编码选取 ~ 和﹌两个字符(不在词表中),分别进行编码：bc.encode(['~','﹌...
2019 年最值得关注的 10 个机器学习开源项目
顶级开源项目先让我们看看今年的一些顶级开源项目。 BERT BERT 是 Bidirectional Encod...
NLP算法岗面试前的知识点总结
关于Bert Bert的15%mask比例怎么来的猜测，可以类似CBOW中滑动窗口的中心词，区别是这里的滑动窗口...
可能会绕过RNN了
最近看了一些关于nlp技术路线的文章，自从2018年bert之后，nlp的重点似乎已经从rnn转移到transfo...
BERT 模型蒸馏 TinyBERT
BERT 的效果好，但是模型太大且速度慢，因此需要有一些模型压缩的方法。TinyBERT 是一种对 BERT 压缩...
Bert使用随笔
Bert使用使用Bert模型其中bert_config是BertConfig类，bert内部是从json配置文...
iOS关于换肤和夜间模式的一些思考
iOS关于换肤和夜间模式的一些思考 iOS关于换肤和夜间模式的一些思考
bert资料笔记
当Bert遇上Keras：这可能是Bert最简单的打开姿势 karas_bert
XLNet: Generalized Autoregressiv
1. 创新点 XLNet主要解决了Bert存在的一些问题，所以在介绍XLNet前，先简单介绍一下Bert，及其问题...
BERT 详解（二）
1. BERT 结构 BERT是以 Transformer 为基础的，目前有两种变体： BERT Base：12层...