BERT 理论

涉及论文

《Attention Is All You Need》

《Improving Language Understanding by Generative Pre-Training》

《BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding》

下面这篇资料言简意赅的给出了纲要，可以在此基础上深挖

http://www.linzehui.me/2018/10/14/%E8%AE%BA%E6%96%87/%E6%AF%8F%E5%91%A8%E8%AE%BA%E6%96%871/

1、CSDN BERT 资料

https://blog.csdn.net/qq_39521554/article/details/83062188#%E8%AE%BA%E6%96%87%E7%9A%84%E6%A0%B8%E5%BF%83%EF%BC%9A%E8%AF%A6%E8%A7%A3BERT%E6%A8%A1%E5%9E%8B%E6%9E%B6%E6%9E%84

https://blog.csdn.net/chunyun0716/article/details/83660390

2、知乎 BERT 资料

https://zhuanlan.zhihu.com/p/49271699（张俊林博士这篇是从蛋生鸡一步步介绍了BERT的起源和发展历程了，五星赞）

https://zhuanlan.zhihu.com/p/46652512

https://zhuanlan.zhihu.com/p/27608348

https://www.zhihu.com/question/298203515

3、今日头条 BERT 资料

https://www.toutiao.com/i6626146412599968260/

4、52nlp BERT 资料

http://www.52nlp.cn/tag/bert-as-service（ 整理了相关资料和 BERT 应用 ，很不错）

BERT 实践

Google 的 BERT 地址：https://github.com/google-research/bert

BERT 对于使用者的优势之一就是可以避免pre-train，使用Google训练好的 pre-trained models

pre-trained-model 地址：https://github.com/google-research/bert#pre-trained-models

Google BERT Pre-trained Models

本人在开始尝试使用 BERT 的时候，借用了肖涵博士的 bert-as-service

1、作者肖涵博士的介绍

肖涵博士，bert-as-service 作者。现为腾讯 AI Lab 高级科学家、德中人工智能协会主席。

肖涵的 Fashion-MNIST 数据集已成为机器学习基准集，在 Github 上超过 4.4K 星，一年来其学术引用数超过 300 篇。肖涵在德国慕尼黑工业大学计算机系取得了计算机博士（2014）和硕士学位（2011），在北邮取得了信息通信学士学位（2009）。他曾于 2014-2018 年初就职于位于德国柏林的 Zalando 电商，先后在其推荐组、搜索组和 Research 组担任高级数据科学家。肖涵所创办的德中人工智能协会（GCAAI）如今拥有 400 余名会员，致力于德中两国 AI 领域的合作与交流，是德国最具影响力的新型团体之一。 

微信：hxiao1987

博客：https://hanxiao.github.io/

德中人工智能协会：http://gcaai.org/

2、bert-as-service 的介绍

肖涵博士的 bert-as-service 地址：https://github.com/hanxiao/bert-as-service

从 Contributors 中惊奇的看到，BERT 的主要贡献者 jacobdevlin-google 为 bert-as-service 也 commit 了大量代码

bert-as-service Contributors

这是 bert-as-service 的安装及使用介绍：https://pypi.org/project/bert-serving-server/

bert-as-service Install

这里要强调一下 bert-as-service 依赖的软件环境是 Python 3.5 & Tensorflow 1.10 及以上版本

亲测经过使用谷歌 pre-trained 提供的 chinese_L-12_H-768_A-12 模型，计算一些 phrase 的向量，然后用 cos 评估其相似度的结果如下

Phrase 相似度

当然这个只是使用谷歌提供的原始 pre-trained 模型得到的结果，结合我们的业务，进行 fine-tuning 是十分重要的

搜集部分 fine-tuning 的参考资料如下，留下研究

BERT模型fine-tuning代码解析（一）（https://leowood.github.io/2018/11/16/BERT-fine-tuning-01/）

干货 | BERT fine-tune 终极实践教程 （https://www.jianshu.com/p/aa2eff7ec5c1） 

乾貨 | BERT fine-tune 終極實踐教程 （含参数据的Fine-tune调试：https://www.jishuwen.com/d/205W/zh-tw）