前一天12点睡觉时就猜到今天肯定会晚起，果不其然晚了十分钟，看来最近欠的睡眠属实有点多……急匆匆带上伞出门
上午不干活已经成为了惯例。中午午睡过后开始给BERT调参，之前对服务器显存和模型复杂度都乐观估计了，实际上batch_size到了128之后显存依旧会爆炸，一怒之下改成用CPU+内存跑，训练速度又变得奇慢无比……虽然服务器的i7肯定比办公电脑的i5要好一点。今天进度也就一般般，明天开始好好努力吧（？）而且两台服务器也可以一起利用一下。
之后花时间补了一些关于深度学习硬件层面（CPU+GPU+内存+显存etc）上的内容，下班前和同事吹了会儿水，被传授了一些BERT调参的技巧（？）到家后就快八点了……
晚上也就打了一会儿FIFA，连雀魂都没开。话说现在DR变得好难打，是因为只剩下大佬还在坑里了吗……顺便看了一集比宇宙更远的地方。
明天计划：验收目前在跑的模型结果；改batch_size以外的参数观察效果；搜一搜网上的BERT调参心得
网友评论