这一周,主要是将im2txt放在比赛的服务器跑了起来,然后学习了使用RNN进行分类。
将im2txt模型跑起来
首先
将上周的一些错误解决了,然后放在本地能跑起来了。至于究竟解决了什么问题,现在已经忘记了。
然后,将代码放到比赛的服务器跑起来
全球AI挑战赛这个提供的服务器是UCLOUD提供的GPU服务器。它是通过docker来进行部署的,流程是:在本地调试好代码,然后用docker打一个本地的镜像,然后上传到ucloud的服务器;之后,在ucloud后台创建一个训练任务,设置相关配置就可以 训练了。在后来的训练的时候,就会轻松很多,只需要打包上传,然后创建任务。整个流程有5个文档,蛮复杂的(可能是第一次接触使用Docker打包上传代码的原因)。
最后,我成功了。但是,把代码放上面去跑的时候,发现损失降的没有那么快。跑了12个小时,损失还在1.0左右,并且bleu score在13分左右,没有上升的趋势。后来,我将batch_size调到32,提升训练任务,看效果会快很多。
RNN进行分类
这个是因为我星期五的时候,想自己写个分类器,居然发现不会写。写完了之后,跑起来的时候,居然又发现效果奇差。好吧,看来还不会。然后回去看了看优达学城的RNN情绪分类,按照上面的教程,一步一步跑了一遍。整个流程没有什么难点,就是将内容传给RNN,然后使用RNN最后输出一步输出的结果来判断是positive还是negative。需要注意的是,拿取的是output最后的time step的结果。中途出现了几个问题,不过有代码参考,很快搞定,现在就让它自己电脑上跑。
总结与计划
总结:上周跑通了模型,并放在了服务器上跑,只是瞧了一眼seq2seq的代码,没有仔细去看。还有,发现自己还是对tensorflow一些东西不会用,感觉很可能是因为理论知识的缺乏。
计划:
- 调整比赛模型,争取这一周训练出的模型能靠点谱。
- 吴恩达的深度学习课程
网友评论