论文进入了第2阶段，超过了baseline一点点，做一个短期的小结把。
- 一开始多想main contribution，不要小打小闹往模型里添加各种trick
- 看论文一定要看细一点，知道作者模型实现的各种细节是什么样的
- 往模型里添加别的模块时要想一想这个模块之前适合于什么样的任务，之前的任务有什么特点，这个模块加入我自己的任务后还有用吗，如果没有用，应该怎么改进才适用于我的模块
- 想到一个创新点后一定要从各方面来判别这个创新点的可行性，不能直接做实验
- 交流时不说现象，直说结果，一定要时时明确自己在做什么事情
- 对比baseline一定要和follow的paper复现的对比，不和原论文比，同时也要知道原论文是怎么和别的方法比较的
- 虽然不情愿但不得不承认，每天和mentor讨论3次真的很有用...能极大的加快论文进度
- 多做并行实验，一点一点做改进
- 模型跑得慢不一定是计算量增大了，还有可能是设备出现了问题
1.改变四维tensor的fm
- B,c,h,w
reshape[b*c,h,w]
复制tensor覆盖，肯定占内存
For I in b *c - mask(selected_mask返回一维)
- ,> , >>,
- ps -l
- tmux
ctrl b + " % 空格
网友评论