灯塔

没想到再次打开，竟然离上次立下flag已经过去八个月了，中间学习更是像在一望无际的浩海中漂流，很遗憾拖延症加不知怎么表达的我始终没有找到再次写文章的动力。好不容易，终于觉得自己在未来前进的方向上有了点清晰的目标了，在这里写下，算是立下又一堆flag。

可以肯定的是，未来会沿着以Deep Reinforcement Learning（DRL）为核心力量，Deep Learning（DL）为辅助技术的研究路线前进，一方面争取把DRL切合应用于现存的系统中，如Cloud Computing和Network Control中，另一方面争取在DRL的理论上有所创新。在其他方面，希望继续保持对技术的狂热追求，保持一定量的Android开发，同时保持学习全栈的知识。这里总结下现有掌握的和未来希望进阶的。

Deep Reinforcement Learning

已推广应用DRL到Cloud Radio Access Network（C-RAN）中用于resource allocation，从中掌握到了搭建DRL框架和训练的一些基本知识，算是初次接触到了TensorFlow，在老师严厉的吐槽和批评中算是完成了博士阶段第一篇paper，发表在了ICC 2017会议上。但是，不管是自己还是老师，对这次工作并不太满意，主要体现在 1. 模型上只是简单应用DRL中的Q-Learning，并没有针对C-RAN的特性进行一些特殊的调整 2. 实验结果很差，模拟得并不好，实验参数有很大的调整空间。希望能够接下来找到一些突破点，能够改进model部分，并且以新学习到的一些经验来调整参数，让实验结果更加可靠和专业。

接下来应该是一方面深入理解Reinforcement Learning的基础，比如Policy Gradient和 Deterministic Policy Gradient，主要途径是上Berkeley CS 294的课，和读David Silver的Paper或者Reinforce Learning书。另一方面帮师兄应用到Cloud Computing System中，期望能够针对应用改进现有model并且调出参数能够得到好的实验结果。再就是结合Generative Adversarial Network（GAN）到DRL中，或者结合DRL到GAN中，两者在结构上和训练上都有诸多相似之处，虽然现在没有想好具体能做什么，但是有感觉两者之间存在共通。

Deep Learning

由于寒假请假回家被老板无情拒绝，只好老老实实待在雪城，帮师兄实现他提出的Deep Model。好在整个过程中对Auto Encoder，Convolutional Neural Networks，和LSTM的实现和调参都有一定学习，比如一些常用的Active Function的选用，怎么从Loss来观察训练，和一些数据预处理的基本方法如用滑动窗口做出LSTM需要的格式，对数据Normalization等。

接下来希望能够系统的学习一下DL的内容，可以从Stanford的CS 231的课和Ian Goodfellow的DL书入手。有一些系统的认识和支撑，能够帮助我在选择model和调整参数上做出更好的决策。

Python+TensorFlow+TFLearn（Keras）

这几次项目都是基于TensorFlow的Python实现，为了简化操作，使用到了TFLearn，同时又为了保证能够搭建出自己的新model，所以又不得不采用TensorFlow和TFLearn混合使用的方式。整个过程中，基本上是对TFLearn的API有了比较深刻的理解，由于本身TFLearn规模不大，所以可以完整了解到每一个high level的API，这样能够不仅能帮助我了解何时该怎么用，更可以让我知道如果无法满足的需求的时候如何进行修改。

当然随着TensorFlow 1.0的发布，Keras有被钦定的感觉，未来可能会逐渐了解Keras并转移到上面。现在毕竟还只是技术的follower，有机会的话希望也能在使用中发现一些问题，对开源社区贡献一点力量吧。

Python现在使用比较多，但好像并没有进一步深挖一些高级特性，比如Iterator，lambda，函数式编程，多线程等。希望下一步能够学习并且结合到现有一些项目代码中吧。

Android Programming

FITS项目中负责移动端的开发，一直感觉自己系统架构能力比较差，总是缝缝补补或者为了暂时能用就设计得很简单，导致实际app扩展性和稳定性很差。希望能够学习一些软件设计的技巧，能够让自己的Android项目看起来更专业，更优雅一些。

Full Stack

小程序的出现让我比较兴奋，算是有一个地方可以对Full Stack的学习有一些实践，并且目前这个项目是有实用价值和商业价值的，所以在学有余力的时候能够挤出一点时间来尽快完成目前这个小程序项目。下一步希望能够学习一下Responsive Web Design，主要通过Udemy的课（之前也囤了Linux Bash的课，希望也能完成）。 

读书与思考

正是由于自己处于Computer Science这个时代大潮中，所以一方面有大时代的使命感让我兴奋，同时也有种时不我待的紧迫感，除了技术性的学习之外，阅读和思考自然也不能少。阅读分为短与长，短即新媒体微信微博等平台一些优质文章博客，长即书系统性和沉淀性学习。下一步希望能够整理出一些书评出来，算是对读的一个反馈和思考。

浪浪浪

争取回国吧！都两年了。。。至于其他地方，现在有了我的小马儿了，要抓住机会浪起来才对得起它！

(2016-04-24 摄于长岛)