快到2015年年关,实习也有4个月了,写一写我的心历路程。
这段时间我主要在折腾MongoDB和数据挖掘相关的东西,当然,期间也做了一些和web相关的工作。
首先,MongoDB是我几乎每天都要打交道的对象,主要用Python进行操作,不仅要想尽办法榨干它的性能,更重要的是要让它7×24工作,高压下也不能说挂就挂。后来我嫌原生的PyMongo太慢,自己基于它封装了一个异步的模块(参考了Tornado的IOLoop),叫做AsynMongo,放在github,并提交到了Pypi,当然,模块还不成熟,还在看PyMongo的具体实现,继续改进。这个过程让我以下认识:
- SQL真TM强大,真的可以称作一门语言,NoSQL的语义表达能力确实有待提高。
- 对于异步操作我真的才刚刚入门,对于不同异步模式的应用场景还需要多看多学。
- 如何抽象数据库,抽象对象,关系到数据结构。
其次是数据挖掘,之前也有自己随便玩玩分析点数据,但是当真正有任务存在的时候,才会发现数据挖掘还真不是那么容易做的,在做的一个关键词检测的项目中还遇到过几次“山重水复疑无路”的时候,愣是和我一起做事的哥们挺了过来,那个哥们在数据挖掘方面确实是有一定水平的。当然最后的结果是可喜可贺的,我们的项目成功上线,并且确实是业内做的比较好的。数据挖掘方面我有这么几点认识:
- 数据是最重要的,数据对应的场景一定要弄明白,数据格式要事先规定好,注意备份数据,注意备份数据,注意备份数据!
- 性能很重要,但是不要过早优化性能
- 当山重水复疑无路的时候,一定要相信柳暗花明又一村!
- 分析模型很重要!
对于web,我只是搭建了一个小的web服务,但是我们部门毕竟是做云计算的,在这个方面我还是学到了很多知识,比如Nginx的相关知识,微服务的认识。特别是对于任务和消息有了初步的认识。我一直在构建一个自己认为的普适的高性能高内聚低耦合的开发框架,希望能够很快的构建一个百万或者千万级的应用。
这个是我大方向的一些收获和感想,具体的一些东西我还是想另起篇幅进行总结。
网友评论