大数据开发个人参考

1. 作为一个开发人员

1. 时与位

你在一家公司待一段时间,设定/调整自己的目标

随着时间的推移,在团队,部门中所处位置的变化,并伴随这个调整目标

1. 刚入职
2. 入职半年
3. 入职一年
4. 入职两年
5. 入职三年

2. 项目

以项目拥有者的身份去看待一个项目

一开始以模仿为主去写代码

随着需求不断的增加,代码的增加,项目要不断处于演进中

类似的需求可以使用更好的方法来实现, 苟日新,日日新

单元测试一定要跟上

1. 假如让你主导这个项目的整个开发,重构 (没有其他人制约你)
2. 有新人加入,怎么快速熟悉,review代码

3. 代码与数据

1. 知道让代码错误的数据 (代码错误是不是单元测试可以加以预防)
2. 影响执行效率的数据
3. 业务上正确/错误的数据
4. 拆解代码,拆成模块/项目
5. 可配置

4. 优化

1. 尽量使用多的机器资源 (提高并行度)
2. 尽量使用内存
3. 减少不必要资源的消耗
4. 考虑到数据的特性 (本地性)
5. 计算和存储进行平衡 (用计算代替存储,存储代替计算)

5. 数据结构与算法

1. 始终以table作为核心的数据结构来思考代码和数据
2. 尽量使用带有很多属性的schema形式,即便是map类型, 也可以指定key的取值, 让其带有很多的业务属性
3. 熟悉分治算法就够用了, 如果会排序就更好了

2. 作为一个管理人员

1. 放与收

1. 从事完全不同业务的同时,怎么凝聚
2. 如何对个人的能力和贡献进行评估
3. 如何对个人设定目标并加以指导 (差异性,针对性)
4. 奖励和惩罚
5. 让个人获得团队的认可 (主题分享,技术探讨)