熟悉主流大数据框架
熟悉各主流大数据框架的核心思想与主要区别，根据理解做了一些笔记
《分布式框架比较》
搭建分布式环境
尝试搭建了Storm、Flink、Spark的standalone环境，并部署在yarn上运行代码测试。
image.png
基于spark在command上执行scala代码
image.png
遇到问题
在yarn上部署时常会遇到框架配置文件找不到的问题，但standalone模式则可以通过
OS X和linux的环境配置过程感到比较繁杂，出现配置问题时解决效率较低
对Spark的数据传输处理过程理解很浅，希望通过测试其简洁的函数调用过程进一步吃透
网友评论