今天完成
1. 在阿里云上部署了hadoop和yarn的测试环境，三个节点，三个节点都部署了nodemanager和datanode服务，其中一个节点还部署了resourcemanager和namenode。部署过程参考笔记“大数据：hadoop和yarn安装”里的集群安装部分。完善了一下hadoop的部署笔记
2. 在阿里云相同的集群上部署了hbase，主节点部署了Hmaster，其他两个节点部署了regionserver。还用三个小节点部署了zookeeper服务，主机名字分别为zk000，zk001，zk002。完善了一下hbase的部署笔记。部署了spark集群，主机点部署了Master，其他两个节点部署了worker。完善了一下spark集群部署的笔记。
2.1. 晚上做测试的时候发现cpu使用率是满的，觉得很奇怪，就查看了一下进程，搜索了google。发现是一个木马，利用yarn的8088端口不需要认证就可以提交任务的漏洞来下载执行脚本，然后就在你的集群上挖矿。对，没错，是挖矿，挖虚拟货币，门罗币！最后把木马的crontab任务删除了，挖矿进程kill了，执行程序删除了，还需要将公网上的8088端口在阿里云上关闭
3. 在mooc网上看完了hbase的基础教程，感觉还可以。还看了storm的入门教程，这个教程好烂，看了等于没看
4. 了解了一下hadoop 3.0有什么新特性，比较有用的，
1）可以配置2个以上的namenode做HA
2）hdfs支持eraser code
3）在新添加节点后会出现数据倾斜的情况，可以使用新的balance工具重新平衡节点的数据
将要做
1.在spark集群运行简单任务 ++
2.配置开发环境，写一下稍微复杂点的任务 +
3.了解storm，上慕课网的课程入门了解 ++， 再查阅相关文档了解其机制 --
网友评论