美文网首页
2018-11-27 大数据学习

2018-11-27 大数据学习

作者: Bitson | 来源:发表于2018-11-27 14:38 被阅读0次

今天完成

1. 在阿里云上部署了hadoop和yarn的测试环境,三个节点,三个节点都部署了nodemanager和datanode服务,其中一个节点还部署了resourcemanager和namenode。部署过程参考笔记“大数据:hadoop和yarn安装”里的集群安装部分。完善了一下hadoop的部署笔记

2. 在阿里云相同的集群上部署了hbase,主节点部署了Hmaster,其他两个节点部署了regionserver。还用三个小节点部署了zookeeper服务,主机名字分别为zk000,zk001,zk002。完善了一下hbase的部署笔记。部署了spark集群,主机点部署了Master,其他两个节点部署了worker。完善了一下spark集群部署的笔记。

2.1. 晚上做测试的时候发现cpu使用率是满的,觉得很奇怪,就查看了一下进程,搜索了google。发现是一个木马,利用yarn的8088端口不需要认证就可以提交任务的漏洞来下载执行脚本,然后就在你的集群上挖矿。对,没错,是挖矿,挖虚拟货币,门罗币!最后把木马的crontab任务删除了,挖矿进程kill了,执行程序删除了,还需要将公网上的8088端口在阿里云上关闭

3. 在mooc网上看完了hbase的基础教程,感觉还可以。还看了storm的入门教程,这个教程好烂,看了等于没看

4. 了解了一下hadoop 3.0有什么新特性,比较有用的,

    1)可以配置2个以上的namenode做HA

    2)hdfs支持eraser code

    3)在新添加节点后会出现数据倾斜的情况,可以使用新的balance工具重新平衡节点的数据

将要做

1.在spark集群运行简单任务 ++

2.配置开发环境,写一下稍微复杂点的任务 +

3.了解storm,上慕课网的课程入门了解 ++, 再查阅相关文档了解其机制 --

相关文章

  • 2018-11-27 大数据学习

    今天完成 1. 在阿里云上部署了hadoop和yarn的测试环境,三个节点,三个节点都部署了nodemanager...

  • 日精进打卡

    2018-11-27 姓名:李永胜 公司名称:宁波奥利斯 《幸福精进》学习营第48期学习组 【日精进打卡第025天...

  • 2018-11-27

    2018-11-27 2018-11-25 A韵之声解晓 韵之声艺术培训学校 【日精进打卡第6天】 【知~学习】 ...

  • 2018-11-28

    2018-11-27 姓名:王相松 公司:扬州滋奇餐饮有限公司 【日精进打卡第15天】 【知~学习】 《六项精进》...

  • Dense fog in east ,north China f

    2018-11-27 Heavy fog hit many parts of east and north Chi...

  • 2018-11-27

    2018-11-27 刘青林日精进打卡第6天】 【知~学习】 《六项精进》6遍共33遍 《大学》7遍共38遍 《活...

  • 2018-11-27

    2018-11-27 姓名:李文珍 公司名称:扬州滋奇餐饮有限公司 【日精进打卡第16天】 【知~学习】 《六项精...

  • Echo的ScalersTalk新概念朗读持续力训练Day51

    训练材料: [Day 1523 2018-11-27] Lesson51 Reward for virtue My...

  • 深度学习图像视频标注工具及数据集汇总

    “大数据时代”,数据为王!无论是数据挖掘还是目前大热的深度学习领域都离不开“大数据”。 对于监督学习算法而言,数据...

  • 每日前端签到(第115天)

    第115天(2018-11-27) [html] 说说form-data、x-www-form-urlencode...

网友评论

      本文标题:2018-11-27 大数据学习

      本文链接:https://www.haomeiwen.com/subject/ofpgqqtx.html