Hadoop

构造模块

• NameNode 名字节点
  • 位于HDFS主端，指导从端的DataNode执行底层的I/O任务
  • 负面影响：Hadoop集群的单点失效。
• DataNode 数据节点
  • 每个从节点驻留一个DataNode守护进程
  • DataNode不断向NameNode报告
• Secondary NameNode 次名字节点
  • 用于监测HDFS集群状态的辅助守护进程，每个集群有一个SNN
  • 不同在于不接收或记录HDFS的任何实时变化
  • 它与NameNode通信，根据集群所配置的时间间隔获取HDFS元数据的快照
• JobTracker 作业跟踪节点
  • 提交代码到集群后，JobTracker就会确定执行计划
    • 决定处理哪些文件
    • 为不同的任务分配节点
    • 监控所有任务的运行
    • 若任务失败，将自动重启任务，但分配的节点可能不同，同时受到预定义的重试次数限制
  • 每个Hadoop集群只有一个JobTracker守护进程，通常运行在服务器集群的主节点
  • 计算的守护进程也遵循主/从架构
  • 作为主节点，监测MapReduce作业的整个执行过程
• TaskTracker 任务跟踪节点
  • Hadoop分布式计算与分布式存储中都采用了主/从结构。
  • 管理各个任务在每个从节点上的执行情况
  • 每个从节点只有一个TaskTracker，但每个TaskTracker可以生成多个JVM来并行处理map或reduce任务

HDFS

• 块
  • HDFS中fsck指令可以显示块信息：hdfs fsck /-files -blocks