##08.15
1、DAG,有向无环图，a -> b ,a -> c, b -> c,不能从c 再指回a,被称为有向无环图。应用，区块链，提高交易速度，mr,spark，缺点是在安全问题上，双花，影子链攻击
2、mr运行机制
2.1、运行mr的两种方法，submit() waitForCompletion()
2.2、整个过程，涉及五个实体
客户端，提高mr作业
yarn资源管理器，协调集群计算资源分配
yarn节点管理器，负责启动和监视集群上的容器
mr的application master，负责协调运行mr作业的任务，它和mr任务在容器中运行，容器由资源管理器分配，并由节点管理器管理
分布式文件系统 hdfs,负责与其他实体间共享作业文件
3、mr步骤
3.1、作业提交
3.2、作业初始化
3.3、任务分配
3.4、任务执行
3.5、进度和状态更新
3.6、作业完成
中间会涉及到失败，详细步骤下一节细看
4、作业提交
4.1、客户端submit()，内部创建jobSubmiter waitForCompletion() 每秒轮训结果，如果有变化，打印在控制台，完成，则打印统计计数，失败，打印失败原因
4.2、jobSubmiter相资源管理器申请应用ID，用于mr作业ID，
4.3、检查输出说明，如果没有指定输出目录或者输出目录已经存在，则抛出异常，作业就不会真正提交
4.4、客户端计算作业分片，如果分片无法计算，输入目录不存在，则抛出异常，作业不提交
4.5、将运行作业所需资源包括（作业jar文件，配置文件，计算所得分片）复制到一个作业ID为目录的共享文件系统中，作业jar复本默认为10，MapReduce.client.submit.file.replication 参数控制，运行任务时，有很多复本可供节点访问
4.6、调用资源管理器的subApplication()提交作业
上回话神话时代，此回话传说时代
公元前二十七世纪，三部落争霸
河南淮阳神农部落，酋长姜榆罔，五氏之一神农后裔，没落中。。。
山西运城九黎部落，酋长蚩尤，有9个儿子
河南新郑有熊部落，酋长姬轩辕，文化高，智慧大
有熊部落被夹在中间，有两面作战危险，所以发起主动攻击
先打败神农部落，后与九黎会站涿鹿，九黎大败，蚩尤战死，
姬轩辕此后被称为“黄帝”
黄帝王朝
第一代 前2698-2598 黄帝=姬轩辕 （五帝之一）
第二代 前2598-2515 玄器 昌意 己执
第三代 前2515-2437 蛟极 玄帝=姬颛顼 （五帝之二）
第四代 前2437-2367 喾帝=姬夋 （五帝之三） 穷蝉
第五代 前2367-2258 姬挚 尧帝=伊祁放勋（五帝之四） 敬康
第六代
第七代
第八代 句望 桥牛 瞽叟
第九代 舜帝 = 姚重华 （五帝之五）
点我，有意思====》程序员如何在线上修复bug
网友评论