MapReduce

作者: 6默默Welsh | 来源:发表于2018-01-09 09:53 被阅读3次

    DigtialOcean(远程服务器) + Docker 取代 AWS

    原因

    1. docker是一个轻量级容器,比较容易上手,不需要自己配置环境,所有用docker的环境一样,遇到问题也一样,节省开发效率
    2. 价格便宜

    Docker

    1. 容器 a container
    2. (如果手动本地安装 hadoop 需要下载很多 hadoop 文件,把云端 hadoop 环境装到本机,修改配置,解决报错,别人如果安装还需要重复这项工作) docker 作为一个工具把整个 hadoop 环境装到一个小黑箱里,放到云端,所有人都能用
    3. 容器具有轻量级特性,和虚拟机的区别,虚拟机自带操作系统,容器需要用户提供操作系统

    MapReduce 中如果不修改参数,默认key 和 value 之间通过一个 /t 来分割,Mapper 读取的 key 是当前读取行在文件中的 offset,默认情况下 value 是读取的每一行
    context 是 MapReduce 和外界交流的工具,帮助完成读写工作
    MapReduce 写出 string 就 new Text(),写出整数就 new IntWritable()

    相关文章

      网友评论

          本文标题:MapReduce

          本文链接:https://www.haomeiwen.com/subject/vecwnxtx.html