美文网首页java大数据
四个月完成一套完整的大数据学习(1、搭建大数据本地模式)

四个月完成一套完整的大数据学习(1、搭建大数据本地模式)

作者: 生命有一种执着 | 来源:发表于2020-03-07 20:08 被阅读0次

大数据本地运行模式

1、首先就是在你的本地搭建虚拟机;(这个基本人人都会,不清楚的可以百度)

2、修改主机名:

        vi /etc/hostname,修改的主机名要记住,我这边的是bigdata_1。

3、在opt目录下创建两个文件夹:soft,module

        soft用于存放jdk和hadoop的压缩包

        module用于存放解压后的jdk和hadoop(jdk和hadoop的版本看个人使用哪个,这里我的jdk是1.8,hadoop是2.8.4)

4、进行配置jdk以及hadoop的环境变量

        先将两个压缩包解压至module文件夹中;

        配置环境变量:vi /etc/profile

        查看是否配置成功:每次配置完要进行source /etc/profile

        jdk检查:java -version

        hadoop检查:hadoop

5、最后我们要进行hadoop本地模式的测试

        在 /opt 目录下创建一个test文件,内容自己随便写;

        进入/opt/module/hadoop-2.8.4/share/hadoop/mapreduce目录下(就是进入你的hadoop目录下),找到hadoop-mapreduce-examples-2.8.4.jar这个jar包

        使用命令进行测试:hadoop jar hadoop-mapreduce-examples-2.8.4.jar wordcount /opt/module/test /opt/module/out

6、查看计算好的文件

        cd /opt/module/out查看是否有计算结果的文件生成

相关文章

网友评论

    本文标题:四个月完成一套完整的大数据学习(1、搭建大数据本地模式)

    本文链接:https://www.haomeiwen.com/subject/gjmhdhtx.html