美文网首页
MapReduce_WordCount

MapReduce_WordCount

作者: Carol_Shi | 来源:发表于2023-01-03 16:56 被阅读0次

    虽然这里是我写的第一个程序,但距离我学习大数据开始已经一年多了,之前一直在学习一些概念,搭建环境,查看各个组件......  其实是不知道从何处着手,所以经常病急乱投医,东看看、西看看。

    究竟怎样才是打开这条路最正确的方式呢?可能针对不同的人,也会大不相同吧,直到现在,我还是懵懂的状态,经常还伴随着焦虑。不管怎样,我还是开始了,踉踉跄跄的前进着......

    想要写一个程序还真复杂,对于一个几乎完全的新手来说,没有人能够按照自己的想法一步一步指导你该怎样做,只能自己慢慢摸索

    1、环境准备(磕磕绊绊,6个月了,我才弄懂这一套)

        ① jdk,jre 配置环境变量

        ② idea 安装,破解,配置工程默认路径等等

        ③ maven 安装,配置环境变量,idea 配置maven

        ④ pom 配置,导入依赖

    2、新建第一个项目(建什么样的项目?什么样的才能写大数据的代码?怎么才能最终执行?在哪里执行?这样的项目要怎么建?...... 一系列的问题,我现在还是不怎么清楚哪哪是哪哪......)

        ① resources文件夹的创建方式:

        resources是存放配置文件的,比如 core-site.xml,hdfs-site.xml等这些集群组件的配置文件

        ② 创建 scala 类的方法:

            右键点击项目名,找到Add Framework Support

            点击Add Framework Support,下拉选择Scala

            在右边自己选择Create选择自己想要的Scala版本

    相关文章

      网友评论

          本文标题:MapReduce_WordCount

          本文链接:https://www.haomeiwen.com/subject/fgelcdtx.html