Spark DataFrame牛刀小试

      最近看到Spark强大的DataFrame，默默地献上了鄙人的膝盖，刚开始研究，小有所成，由于按捺不住内心狂撞的小鹿，特在此献丑，希望看到的大神不要觉得小弟幼稚，仅此，跪谢!

      本文是以SparkSQL实现的用户年龄划分，数据类型为：

用户年龄age.txt

      以age.txt文件存于HDFS下。

      需要统计每个年龄段的用户数量，年龄段设置为(20以下,21~25,26~30,31~35,36~40,41~45,46~50,51~55,56~60)。

      启动spark-shell:

      1.将放在HDFS上的文件构建为DataFrame,有两种方法可用来完成这最为重要的步骤：

         a.通过反射：scala提供了通过case class把RDD转化为DataFrame的方法，case class定义了表结构，通过反射的方式读取参数并转换为字段，case class也可以是嵌套的复杂序列或者数组。通过此种方法可将RDD隐式转换为DataFrame，然后再注册为内存表，然后就可以通过SparkSQL操作此表。本文即是以该方法用来创建DataFrame。

         b.通过接口自定义schema:该方法首先通过原始的RDD创建RDD的Rows；然后通过StructType匹配Rows里面的结构创建schema；最后通过sqlContext提供的createDataFrame(row,schema)方法来创建DataFrame。

      2.接下来我们就在spark-shell命令行一步步执行这一流程：

引入隐式转换 创建case class指定用户年龄表结构

读取HDFS上的文件首先得到的是一个RDD，然后通过上文所述方法将其构建为DataFrame

读取HDFS上的文件首先得到的是一个RDD，然后通过上文所述方法将其构建为DataFrame

      在此我们得到一个名为userAge的DataFrame，接下来便可通过DataFrame的常用操作来分析我们想要的结果。

将年龄段标记为一个映射 用来存放结果的映射 计算结果 执行成功

      sparkSQL天生是用来处理大数据的，本测试例虽然数据只有几百k，但是sparkSQL也表现出了良好的性能，测试机内存只有1G，0.05s已经很优秀了！如果用Hive来处理这一过程，我想其复杂的SQL肯定会执行在30s以上(甚至更慢)。

执行结果

      SparkSQL 的DataFrame重新定义了对数据的操作，感觉以后再也不需要写那么那么那么复杂的SQL来查询了，而且性能上也是棒棒哒！

      最后借用一句话来阐述个人对Spark深深的敬仰：世界如此短暂，你需要Spark！

      本文出自鄙人原创，如需转载，请注明出处，感谢大家支持！