SparkSQL是spark家族中一个结构化或半结构化数据的处理模块。对SQL的处理跟关系型数据库SQL类似,将S...[作者空间]
1. 集群环境规划 2. 新建用户及用户组 3. 修改master(172...6)主机名 4. 配置ip与主机名...[作者空间]
一、SparkStreaming概念 SparkStreaming是一个准实时的数据处理框架,支持对实时数据流进行...[作者空间]
前面一篇中已经集成了对MongoDB的支持完整pom文件 MongoManager添加对事务的支持 这里碰到一个小...[作者空间]
spark任务提交有三种方式 1:通过local方式提交2:通过spark-submit脚本提交到集群3:通过sp...[作者空间]
Spark可以不依赖Hadoop运行。如果运行的结果(包括中间结果)不需要存储到HDFS,并且集群管理器不采用YA...[作者空间]