spark的wordcount

作者: 不将就_215a | 来源:发表于2019-05-11 14:52 被阅读0次

Spark | WordCount
scala基础语法
Kafka Streams 入门实例1 WordCount
史上最快! 10小时大数据入门实战(九)- 前沿技术拓展Spar
spark 源码分析系列 - wordcount 源码分析
spark wordcount
RDD是什么
Spark Core
spark WordCount
spark wordcount

import re
rdd = sc.textFile("xx.txt")
resultRdd = rdd.flatMap(lambda line:re.split(" |,|[|]|#|'|:",line)).map(lambda x:(x,1)).reduceByKey(lambda x,y:x+y)

resultColl = resultRdd.collect()
for line in resultColl:
print(line)

或者
resultRdd = rdd.flatMap(lambda line:re.split(" |,|[|]|#|'|:",line)).countByValue()
不过得到的是一个dict

Spark | WordCount
wordcount spark-shell spark word count
scala基础语法
Spark核心编程wordcount程序原理深度剖析图 Spark核心编程Spark架构原理
Kafka Streams 入门实例1 WordCount
WordCount WordCount 堪称大数据界的HelloWorld，相信不管是Hadoop还是Spark等...
史上最快! 10小时大数据入门实战(九)- 前沿技术拓展Spar
spark Spark 开发语言及运行模式介绍 Scala安装 Spark环境搭建及 wordCount 案例实现
spark 源码分析系列 - wordcount 源码分析
前言本文主要通过spark wordcount 案例的源码来分析spark中的运行过程。 spark 编程模型 ...
spark wordcount
wordcount java编写spark执行 maven pom 项目结构 java代码 bash提交任务到Spark
RDD是什么
基本操作 wordcount.txt文件 bin/spark-shell 操作命令 bin\spark-submi...
Spark Core
Spark Core是什么 Spark之一行写WordCount: sc.textFile("/home/data...
spark WordCount
SparkWC.scala
spark wordcount
scala 版本 python版本 java版本 spark Examples