在spark中
1、lines.map(x=>x.split(" ")).collect 结果一行一个array，x代表每一行
2、lines.flatMap() 结果一个array， Array(hello,hadoop,.....)
flatMap:flatten map 先执行map,后执行flatten（扁平化）
3、lines.map(x=>x.split("\t")(2)) 取出第三个字段的所有值
4、lines.first 取出第一条数据
5、lines.map(x=>x.split("\t")）.filter(x=>x.length==6) 过滤
统计上午7到10点搜索过百度影音的客户ID
.filter(x=>x.length==6 && 7<= <10 && kw.contains("百度影音"))
.map(x=>x(1))
6、val tupple=("zahngsan",(10,90))
tupple._1 zhangsan
tupple._2._1 10
tupple._2._2 90
在spark中 1、lines.map(x=>x.split(" ")).collect 结果一行一个array，...
1 环境搭建 Scala版本： scala-2.11.12Spark版本： spark-2.4.4-bin-ha...
1、spark与Scala的关系：spark是一个框架（对比MapReduce），不过spark是用Scala写的...
IDEA配好scala直接plugin找scala ，下载sbt Spark下载http://spark.apac...
spark spark的安装 安装Scala下载页面：http://www.scala-lang.org/file...
spark配置 一. Scala安装 二. spark安装 启动spark服务：
idea 里面 加入scala sdk和 spark jar 本地安装spark 并启起来 本地安装scala 代...
使用Scala和Java编写Spark程序。 Spark编程 Scala实现 sbt 首先安装sbt 赋予权限 添...
spark具有详细的官方文档 spark具有完善的接口：Scala、Python、Java、R 启动Scala接口...
Spark技术实战之基础篇 -Scala语言从入门到精通为什么要学习Scala?源于Spark的流行，Spark是...
本文标题：spark常用scala
本文链接：https://www.haomeiwen.com/subject/qqlqbftx.html
网友评论