spark dataframe读取特征报错的问题

作者: scottzcw | 来源:发表于2017-08-02 16:19 被阅读94次

val fileword =sc.textFile(path,1)

.map(x=>(x.split(",")(2152),Vectors.dense(x.split(",").map(_.toDouble).toList.take(2151).toArray)))

fileword.sample(false,0.1,2).foreach(println)

valschema =StructType(

StructField("label",StringType)

::StructField("features",VectorType)

::Nil

)//定义字段名称和格式

valrowRDD = fileword.map(p=>Row(p._1,p._2))//对rdd记录进行转换

valwordsDataFrame =sqlContext.createDataFrame(rowRDD,schema)//生成dataframe

wordsDataFrame.show(100)

spark dataframe读取特征报错的问题
val fileword =sc.textFile(path,1) .map(x=>(x.split(",")(2...
spark python分析环境空气污染数据
spark python分析环境空气污染数据在测试中发现不能实现spark读取dataframe后，遍历dataf...
JDBC数据源
Spark SQL支持使用JDBC从关系型数据库（比如MySQL）中读取数据。读取的数据，依然由DataFrame...
Spark读取结构化数据
读取结构化数据 Spark可以从本地CSV，HDFS以及Hive读取结构化数据，直接解析为DataFrame，进行...
Spark 之 Had a not serializable r
速记： 1. 场景&异常： Spark 读取 Hbase 报错，代码如下：异常如下： 2. 解决：序列化问题，...
Spark DataFrame 实战
# Spark DataFrame Spark DataFrame Case Class ```java case...
spark使用snakeyaml读取配置时,总是找不到对象
spark 读取配置文件的时候使用到了 snakeyaml 包.读取配置时总是报错如下图解决 :
Apache Spark 动态分区 OverWrite 问题
1、问题：spark Dataframe : partition_day.write.partitionBy("d...
179、Spark 2.0之新特性介绍
Spark Core&Spark SQL API dataframe与dataset统一，dataframe只是d...
Spark SQL：function.array的数据类型问题记
摘要：Spark SQL 问题复现需要对Spark SQL的DataFrame的一列做groupBy聚合其他所有...