美文网首页
关于spark在编码时的数据类型获取和定义相关的讨论

关于spark在编码时的数据类型获取和定义相关的讨论

作者: 早点起床晒太阳 | 来源:发表于2020-07-27 14:58 被阅读0次

参考资料
https://stackoverflow.com/questions/45414718/spark-scala-cannot-up-cast-from-string-to-int-as-it-may-truncate

前言

编码时有两个问题
1、我们在读取数据的时候,他的数据类型,即字段名称类型这些schema怎么获取和推断的呢

读取数据的时候数据类型情况分析

比如说我们在调用

val value = spark.read.csv("file:///E:\data.csv")

我们读取了一个csv文件,怎么知道它读取的结果的类型以及字段信息呢?

我们打印下他的schema信息

println(value.schema.toString())

发现如下所示

StructType(StructField(_c0,StringType,true), StructField(_c1,StringType,true))

可以发现,如果不提前定义的话,他的所有类型为string类型,并且每个字段名为_c0 _c1这种形式,有时候这种形式不是我们想要的

那我们怎么进行提前设置呢? 定义所需要的case class(定义case class默认就是序列化的),并且在read的时候显示声明schema ,这样即可定义读取的数据的schema

    case class Record(id: Int, name: String)
    val schema = Encoders.product[Record].schema

    val value = spark.read
        .schema(schema)
        .csv("file:///E:\\data.csv")

相关文章

网友评论

      本文标题:关于spark在编码时的数据类型获取和定义相关的讨论

      本文链接:https://www.haomeiwen.com/subject/jrpzlktx.html