美文网首页
Spark-sql中时间格式类型推导问题

Spark-sql中时间格式类型推导问题

作者: 海轩_fan | 来源:发表于2020-07-23 16:58 被阅读0次

        在使用Spark-sql开发过程中有时候没有注意数据类型,导致程序本身进行数据类型推导,使得任务执行能正常执行(无报错信息)但程序无数据输出;

    例如执行如下代码

          由于vin未对参数加单引号,导致数据类型不明确;

          在执行中debug可以看到

           产生此现象的原因是,在经过sql解析后生成的逻辑计划中,把2019/10/10当成了一个表达式;而此表达式中2019,10,10均为数值型,故此推导filter表达式vin>2019/10/10中属性vin的数据类型也为数值型;

    相关文章

      网友评论

          本文标题:Spark-sql中时间格式类型推导问题

          本文链接:https://www.haomeiwen.com/subject/meuruxtx.html