在使用Spark-sql开发过程中有时候没有注意数据类型,导致程序本身进行数据类型推导,使得任务执行能正常执行(无报错信息)但程序无数据输出;
例如执行如下代码
由于vin未对参数加单引号,导致数据类型不明确;
在执行中debug可以看到
产生此现象的原因是,在经过sql解析后生成的逻辑计划中,把2019/10/10当成了一个表达式;而此表达式中2019,10,10均为数值型,故此推导filter表达式vin>2019/10/10中属性vin的数据类型也为数值型;
在使用Spark-sql开发过程中有时候没有注意数据类型,导致程序本身进行数据类型推导,使得任务执行能正常执行(无报错信息)但程序无数据输出;
例如执行如下代码
由于vin未对参数加单引号,导致数据类型不明确;
在执行中debug可以看到
产生此现象的原因是,在经过sql解析后生成的逻辑计划中,把2019/10/10当成了一个表达式;而此表达式中2019,10,10均为数值型,故此推导filter表达式vin>2019/10/10中属性vin的数据类型也为数值型;
本文标题:Spark-sql中时间格式类型推导问题
本文链接:https://www.haomeiwen.com/subject/meuruxtx.html
网友评论