今天把serde讲解和相关应用整理一下，参考文档如下
参考的官方文档:
https://cwiki.apache.org/confluence/display/Hive/DeveloperGuide#DeveloperGuide-HiveSerDe
https://cwiki.apache.org/confluence/display/Hive/SerDe
1、serde概述
SerDe是Serializer / Deserializer的缩写，Hive将SerDe接口用于IO。该接口既处理序列化和反序列化，又将序列化的结果解释为要处理的单个字段。
SerDe允许Hive从表中读取数据，并将其以任何自定义格式写回HDFS
Hive 使用 SerDe (and FileFormat)去读和写表中的行
它的执行流程如下
HDFS files --> InputFileFormat --> <key, value> --> Deserializer --> Row object
Row object --> Serializer --> <key, value> --> OutputFileFormat --> HDFS files
当面临一个HDFS上的文件时，Hive将如下处理（以读为例）：
(1) 调用InputFormat，将文件切成不同的文档。每篇文档即一行(Row)。
(2) 调用SerDe的Deserializer，将一行(Row)，切分为各个字段。
其实我粗浅的理解如下
就是InputFileFormat读取数据，不管是按行还是按照什么，然后通过反序列化然后解析相应的字段。
写数据就是将查询的对象序列化成对象 然后 OutputFileFormat 写入HDFS 里面
2、serde的种类
- 1、MetadataTypedColumnsetSerDe
- 2、LazySimpleSerDe (这是创建表默认的serde,默认的INPUTFORMAT为
- 3、TextInputFormat,OUTPUTFORMAT为HiveIgnoreKeyTextOutputFormat)
- 4、ThriftSerDe
- 5、DynamicSerDe
- 6、ThriftSerDe
- 7、DynamicSerDe
- 8、JsonSerDe
- 9、Avro SerDe
- 10、SerDe for the ORC
- 11、SerDe for Parquet
- 12、SerDe for CSV
serde的属性可以切换
ALTER TABLE tableName SET SERDE 'serde的类名'
3、serde常用阐述
1、LazySimpleSerDe
如果不指定serde的话，默认的serde就是org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe，以行为\n,列为^A为分隔符，可以使用 row format delimited fields terminated by 来指定分隔符
这里多说两句,因为在项目中有csv的格式类似于这样 1,"xiaoming,178",87 这样的字段，即csv中有嵌套的这种情况（嵌套的里面还有分隔符），这种情况目前只能用CSV serde，因为在LazySimpleSerDe 还不支持识别这种模式。参考https://issues.apache.org/jira/browse/HIVE-8763
2、CSV serde
此SerDe将所有列都视为String类型。即使使用此SerDe创建具有非字符串列类型的表，DESCRIBE TABLE输出也将显示字符串列类型。从SerDe中检索类型信息。要将表中的列转换为所需类型，可以在将CAST转换为所需类型的表上创建视图。
默认分隔符，引号和转义符（如果未指定）
DEFAULT_ESCAPE_CHARACTER
DEFAULT_QUOTE_CHARACTER "
DEFAULT_SEPARATOR ,
关于hive在csv字段中有都逗号情况的处理的参考资料:https://cloud.tencent.com/developer/article/1363394
4、本地SerDes的注册
从Hive 0.14 开始，已为本地Hive SerDes引入了注册机制。这允许在create table语句中，在STORED AS关键字之间动态绑定，以代替{SerDe，InputFormat和OutputFormat}规范的三元组 。
例如
STORED AS AVRO
STORED AS ORC
STORED AS PARQUET
网友评论