背景 在调试flink写hdfs和hive时,任务总是报各种各样的异常,其中255问题最多,异常信息如下: 这段异...[作者空间]
背景 传统的入库任务一般借助于MapReduce或者Spark来写hive表,一般都是天级别最多小时级别的任务。随...[作者空间]
前言 ZSTD压缩算法是现在最流行压缩算法了,有着高压缩比和压缩性能强的有点,已经被各大框架所使用。目前hadoo...[作者空间]
背景 最近在用filesystem connector来写hdfs,底层是通过StreamFileSink实现的。...[作者空间]
前言 Flink jdbc connect已经为依赖于jdbc进行操作的数据库系统提供了非常完善的功能。对于扩展只...[作者空间]
背景 目前flink sql是不支持source/sink并行度配置的,flink sql中各算子并行度默认是根据...[作者空间]
Flink sql支持Map、Array、Row类型,这几种类型在DDL中如何定义、如何获取、如何构造,本文做个总...[作者空间]
自定义TableFormat主要包含如下步骤: 实现TableFormatFactory接口 实现Serializ...[作者空间]
背景 最近工作中需要自定义开发一些flink sql的connector,因为官方提供的connector毕竟有限...[作者空间]