1、ETL数据架构层次
ETL数据架构层次
2、建表规范
建表规范
3、命名规范
命名规范
4、作业开发规范
注释： 作业说明是一种注释,位于作业最开始部分。作业说明有助于提高代码的可读性和可维护性。注释放置在界面的左上⻆。
其具体内容包括：
- 功能说明：简述该作业的作用与所要完成的目的
- 更新方式：REPLACE|MERGE|APPEND
- 创 建 人：建立该作业的作者,格式：姓名
- 创建日期：首次建立该作业的日期,日期格式为：yyyy-mm-dd
- 运行周期：该作业运行的周期,如日、月等
- 例 程：调用该作业的命令行语句,含输入参数
- 备 注：比较特殊的依赖关系,重要说明等
- 维护记录：包含以下三点,打横记录
- 维护日期：该作业被维护的日期,若存在多次维护,则每次维护均需记录维 护 人：维护该作业的作者,格式：姓名
-
维护内容：记录本次维护的修改内容、修改原因等信息
4.png
5.png
5、开发注意事项
- 参数命名
Kettle.properties 文件参数
DW_源库简称_DB_NAME=
DW_源库简称_DB_PORT=
DW_源库简称_DB_USER=
DW_源库简称_DB_PASSWORD=
DW_源库简称_DB_HOST=
DW_源库简称_DB_JDBC=
- 作业检查
DW层~DMR层ETL脚本检查：
① 临时表建表，不要有删表语句
② 逻辑简单可一步写入目标表的逻辑不要建临时表，临时存储
③ 所有SQL组件必须勾选使用变量替换
- 参数使用
① 每一步SQL组件都需要添加一下两个参数
set mapred.job.name=${Internal.Job.Name}:步骤描述;
set mapreduce.job.queuename=${DW_DEFAULT_QUEUE};
② 动态分区参数，当使用动态分区时添加以下两个参数
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
③ 如果UNION ALL的部分个数大于2，或者每个UNION部分数据量大，应该拆成多个INSERTINTO 语句，实际测试过程中，执行时间能提升50% 或者使用下面两个参数，增加并发：
set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=16; -- 默认值 8
④ mapJoin的主要意思就是，当链接的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的table直接放到内存中去，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的数据，就要去去查看小表的数据，哪条与之相符，继而进行连接。这里的join并不会涉及reduce操作。map端join的优势就是在于没有shuffle。在实际的应用中，我们这样设置：
set hive.auto.convert.join=false; -- 默认值true
常见场景：大表和小表关联查询，return code 2
网友评论