一、MaxCompute是什么？
MaxCompute（原ODPS，Open Data Processing Service）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案。主要提供了四大功能：数据通道、结构化存储、多计算模型、数据安全管理。
1.数据通道
-
批量/历史数据通道--tunnel
适合于全量数据或历史数据的导入、导出；
-
实时/增量数据通道--DataHub
该服务具有延迟低的特点，适合增量数据的导入，同时还支持多种数据传输的插件，如logstash、flume、fluentd、sqoop、logservice等。
2.数据存储
-
数据进入maxcompute后，默认会以结构化的方式存储，且有自己的数据类型，如Bigint, Boolean, Double, Datetime, String, Decimal；
-
数据上传后，以列压缩的方式存储到盘古上。这种压缩方式的好处就是对于文本类型的数据，一般都能取得较好的压缩比，一般是4：1。
3.多计算模型
1）SQL
-
MaxCompute SQL采用标准的SQL语法，兼容部分Hive语法。在语法上和HQL非常接近，熟悉SQL或HQL的编程人员都容易上手；
-
MaxCompute提供更高效的计算框架支持SQL计算模型，执行效率比普通的MapReduce模型更高；
-
需要注意的是，MaxCompute SQL不支持事务、索引及Update/Delete等操作。
2）MapReduce
-
MaxCompute提供的Java MapReduce编程模型；
-
由于MaxCompute并没有开放文件接口，用户只能通过它所提供的Table读写数据；
-
更为重要的是，MaxCompute还提供了基于MapReduce的扩展计算模型， 即MR2。在该模型下，一个Map函数后，可以接入连续多个Reduce函数。
3）Graph
-
对于某些复杂的迭代计算场景，例如：K-Means，PageRank等，如果仍然使用MapReduce来完成这些计算任务将是非常耗时的。MaxCompute提供的Graph模型能够非常好的完成这一类计算任务。
二、飞天系统和Hadoop生态圈架构对比
vs
三、MaxCompute优化原则
1.选表原则
-
选择满足需求的小表，比如汇总表。维表尽量选择全量表，事实表尽量选择增量表；
-
选择产出早的表；
-
选择可回滚的表，比如使用加购事件表代替加购全流程表；
-
依赖的N个上游表，尽量保证上游产出时间要均匀，如果有差异，考虑换依赖表；
2.小表原则
-
行数小于100万的表认为是小表，这个时候使用mapjoin性能会提高很多；
-
读取数据的时候要加上分区等过滤条件，大表变小表。常用过滤条件字段，做成动态分区，方便下游过滤；
-
不得不读取N天大表的时候，使用unionall方式合并多天数据；
3.代码原则
-
Join关联要尽可能是主键关联。关联字段类型要一致；
-
多天汇总，先生成1天轻度汇总表，多天使用1天数据再汇总；
-
multiinsert，实现一次读取多次写入；
-
使用系统UDF代替自己的写的UDF；
4.调度原则
-
依赖max_pt的，要排除当天依赖；
-
上游是小时任务，使用max_pt要慎重；
-
执行超过1个小时任务要关注；
四、MaxCompute应用限制
1.SQL限制
-
多路输出限制：单个SQL里最多可以写128路输出，超过128路报语法错误；
-
动态输出分区限制：任意动态分区SQL不允许生成超过2000个动态分区，否则引发运行时异常；
-
Select屏显限制：Select屏显结果最多只有10000条输出；
-
Order by语句后必须接Limit；
-
Sort By必须与Distribute By配合使用；
-
最多允许128路union all，超过此限制报语法错误；
-
MaxCompute 的JOIN支持多路间接，但不支持笛卡尔积，即无on条件的链接；
-
MaxCompute中的Join连接条件，只允许and连接的等值条件，并且最多支持16路join操作。只有在MAPJOIN中，可以使用不等值连接或者使用or连接多个条件；
-
目前MaxCompute 在mapjoin中最多支持指定6张小表，否则报语法错误；
-
如果使用mapjoin，则所有小表占用的内存总和不得超过512MB。请注意由于MaxCompute 是压缩存储，因此小表在被加载到内存后，数据大小会急剧膨胀。此处的512MB限制是加载到内存后的空间大小；
-
多个表join时，最左边的两个表不能同时是mapjoin的表；
2.MapReduce限制
-
单个任务引用的资源数量不超过512个，分区表按照一个单位计算。
-
单个任务引用的资源总计字节数大小不超过64MB。
-
单个任务的输入路数不能超过128，单个任务的输出路数不能超过128路。
-
单个任务中自定义Counter的数量不能超过64。
-
单个Map或Reduce Worker占用memory默认为2048MB，范围[256MB, 12GB]。
-
单个Map或Reduce Worker重复读一个资源次数限制 <=64次。
-
本地运行模式下，Map Worker个数不能超过100；Reduce Worker个数不能超过100；默认一路输入下载记录数100。
以上
ps：这篇文章是基于我从工作中由hadoop切换到maxcompute时，搜集整理的一些内容，希望能帮助到需要的同学。如果觉得不错，欢迎收藏分享～
还有其他感兴趣的文章可以进入公众号主页，点击【菜单】即可：
网友评论