timeline server 配置 ，默认是org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService
tez.history.logging.service.class
jobhistory搭建的地址，需要独立的ui-war部署
tez.tez-ui.history-url.base
是否开启推测执行，默认是false，在出现最后一个任务很慢的情况下，建议把这个参数设置为true
tez.am.speculation.enabled
分配的内存，默认1024 ,出现内存不够时候，设置更大点
tez.task.resource.memory.mb
分配的vcores 默认是1 ，一般不需要改
tez.task.resource.cpu.vcores
日志级别，默认info
tez.task.log.level
启动的JVM参数 ，默认-XX:+PrintGCDetails -verbose:gc -XX:+PrintGCTimeStamps -XX:+UseNUMA -XX:+UseParallelGC
tez.task.launch.cmd-opts
在yarn中的默认执行队列
tez.queue.name
依赖的hadoop相关包
tez.lib.uris.classpath
运行依赖的自身包，这个参数设置比较麻烦，很容易出错
tez.lib.uris
自己定义的UDF 相关包
tez.aux.uris
基于yarn提供的内存，分配给java进程的百分比，默认是0.8，具体大小取决于mapreduce.reduce.memory.mb和mapreduce.map.memory.mb。一般不用变即可
tez.container.max.java.heap.fraction
任务中attempts失败的最大重试次数，默认跟yarn一样是4次 ，在不稳定集群可以设置大一点
tez.am.task.max.failed.attempts
am自己失败的最大重试次数，默认是2次。这里并不是说am自己挂了，只是因为一些系统原因导致失联了
tez.am.max.app.attempts
am分配的cpu个数，默认1
tez.am.resource.cpu.vcores
am分配的内存大小，默认1024
tez.am.resource.memory.mb
任务进程重用是否开启，默认是true
tez.am.container.reuse.enabled
更多详细的配置 ：
https://tez.apache.org/releases/0.8.4/tez-api-javadocs/configs/TezConfiguration.html
网友评论