环境
centos7.6
cdh6.2.1
Parcel安装Lzo
- 在CDH的 Parcel 配置中,“远程Parcel存储库URL”,点击 “+” 号,添加地址栏:
CDH6:https://archive.cloudera.com/gplextras6/6.2.1/parcels/
- 返回Parcel列表,延迟几秒后会看到多出了 GPLEXTRAS(CDH6) 下载 -- 分配 -- 激活。
- 安装完LZO后,打开HDFS配置,找到“压缩编码解码器”,点击 “+” 号,添加:
com.hadoop.compression.lzo.LzoCodec
com.hadoop.compression.lzo.LzopCodec
image.png
- YARN配置,找到 “MR 应用程序 Classpath”(mapreduce.application.classpath)添加:
/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/*
image.png
- 重启更新过期配置
网友评论