公司使用kettle也有一段时间了,遇到了各种问题,但是通过源码能很快速的解决。唯独在集成 hadoop kerberos上花费了不少心思。搜索了国内外各大搜索引擎和知名的IT问答网站,没能找到答案。抓破脑袋一遍又一遍的看源码,看kerberos的实现机制,都不能很完美kettle集成kerberos,直到高人的一句话,如沐春风~~
kettle 版本 6.0.1-196
思路:修改hadoop的UserGroupInformation 类,改为指定的认证文件。编译之后,通过自定义类加载器覆盖掉已经被加载的UserGroupInformation类。
目前测试解决了,sdc 、hdp 、 星环、华为各大hadoop版本。
网友评论