美文网首页
spark 从impala导数据到oracle各种坑

spark 从impala导数据到oracle各种坑

作者: 踩着象牙蚌 | 来源:发表于2018-09-13 17:39 被阅读296次

1.在插入数据时,插入一两个字段没问题,如果插入全部字段可能会报如下错误
[Simba]ImpalaJDBCDriver Error in fetching data rows: Memory limit exceeded: Failed to allocate tuple buffer
HDFS_SCAN_NODE (id=0) could not allocate 1.23 MB without exceeding limit.
Error occurred on backend hadoop01:22000 by fragment cf449e896ecf9b64:7802e69f00000003
Memory left in process limit: -13.49 MB

解决方案:
调整
default_pool_mem_limit = -1
memory.soft_limit_in_bytes = -1
mem_limit = 0
memory.limit_in_bytes = -1

2.在用jdbc查询impala时
如果用了查询条件如果用了 limit 可能会报如下错误:
[Simba]JDBC Error converting value to BigDecimal.
解决方法:就是不要用limit

相关文章

网友评论

      本文标题:spark 从impala导数据到oracle各种坑

      本文链接:https://www.haomeiwen.com/subject/yzcggftx.html