kafka开发中遇到的问题集

错误： INFO consumer.SimpleConsumer: Reconnect due to socket error: java.nio.channels.ClosedChannelException
原因： kafka消费的时候， stream.foreachRDD(rdd => ...) 多次用到rdd， 未做缓存， 每次rdd触发action时， 都会建立socket连接从kafka读数据
解决：

• 查看socket的连接数：

 ls /proc/$process_id/fd -l | grep socket: | wc -l 

• 缓存rdd； 执行处理的时间尽量要小于batch的时间， 如果做不到，会有大量的batch堆积， socket不能释放，这种情况最好先把数据接进来， 然后另起一个Streaming来设置大的batch来慢慢处理数据

参考：

• https://stackoverflow.com/questions/35807844/kafka-consumer-simpleconsumer-reconnect-due-to-socket-error-java-nio-channels
  http://blog.selfup.cn/1837.html

• http://blog.selfup.cn/1837.html

• http://bbs.csdn.net/topics/110183082

错误： Spark prints an avalanche of warning messages from Parquet when reading parquet files written by older versions of Parquet-mr
原因： spark2.10存在的bug
参考： https://issues.apache.org/jira/browse/SPARK-17993

--conf spark.streaming.kafka.maxRatePerPartition=1000
设置每个batch最多处理条数， 超过的话分为几个batch处理

写kafka时会socket连接有时会出现断开， 这时需要设置retries = 3 或者 5， 甚至在foreachPartition中加一个try, catch尝试重新建立连接(close掉上一个连接)