Spark高级面试问题join丢失节点、parquet大小

千万数据的join或者reduce过程中总是有任务节点丢失的情况？

田毅：这个是经常出现的问题，最常见原因还是GC导致的长时间卡住，导致心跳超时。可以参考intel他们最近在summit上分享的GC调优方面的实践。GC问题在1.4版本中已经得到改善，比如大量数据查重。

Spark生成parquet格式一般建议每个parquet多大？

田毅：这个我的建议是别弄太大，数据(压缩前)最好别超过128M，这个数不是绝对的，要看你的列数和压缩比。

阎志涛：我们的都在几百兆，parquet主要还是看你读取出多少列来。如果读出的列很多，性能就不一定好了。