hadoop 排错

hadoop文件map排序的过程导致摸一个文件数据很大。达到1.7g， 9千多万行。导致内存超限，
解决：过滤userid为0的数据，或者判断len个数小于三个，因为userid=0的数据太多

图片.png

查看文件

cat part-00079 |more

查看文件（最大的前十个的）

ll -Sh |head  

图片.png

查看文件行数

cat part-00079 |wc -l