海量日志数据，提取出某日访问百度次数最多的那个IP

作者: qmss | 来源:发表于2016-06-28 22:39 被阅读0次

大数据常见算法（一）
这些大数据Hadoop面试题你有遇到过吗？你是怎么解决的！
海量数据处理
大数据分析师常见的面试题解答
海量数据处理
十道海量数据处理面试题与十个方法大总结
大数据相关问题
2018年大数据经典面试题以及回答技巧，你看过没？
十道海量数据处理题
海量数据处理：十道面试题与十个海量数据处理方法总结

分析：
IP总个数2^32 = 4G，如果单机用一个hash表来存储，光IP部分就得4G*4 = 16G，不现实

把文件按照hash(IP)%1000的方式分割成1000个小文件，相同IP的日志肯定落到了同一个文件中，针对每一个小文件，用hash_map统计出次数最多的那个IP，得到1000个“最多”的IP，然后在这1000个“最多”的IP中找到最大的即可。

大数据常见算法（一）
QUENSTION:海量日志数据，提取出某日访问百度次数最多的那个IP。解决思路： 1.IP不是无穷的，总共是...
这些大数据Hadoop面试题你有遇到过吗？你是怎么解决的！
(一)海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个...
海量数据处理
面试题海量日志数据，提取出某日访问百度次数最多的那个IP 首先是这一天，并且是访问百度的日志中的IP取出来，逐个...
大数据分析师常见的面试题解答
1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写...
海量数据处理
1.海量日志数据，提取出某日访问百度次数最多的那个IP 算法思想：分而治之+Hash 换言之，先映射，而后统计，最...
十道海量数据处理面试题与十个方法大总结
第一部分：十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 IP的数目还是有限的，...
大数据相关问题
1.问题1：海量日志数据，提取出某日访问百度次数最多的那个IP。2.问题2：寻找热门查询，300万个查询字符串中统...
2018年大数据经典面试题以及回答技巧，你看过没？
1，日志数据，提取出某日访问百度次数最多的那个IP。解决方案：首先是将这一天，并且是访问百度的日志中的IP取出来...
十道海量数据处理题
第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。此题，在我之前的一篇文...
海量数据处理：十道面试题与十个海量数据处理方法总结
第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访...