1.问题1：海量日志数据，提取出某日访问百度次数最多的那个IP。
2.问题2：寻找热门查询，300万个查询字符串中统计最热门的10个查询。
3.问题3：有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。
4.问题4：海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10。
5.问题5：有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排##序。
6.问题6：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ ##问题7：在2.5亿个整数中找出不重复的整数，注，内存不足以容纳这2.5亿个整数。 ##问题8： 100w个数中找出最大的100个数。
1.问题1：海量日志数据，提取出某日访问百度次数最多的那个IP。2.问题2：寻找热门查询，300万个查询字符串中统...
一、如何处理训练样本不对等的情况 数据集中，每个类别下的样本数目相差很大（数量级上的差距）。以下以二分类问题为例说...
1. 数据库乱码 2. 数据库备份与恢复
近年大数据日益受到人们的关注，人们在提到大数据遇到了很多相关概念上的问题，比如云计算、 hadoop等等。那么，大...
问题 数据增强是增大训练数据集，能有效解决数据不足问题 相关工作 Kurata et al. (2016a)给输出...
数据库类型 RDBMS：关系型数据库 MySQL NoSQL :Not only sql 解决大数据相关问题的数据...
数据清洗的相关理解 一、数据需要清理的问题 对各种问题数据进行对应方式的处理，使其得到统一、可用、易用的数据 常出...
一.UI相关 1.UITableView相关 (1).重用机制 (2).数据源同步问题（多线程下修改数据源） 2....
静态面板数据的主要问题 横截面异方差 序列自相关 横截面同期相关 基础工作 屡次失败的经验表明，洗数据和看数据是非...
如何定位并优化慢查询Sql 根据慢日志定位慢查询sql 使用explain等工具分析sql 修改sql或者尽量让s...
本文标题：大数据相关问题
本文链接：https://www.haomeiwen.com/subject/wiwxwqtx.html
网友评论