讨论/技术交流/求助丨海量数据处理/
求助丨海量数据处理

1.几亿个ip,求出现次数最多的k个ip,内存限制1G
2.同样是几亿个ip,每个ip都有一个地址对应(城市),给出一个ip如何快速查找这个ip所在的城市
3.几亿个qq号查一个qq号是否存在
解答:
1.hash取模,哈希表统计,堆排序统计topk
2.建立树,左子树0,右子树1,层数32,查找效率常数级,叶子节点储存value
3.位图,内存空间如果有要求,把数字分区然后建立位图

2

第一题当时回答ip转成unsigned int然后取余1000储存到不同的文件,每个文件单独排序取最大然后堆排序(topk)
第二个问题我是真的没想到有什么好的解决办法想要问问大家
第三个位图

展开全部 8 讨论