爬虫去重策略

1、将访问过的url保存到数据库中
缺点：效率低
2、将访问过的url保存到set中，只需要o(1)的代价就可以查询url
缺点：内存占用太大
3、url经过md5等方法哈希后保存到set中
将字符缩减到16byte后保存，减少内存占用，而且不会重复
4、用bitmap方法，将访问过的url通过hash函数映射到某一位
缺点：冲突非常高，用一个hash函数可能将不同的url映射到同一位上
5、bloomfilter方法对bitmap进行改进，多重hash函数降低冲突