爬虫去重策略

1、将访问过的url保存到数据库中
缺点：效率低
2、将访问过的url保存到set中，只需要o(1)的代价就可以查询url
缺点：内存占用太大
3、url经过md5等方法哈希后保存到set中
将字符缩减到16byte后保存，减少内存占用，而且不会重复
4、用bitmap方法，将访问过的url通过hash函数映射到某一位
缺点：冲突非常高，用一个hash函数可能将不同的url映射到同一位上
5、bloomfilter方法对bitmap进行改进，多重hash函数降低冲突

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容