倍福文学

手机浏览器扫描二维码访问

第90章 这家伙是个宝藏（第4页）

闫宏飞也耐心地等待，只是眼神略有闪烁。

「HashSet在URL总量过高的时候确实会占用大量内存，文件列表吃I0。

闫宏飞就叹了口气，他的办法是平均负载，但终归治标不治本。

余江转头望着闫宏飞。

「要不试试全局去重？」

闫宏飞一怔：「怎么全局，什么架构？」

「引入一个轻量Master节点，专门维护一个全局BloomFilter做去重。」

「位数组大小按我们当前几千万网页规模留足余量，用几个独立哈希函数，误判率控制在千分之五以内就够用。Worker节点本地先快速过滤，新提取的URL再批量通过TCP发给Master确认。」

「关键是per—hostbackqueues：Master按主机名hash分桶，每个主机维护一个fIF0

队列和一个下次可抓时间————」

「————Master本身用轻量内存结构，也没什么瓶颈。

余江一边思索，一边慢慢地给出方案。

他同时也感慨。

这些在后世几乎算是搜寻引擎入门教科书一般的解决方案，在现在却是拦路虎一般的存在。

闫宏飞认真地听着，最后猛地望向余江。

「你之前干过？」

闫宏飞死死地盯着余江。

他完全不信，一个没有干过搜寻引擎的人，会在这么短时间内就给出近乎完整的解决方案！

余江轻轻咳了咳：「玩过爬虫，也玩过分布式————但分布式爬虫没玩过。」

「我晕！你上哪里玩的？」

余江一阵无语。

知道不把这帮师兄们震住，怕是每天都要问个不休了。

「师兄，非得要我说，我有个非常有钱的姐，她手底下有上百台P志强伺服器吗？」

「靠！」

闫宏飞猛地起身。

这时，徐飞和彭波也正好进门。

「你俩来得正好！赶紧把他按住！」

二人同时一惊。

「闫哥你要干啥？」

闫宏飞是一愣，似乎也不知道自己起身干啥。

但他很快转头望向余江。

「师弟，能把你姐介绍给师兄吗？」

>