推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
Scrapy 中 bloom filter 配置是否有效？以及分布式爬虫 scrapy-redis 的问题
jyb002 · 2015-09-22 06:17:07 +08:00 · 6318 次点击这是一个创建于 3385 天前的主题，其中的信息可能已经有所发展或是发生改变。
我搜索别人的例子，只找到了： http://alexeyvishnevsky.com/?p=26
我为了方便修改，我是直接把原本官方文档里的 set （）换成了 BloomFilter （）
想确认下这么写是正确的吗？
from pybloom import BloomFilter
from scrapy.exceptions import DropItem
class Pipeline(object):
def __init__(self):
self.bf = BloomFilter(capacity=10000, error_rate=0.0001)
def process_item(self, item, spider):
md5=md5(url)
if md5 in self.bf:
raise DropItem("Duplicate item found: %s" % md5)
else:
self.bf.add(md5)
我想分布式处理爬虫，看了 scrapy-redis: https://github.com/darkrho/scrapy-redis
看他启动 distributed crawling 是通过 pause/resume 实现的吗？能不能事先设置爬虫的数量来代替？
并且， 他的 scraping 和 post-processing 是分开的吗？也就是 scrpaing/crawling 得到 item 是分布式的，但后处理 item 比方说 item pipeline 之类的还是单线程的？
大家有什么好的分布式的 scrapy 爬虫包推荐吗？
 |
1
sunchen 2015-09-22 07:01:11 +08:00
scrapy-redis 只是把任务队列和 request 的去重交给了 redis 来做，你如果要用 bloomfilter ，需要把 bllomfilter 的数据丢到 redis ，这个轮子可以自己用 redis 的 bit 相关操作来实现，不过印象中好像 redis 已经要支持 bloomfilter 了， scrapy 本身不支持任和分布式的操作，他也只有一个进程，下载页面的异步的而非分布式并行的
|
 |
2
est 2015-09-22 08:59:48 +08:00
redis 不支持 bloomfilter ，但是支持 hyperloglog ，可以当 bloomfilter 来使用。
|
 |
6
jyb002 OP @sunchen
@est 大神们，那我如果不用 redis ，像我上面写的是正确使用 bloomfilter 了吗？ 然后我看了下，按 sunchen 说的， scrapy 的确是自身不支持 distributed 。但要实现的话，像这个里面 https://github.com/gnemoug/distribute_crawler/tree/master/woaidu_crawler/woaidu_crawler/scrapy_redis 是自己重新写了 dupefilter 和 scheduler 等。所以你们有相关经验，或者详细的教程吗？ 谢啦 |
Select Language