[awesome-crawler]爬虫资源大汇总

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2944 天前的主题，其中的信息可能已经有所发展或是发生改变。

目前已经算是爬虫资源百花齐放的时候，不过关于各个语言的汇总就没有相应的汇总表，花了一点时间将自己用到的和各大群里推荐的框架或者库收集，然后做了一个 awesome 系列，欢迎喜欢 spider 或者对这个有兴趣的朋友 fork or start 或者提 pr ,issue ～

awesome-crawler

汇总表

汇总

大群

spider

8 条回复 • 2016-10-11 09:59:02 +08:00

sinoandywong

2016-10-10 19:57:50 +08:00

知乎有人汇总 Python 爬虫了
Python 爬虫框架资源集合： https://zhuanlan.zhihu.com/p/22304295?refer=zimei
微博爬虫开源项目汇总大全： https://zhuanlan.zhihu.com/p/22339045?refer=zimei
Python 金融股票爬虫实战源码大全： https://zhuanlan.zhihu.com/p/22424416?refer=zimei

brucedone

2016-10-10 20:06:24 +08:00

@sinoandywong 感谢分享，基于 python 的有很多，我想更汇总不同语言的框架和资源

slysly759

2016-10-10 20:49:03 +08:00 via Android

嘿嘿(º﹃º )看到大神啦⊙▽⊙

scnace

2016-10-10 22:29:40 +08:00 via Android

go 有 go-spider 和幽灵蛛楼主可以加进去。幽灵蛛应该是比较重量级的爬虫了啥都有。

hanzichi

2016-10-11 08:53:31 +08:00

以前写的一些初级 Node 爬虫代码 https://github.com/hanzichi/funny-node （逃

brucedone

2016-10-11 09:57:53 +08:00

@slysly759 - - 大神不要捧我的臭脚了，我就是一个资源收集与分享～

brucedone

2016-10-11 09:58:32 +08:00

@scnace 感谢你的 golang 资源分享，今天 update 一个新的版本上去

brucedone

2016-10-11 09:59:02 +08:00

@hanzichi 哇，这个可以收录到 demo 系列，我先标记一下，感谢你的分享～