@brucedone 这个工具很灵活啊，谢谢了

@wayslog 有相关的教程吗?谢谢

@cphilo 能不能详细说明一下啊?

@Patrick95 重新写不是挺慢的吗

@wico77 看起来很有用，真的很感谢分享

@omg21 不客气

html = '''<p id="a1">新闻</p>
<p id="a2">娱乐</p>'''

bs = BeautifulSoup(html, 'html.parser')
theTag = bs.find(text='娱乐').find_parent()

seen = []
todo = []

1 将带爬的 url 全部添加到 todo
2 每爬过一个 url 时（或在 ConnectionError 抛出时）在循环体的末尾将 url 添加到 seen
3 再从 todo 删除这个 url

所以断了下次再从 todo 里接着爬就行了

如果实在搞不定登录的话,就用 selenium 大法吧,给公司刚写完一个 selenium+phantomjs 的爬虫,用来解决 ajax 网页加载和 304 的问题,楼主可以尝试一下

转开发岗后每天都要想思路，要写，要调试，和以前的工作相比熟手快了 N 倍，天天用不熟都难，楼主加油

正在写 phantomJS + header ：
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap['phantomjs.page.settings.userAgent'] = 'Mozilla/5.0'
driver = webdriver.PhantomJS('path/to/PhantomJS', desired_capabilities=dcap)
driver.get(<your_url>)

虽然加了 header 信息，但最后发现不加 header 目标网站也让我爬

@yuankui materializecss 和这个模板有点类似

我推荐金沙洲

@henneko PC 上看， 23 寸左右分开，右边 pdf 左边解释器或 ide ，一边刷一边敲速度比看纸质书快，看纸质书心里负担好重

最近八个月的书单
已读的：
[Python.for.Data.Analysis(2012.10)].Wes.McKinney.文字版.pdf
Dimitrios Kouzis-Loukas-Learning Scrapy-Packt Publishing (2016).pdf
FlaskWeb 开发：基于 Python 的 Web 应用开发实战.pdf
Introduction.to.Tornado.Michael.Dory.文字版.pdf
OReilly.Web.Scraping.with.Python.2015.6.pdf
Python 核心编程 第二版.pdf
Python library.pdf
在读的：
(Natural.Language.Processing.with.Python).S.Bird&E.Klein&E.Loper.文字版.pdf
Python.Cookbook 3rd 2013.5 David.Beazley.文字版.pdf

@a412739861 我的 py2.7 windows 环境下可行

只匹配汉字的话：
soup.find_all('td', class_=re.compile(ur'bgwhite\st-[\u4e00-\u9fff]+'))
在 Unicode 编码中只匹配汉字。 4E00-9FFF 为中文字符编码区