V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
andmspy
V2EX  ›  Python

我用 phantomJS+beautifulsoup 没法看到网页里面特定的内容,请问应该用什么方法来做爬虫啊?

  •  
  •   andmspy · 2017-04-09 22:22:59 +08:00 · 2666 次点击
    这是一个创建于 2821 天前的主题,其中的信息可能已经有所发展或是发生改变。

    网页如下: https://www.joinquant.com/post/2997?f=sharelist&m=list

    特定的内容:当前持仓和最新下单

    我只想做一个发现更新就发邮件通知我的小程序,现在不知道怎样爬里面的内容。。。

    7 条回复    2017-04-10 00:45:58 +08:00
    andmspy
        2
    andmspy  
    OP
       2017-04-09 23:21:49 +08:00
    @zyEros 请问用什么方法找出来的啊?厉害啊~~
    ljcarsenal
        3
    ljcarsenal  
       2017-04-10 00:21:41 +08:00
    看接口请求呗。 network 里。 讲道理 看生成 html 爬取的是知乎教程的水平
    acheapskate
        4
    acheapskate  
       2017-04-10 00:31:26 +08:00 via Android
    我也有这个问题。。 有些页面是 js 动态加载的,我用 phantomJS 的 webdriver 访问它,但是有些 class = "flag xxxx xxxx "不能用 find_element_by_class_name()获取。因为这个 class 中有空格。。🤔🤔

    不知道怎么直接向网站发出 获取 js 加载内容的请求,有 v 友简单说下方法吗
    zhihaofans
        5
    zhihaofans  
       2017-04-10 00:36:40 +08:00 via iPhone   ❤️ 1
    @acheapskate 有空格是因为它有多个 class ,我没用过 phantomJS 不清楚它是怎么筛选多个 class 的,如果是 jQuery 的活就将多个 class 用英文的点"."串联起来
    zyEros
        6
    zyEros  
       2017-04-10 00:38:53 +08:00 via iPhone   ❤️ 1
    @acheapskate 动态加载最好还是分析 ajax 接口,找到规律,然后进行请求
    acheapskate
        7
    acheapskate  
       2017-04-10 00:45:58 +08:00 via Android
    @zhihaofans 多谢,明天去试试 嘿嘿🤓🤓

    @zyEros 我去搜一下然后试试吧,谢谢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   881 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 20:20 · PVG 04:20 · LAX 12:20 · JFK 15:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.