美文网首页我爱编程
python 抓取动态网页数据

python 抓取动态网页数据

作者: 进击的小杰 | 来源:发表于2018-01-13 09:16 被阅读62次

    这是python的第一篇文章,我自己是做ios的,但有空的时候比较喜欢钻一些比较好玩的东西,感觉python比较秀,就尝试了一下,完全0挤出入门,只知道一些代码的套路和语言的逻辑。
    使用 selenium + chrome来完成目标:
    我用的python是pyCharm,我觉得是很好用的 selenium这些包我直接用pyCharm装的,因为我本身系统内装有很多个python版本。
    下载chromedriver安装包:chromedriver是帮我们启动浏览器的,我电脑里面装有谷歌浏览器,其实最好的应该是火狐。(https://sites.google.com/a/chromium.org/chromedriver/downloads)

    from selenium import webdriver
    url = "https://m.kaola.com/activity/goods/1167518.html?shareOs=iOS&datid=__da_230bb323_5691a863f1c33c80&shareTo=wx"
    driver = webdriver.Chrome()
    driver.get(url)
    print (driver.page_source)
    
    from selenium import webdriver
    url = "https://m.kaola.com/activity/goods/1167518.html?shareOs=iOS&datid=__da_230bb323_5691a863f1c33c80&shareTo=wx"
    driver = webdriver.PhantomJS()
    driver.get(url)
    print (driver.page_source)
    

    相关文章

      网友评论

        本文标题:python 抓取动态网页数据

        本文链接:https://www.haomeiwen.com/subject/tyzqoxtx.html