美文网首页我爱编程
python 抓取动态网页数据

python 抓取动态网页数据

作者: 进击的小杰 | 来源:发表于2018-01-13 09:16 被阅读62次

这是python的第一篇文章,我自己是做ios的,但有空的时候比较喜欢钻一些比较好玩的东西,感觉python比较秀,就尝试了一下,完全0挤出入门,只知道一些代码的套路和语言的逻辑。
使用 selenium + chrome来完成目标:
我用的python是pyCharm,我觉得是很好用的 selenium这些包我直接用pyCharm装的,因为我本身系统内装有很多个python版本。
下载chromedriver安装包:chromedriver是帮我们启动浏览器的,我电脑里面装有谷歌浏览器,其实最好的应该是火狐。(https://sites.google.com/a/chromium.org/chromedriver/downloads)

from selenium import webdriver
url = "https://m.kaola.com/activity/goods/1167518.html?shareOs=iOS&datid=__da_230bb323_5691a863f1c33c80&shareTo=wx"
driver = webdriver.Chrome()
driver.get(url)
print (driver.page_source)
from selenium import webdriver
url = "https://m.kaola.com/activity/goods/1167518.html?shareOs=iOS&datid=__da_230bb323_5691a863f1c33c80&shareTo=wx"
driver = webdriver.PhantomJS()
driver.get(url)
print (driver.page_source)

相关文章

网友评论

    本文标题:python 抓取动态网页数据

    本文链接:https://www.haomeiwen.com/subject/tyzqoxtx.html