美文网首页
Python-爬取豆瓣电影

Python-爬取豆瓣电影

作者: 大森森_ | 来源:发表于2020-02-28 19:52 被阅读0次

from selenium import webdriver
import time

phantomjs路径r#

path=r'phantomjs电脑上的存贮路径'
browser=webdriver.PathtomJS(path)

url='https://movie.douban.com/typerank?type_name=%E7%88%B1%E6%83%85&type=13&interval_id=100:90&action='

browser.get(url)
time.sleep(3)

browser.save_screenshot(r'phantomjs\douban1.png')

让browser执行简单的js代码,模拟滚动到底部#

js='document.body.scrollTop=10000'
browser.execute_script(js)

time.sleep(3)
browser.save_screenshot(r'phantomjs\douban2.png')#又多加载一页#

获取网页的代码,保存到文件中#

html=browser.page_source
with open(r'phantomjs\douban.html','w',encoding='utf8') as fp:
fp.write(html)

browser.quit()

相关文章

网友评论

      本文标题:Python-爬取豆瓣电影

      本文链接:https://www.haomeiwen.com/subject/myjrhhtx.html