美文网首页
python简单爬虫示例

python简单爬虫示例

作者: 顺子_aba3 | 来源:发表于2019-12-10 12:29 被阅读0次

源码

import requests
from lxml import html
url='https://movie.douban.com/' #需要爬数据的网址
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'
}
page=requests.get(url,headers=headers)
tree=html.fromstring(page.text)
result=tree.xpath('//td[@class="title"]//a/text()') #获取需要的数据
print(result)

知识点

1.requests库:发送网络请求
2.lxml库:HTML和XML的解析
3.xpath:XML 文档中查找信息

相关文章

网友评论

      本文标题:python简单爬虫示例

      本文链接:https://www.haomeiwen.com/subject/krtggctx.html