源码
import requests
from lxml import html
url='https://movie.douban.com/' #需要爬数据的网址
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'
}
page=requests.get(url,headers=headers)
tree=html.fromstring(page.text)
result=tree.xpath('//td[@class="title"]//a/text()') #获取需要的数据
print(result)
知识点
1.requests库:发送网络请求
2.lxml库:HTML和XML的解析
3.xpath:XML 文档中查找信息
网友评论