记录一下学习python爬虫的入门例子

1、爬取的网页源代码如下：

2、代码部分如下，只爬取了电影名字，如果要爬取其他数据，可以自行补上：

import requests

from lxmlimport etree

url='https://maoyan.com/board/4'

headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

req=requests.get(url=url,headers=headers)

print(req.text)

tree=etree.HTML(req.text)

#爬取第一个电影的名字

element=tree.xpath('//dl[@class="board-wrapper"]/dd[1]//p[@class="name"]/a/@title')

print(element)

#爬取第一页的所有电影名称

name=tree.xpath('//p[@class="name"]/a/@title')

print(name)

声明：本代码仅用于个人学习，不用于商业用途