爬虫基础知识
1）提取本地html文件
（1）步骤
✏ 需要自已先写一个html（或者本地已有一个html文件）
✏ 从本地将html文件的内容读取出来
✏ 使用xpath语法进行提取（lxml中的xpath）
（2）selector = html.fromstring(html_data)
解析html文件，获取selector对象
（3）selector.xpath('/html/body/h1/text()')
要获取标签中的内容，末尾要添加text()
// 可以代表从任意位置出发 / 表示从当前位置
（4）标签1[@属性=属性值]/标签2[@属性=属性值]..../text()
2）在网上爬虫的基本方法
（1）先要导入包 import requests
（2）url =' 你要爬虫的网址 '
（3）常用方法
✏ response.text --------------获取str类型的响应
✏ response.content--------------获取bytes类型的响应（图片）
✏ response.headers--------------获取响应头
✏ response.status_code--------------获取状态码
（200成功访问 404找不到页面 500服务器问题）
✏ response.encoding--------------获取编码
特别注意在网上进行爬虫需要添加请求头
Python例子
一、从本地的index.html文件中获取div的id="container"下p标签的内容、a标签的获取属性值。
✚ index.html文件展示
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>王者荣耀</title>
</head>
<body>
<h1>王者荣耀</h1>
<ul>
<li><a href="https://pvp.qq.com/web201605/herolist.shtml"><img src="https://game.gtimg.cn/images/yxzj/img201606/heroimg/508/508.jpg">伽罗</a></li>
<li><a href="https://pvp.qq.com/web201605/herolist.shtml"><img src="https://game.gtimg.cn/images/yxzj/img201606/heroimg/193/193.jpg"></img>铠</a></li>
<li><a href="https://pvp.qq.com/web201605/herolist.shtml"><img src="https://game.gtimg.cn/images/yxzj/img201606/heroimg/510/510.jpg"></img>孙策</a></li>
<li><a href="https://pvp.qq.com/web201605/herolist.shtml"><img src="https://game.gtimg.cn/images/yxzj/img201606/heroimg/106/106.jpg"></img>小乔</a></li>
</ul>
<ol>
<li>法师</li>
<li>坦克</li>
<li>战士</li>
<li>刺客</li>
</ol>
<div>第一个div</div>
<div id="container">
<p>小乔小乔小乔小乔小乔</p>
<a href="https://pvp.qq.com/web201605/herolist.shtml"><img src="https://game.gtimg.cn/images/yxzj/img201606/heroimg/106/106.jpg"></img>点击跳转</a>
</div>
<div>结束了！</div>
</body>
</html>
✚ 运行截图
✚ 爬虫代码
from lxml import html
with open('./index.html','r',encoding='utf-8') as f:
html_data = f.read()
selector = html.fromstring(html_data)
h1 = selector.xpath('/html/body/h1/text()')
print(h1[0])
a = selector.xpath('//div[@id="container"]/a/text()')
print(a[0])
p = selector.xpath('//div[@id="container"]/p/text()')
print(p[0])
link = selector.xpath('//div[@id="container"]/a/@href')
print(link[0])
✚ 结果展示
二、获取知乎网（网址：https://www.zhihu.com/）的状态码。
#知乎爬虫
import requests
#没有添加请求头的知乎网站
#resp = request.get('https:www.zhihu.com/')
#print(resp.status_code) 返回404
# 使用字典定义请求头
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}
resp = requests.get('https://www.zhihu.com/', headers = headers)
print(resp.status_code) #返回200
三、当当网通过搜索框爬虫最便宜的10本书，并绘制成条形统计图。
✚ 网址：http://search.dangdang.com/
✚ 代码
import requests
from lxml import html
import pandas as pd
from matplotlib import pyplot as plt
plt.rcParams["font.sans-serif"] = ['SimHei'] #解决代码中文乱码
plt.rcParams['axes.unicode_minus'] = False
def spider_dangdang(isbn):
book_list = []
#目标站点地址
url = 'http://search.dangdang.com/?key={}&act=input'.format(isbn)
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}
resp = requests.get(url,headers=headers)
html_data = resp.text
selector = html.fromstring(html_data)
ul_list = selector.xpath('//div[@id="search_nature_rg"]/ul/li')
print('您好，共有{}家店铺售卖此书！'.format(len(ul_list)))
#遍历ul_list
for li in ul_list:
#图书的名称
title = li.xpath('./a/@title')[0].strip()
print(title)
#图书名称
#图书的购买链接
link = li.xpath('a/@href')[0]
print(link)
#图书价格
price = li.xpath('./p[@class="price"]/span[@class="search_now_price"]/text()')[0]
price = float(price.replace('¥',''))
print(price)
#图书卖家名称
store = li.xpath('./p[@class="search_shangjia"]/a/text()')
#第一种方式
if len(store) == 0:
store = '当当自营'
else:
store = store[0]
# 第二种方式
#store = '当当自营' if len(store) == 0 else store[[0]
print(store)
#添加每一个商家信息
book_list.append({
'title':title,
'price':price,
'link':link,
'store':store
})
#排序 按照价格
book_list.sort(key = lambda x:x['price'])
#遍历book_list
for book in book_list:
print(book)
#展示价格最低的前 down10 用柱状图
#店铺的名称
top10_store = [book_list[i] for i in range(10)]
x = [x['store'] for x in top10_store]
print(x)
#图书的价格
y = [x['price'] for x in top10_store]
print(y)
plt.barh(x,y)
plt.show()
#存储为csv文件
df = pd.DataFrame(book_list)
df.to_csv('dangdang.csv')
spider_dangdang('9787115428028')
✚ 结果截图
✚ 生成的CSV文件（可以用EXCEL打开）
豆瓣电影爬虫
✚ 要求：
（1）获取：电影名，上映日期，类型，上映国家，想看人数数据
（2）根据想看人数进行排序
（3）绘制即将上映电影国家的占比图
（4）绘制top5最想看的电影
✚代码
import requests
from lxml import html
import re
from matplotlib import pyplot as plt
plt.rcParams["font.sans-serif"] = ['SimHei'] #解决代码中文乱码
plt.rcParams['axes.unicode_minus'] = False
url = 'https://movie.douban.com/cinema/later/chongqing/'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}
resp = requests.get(url,headers=headers)
html_data = resp.text
movies_list =[]
selector = html.fromstring(html_data)
ul_list = selector.xpath('//div[@class="intro"]')
print('您好，共有{}部电影！'.format(len(ul_list)))
for li in ul_list:
#电影名
name = li.xpath('./h3/a/text()')[0]
print(name)
hml = li.xpath('./ul/li/text()')
#上映日期
date = hml[0]
#类型
type = hml[1]
#上映国家
country = hml[2]
#想看人数
number =li.xpath('./ul/li[@class="dt last"]/span/text()')
string = number[0]
number1 = re.findall(r"\d+\.?\d*", string)
number2 = int(number1[0])
print(number2)
movies_list.append({
'name': name,
'date': date,
'type': type,
'country': country,
'number2':number2
})
#排序 按照想看人数
movies_list.sort(key = lambda x:x['number2'],reverse = True)
#遍历
#movies_list 列表
for movie in movies_list:
print(movie)
zgdl = 0
els = 0
rb = 0
counts = []
for i in range(len(movies_list)):
if(movies_list[i]['country']=='中国大陆'):
#print("2222222222")
zgdl += int(movies_list[i]['number2'])
elif(movies_list[i]['country']=='俄罗斯'):
els += int(movies_list[i]['number2'])
elif(movies_list[i]['country']=='香港'):
rb += int(movies_list[i]['number2'])
else:
xg += int(movies_list[i]['number2'])
labels = ['中国大陆','俄罗斯','日本','香港']
counts = [zgdl,els,rb,xg]
counts = [zgdl,els,rb]
# print(counts)
# 绘制top5最想看的电影 柱状图
top5_movies = [movies_list[i] for i in range(5)]
x = [x['name'] for x in top5_movies]
# print(x)
#图书的价格
y = [x['number2'] for x in top5_movies]
# print(y)
plt.barh(x,y)
plt.show()
# 绘制即将上映电影国家的占比图 饼图
plt.pie(counts,labels = labels,autopct='%1.1f%%')
plt.legend(loc = 2)
plt.axis('equal')
plt.show()
✚ 数据展示
✚ 结果截图展示
豆瓣网电影国家占比.png
✚ 总结
最开始在做绘制即将上映电影国家的占比图的时候，也没有考虑到，有很多的国家是一样的，所以最开始我做的是错误的，如下图。最开始没有搞清楚列表和字典的读取方式真的很吃亏，在列表里面元素是字典，这个时候要先使用列表的读取方式读到字典，再通过字典的方式读取最里面的数据，一直在这里卡着。当然后面做的方式比较牵强，是在我错误的前提下，我已经知道只有几个国家的情况下写的if/else条件进行筛选并统计人数，这个做法不是最优的方法。自已写的，也不知道对不对，如若不对欢迎留言，有更好的方法可以在下面留言。哈哈哈哈哈..........
网友评论