前言
嗨喽！大家好呀，这里是魔王~**
模块使用：
- requests >>> pip install requests (数据请求 第三方模块)
- re # 正则表达式 去匹配提取数据
- json
开发环境：
- Python 3.8 解释器
- Pycharm 2021.2 版本 建议
win + R 输入cmd 输入安装命令 pip install 模块名 如果出现爆红 可能是因为 网络连接超时 切换国内镜像源
爬虫案例实现, 固定思路流程:
一. 明确需求
采集视频内容, 先分析一个视频是从哪里获取
通过开发者工具进行抓包分析, 分析视频数据可以从哪里获取
A站这个视频内容 格式 m3u8视频内容
当我们网站视频格式 是m3u8的时候, 有一个专门存放所有ts视频片段的文件
二. 代码实现步骤: 发送请求 获取数据 解析数据 保存数据
1. 发送请求, 对于视频播放页面url地址发送请求
2. 获取数据, 获取服务器返回response响应数据
3. 解析数据, 提取我们想要的数据内容 视频标题 以及 m3u8 链接
4. 发送请求, 对于 m3u8 链接 发送请求
5. 获取数据, 获取服务器返回response响应数据
6. 解析数据, 提取所有ts文件url [视频片段]
7. 保存数据, 把所有视频保存下来, 然后合成为一个整体视频内容
代码
import requests # 数据请求模块 pip install requests 在cmd里面 输入命令
import re # 导入正则表达式模块 内置模块
import json
import pprint # 格式化输出模块
for page in range(1, 17):
print(f'--------------------正在采集第{page}页的数据内容--------------------')
list_url = 'https://www.acfun.cn/u/45321802'
# 批量 ctrl + R 选中目标
data = {
'quickViewId': 'ac-space-video-list',
'reqID': page + 1,
'ajaxpipe': '1',
'type': 'video',
'order': 'newest',
'page': page,
'pageSize': '20',
't': '1649944573765',
}
headers = {
# 'cookies': '你的cookie',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36'
}
# get请求 有一个params参数
# post请求 data 参数
response = requests.get(url=list_url, params=data, headers=headers)
# print(response.text)
id_list = re.findall('a href=.*?ac(.*?)"', response.text)
for index in id_list:
video_id = index.replace('\\', '')
"""
1. 发送请求, 对于视频播放页面url地址发送请求
用python代码去模拟浏览器 对于 url地址发送请求
video
"""
url = f'https://www.acfun.cn/v/ac{video_id}' # 确定请求url地址
# 请求头 用伪装python代码, 为了被服务器识别出来 是爬虫程序 一种简单反反爬手段 当你加ua 得到数据的时候, 可能要cookie
# 需要登陆才能获得数据的, 需要加cookie 用户信息, 常用于检测是否登陆账号
headers = {
# 'cookies': '你的cookie',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36'
}
# 通过requests模块里面get请求方式, 对于url地址发送请求, 并且携带上headers请求头伪装, 最后用response自定义变量接收返回数据
response = requests.get(url=url, headers=headers)
# 2. 获取数据
# print(response.text)
# 3. 解析数据 通过re模块里面findall的方法 在response.text里面去找寻 标题数据 re.S 匹配换行
# 正则表达式提取出来的数据返回都是列表数据类型 实现过程不重要, 方式方法很多, 你喜欢用哪个都可以 只要可以取到数据都OK
title = re.findall('<title >(.*?) - AcFun弹幕视频网 - 认真你就输啦 \(\?ω\?\)ノ- \( ゜- ゜\)つロ</title>', response.text)[0]
video_info = re.findall('window.pageInfo = window.videoInfo = (.*?);', response.text)[0]
# print(video_info) # 字符串转成字典 怎么转 最稳妥查看数据类型 直接用 type() 这个函数去查看
json_data = json.loads(video_info)
# pprint.pprint(json_data)
# 字典取值 根据冒号左边的内容(键) 提取冒号右边的内容(值)
m3u8_url = \
json.loads(json_data['currentVideoInfo']['ksPlayJson'])['adaptationSet'][0]['representation'][0]['backupUrl'][0]
# print(title)
# print(m3u8_url)
# 通过requests模块里面get请求方式, 对于m3u8_url地址发送请求, 并且携带上headers请求头伪装, 获取响应体文本数据, 用m3u8_data自定义变量接收数据
m3u8_data = requests.get(url=m3u8_url, headers=headers).text
# split() 字符串分割
m3u8_data = re.sub('#E.*', '', m3u8_data).split()
# print(m3u8_data)
for ts in m3u8_data:
ts_url = 'https://ali-safety-video.acfun.cn/mediacloud/acfun/acfun_video/' + ts
ts_content = requests.get(url=ts_url, headers=headers).content
# ab 是什么意思 a追加保存, b 二进制数据 ab 以二进制数据追加保存
with open('video\\' + title + '.mp4', mode='ab') as f:
f.write(ts_content)
print('视频保存完成: ', title)
视频教程
https://www.bilibili.com/video/BV1944y137YV?share_source=copy_web
尾语
好了，我的这篇文章写到这里就结束啦！
有更多建议或问题可以评论区或私信我哦！一起加油努力叭(ง •_•)ง
喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！
网友评论