前言 😋
嗨喽，大家好呀~这里是爱看美女的茜茜呐
小姐姐你们喜欢吗？反正我是喜欢的，所以我决定！！
今天采集小姐姐视频~保存下来供我欣赏
环境使用:
-
Python 3.8
-
Pycharm
模块使用:
- import requests >>> pip install requests
内置模块 你安装好python环境就可以了
-
import re
-
import json
如果安装python第三方模块:
-
win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
-
在pycharm中点击Terminal(终端) 输入安装命令
基本思路流程: <实现采集案例基本 通用>
一. 数据来源分析
-
明确我们的需求 https://www.acfun.cn/v/ac35510357 这个视频内容
-
分析我们视频内容来自于哪里
通过开发者工具进行抓包分析:
-
F12 或者 鼠标右键点击检查
-
分析数据在那个数据包里面 这个网站数据是不是m3u8需要自己判断
m3u8 好处是什么, 你看多少内容就给你加载多少内容, 你看三秒就给你加载三秒, 绿色双人爱情.....<>
正常的视频内容: MP4 2分钟18秒
m3u8 分片段 ---> 分为很多小片段 <ts文件>, 一个小片段只有几秒钟的时间
我想要获取整个视频内容, 获取所有ts文件, 所有ts文件又保存在m3u8的文件里面
想要视频内容 ---> 分片段 ts文件 ---> m3u8文件里面 ---> 在网页源代码里面
二. 代码实现步骤: 爬虫基本四大步骤:
-
发送请求, 对于视频详情页url地址发送请求
-
获取数据, 获取服务器返回响应数据
-
解析数据, 提取我们要的 m3u8文件链接
-
发送请求, 对于 m3u8文件链接 发送请求
-
获取数据, 获取服务器返回响应数据
-
解析数据, 提取我们要的 所有ts文件链接
-
保存数据, 把视频片段全部保存下载, 合成为一个整体视频内容
代码
导入模块
# 导入数据请求模块 ---> 第三方模块 需要 在cmd里面进行 pip install requests
import requests
# 导入re正则模块 ---> 内置模块 不需要安装
import re
# 导入json模块 ---> 内置模块 不需要安装
import json
# 导入格式化输出模块 ---> 内置模块 不需要安装
from pprint import pprint
# 导入进度条模块 ---> 第三方模块 需要 在cmd里面进行 pip install tqdm
from tqdm import tqdm
# 导入tk GUI模块
import tkinter as tk
import tkinter.messagebox
def get_response(html_url):
"""
发送请求函数
:param html_url: 请求链接
:return: 响应对象
"""
# 伪装浏览器 headers ---> 开发者工具里面复制粘贴
headers = {
# 浏览器基本身份信息
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}
# 发送请求 <Response [200]> 响应对象
response = requests.get(url=html_url, headers=headers)
return response
def get_video_info(video_id):
"""
获取信息数据
:param video_id: 视频ID
:return: 视频数据
"""
video_url = f'https://www.acfun.cn/v/ac{video_id}'
response = get_response(video_url)
# 提取视频标题
title = re.findall('"title":"(.*?)",', response.text)[1]
# 获取m3u8
html_data = re.findall('window.pageInfo = window.videoInfo = (.*?);', response.text)[0]
# 转换数据类型
json_data = json.loads(html_data)
# 字典取值, 键值对 ---> 根据冒号左边的内容[键], 提取冒号右边的内容[值]
m3u8_url = \
json.loads(json_data['currentVideoInfo']['ksPlayJson'])['adaptationSet'][0]['representation'][0]['backupUrl'][0]
# 4. 发送请求, 对于 m3u8文件链接 发送请求 5. 获取数据, 获取服务器返回响应数据
m3u8_data = get_response(m3u8_url).text
# 6. 解析数据
m3u8_data = re.sub('#E.*', '', m3u8_data).split()
# 列表推导式
ts_url_list = ['https://ali-safety-video.acfun.cn/mediacloud/acfun/acfun_video/' + ts for ts in m3u8_data]
return title, ts_url_list
def save(title, ts_url):
"""
保存数据
:param title: 视频标题
:param ts_url: ts链接
:return:
"""
ts_content = get_response(ts_url).content
with open('video\\' + title + '.mp4', 'ab') as f:
f.write(ts_content)
def main():
"""
主函数
:param video_id:
:return:
"""
video_id = Va.get()
# 获取视频数据信息
title, ts_url_list = get_video_info(video_id)
for ts_url in tqdm(ts_url_list):
save(title, ts_url)
tk.messagebox.showinfo(title='温馨提示', message=f'{title}下载完成')
if __name__ == '__main__':
# main('35556211')
# 实例化对象
root = tk.Tk()
# 设置标题
root.title('小视频下载')
# 设置大小
root.geometry('424x115+200+200')
# 设置可变变量
Va = tk.StringVar()
# 设置文字
tk.Label(root, text='仅提供学习交流', font=('黑体', 15)).grid(row=0, column=2)
tk.Label(root, text='输入视频ac号: ', font=('黑体', 15)).grid(row=1, column=1)
# 设置输入框
tk.Entry(root, textvariable=Va).grid(row=1, column=2)
# 设置按钮
tk.Button(root, text='下载', font=('黑体'), command=main).grid(row=1, column=3)
# 显示窗口
root.mainloop()
尾语 💝
感谢你观看我的文章呐~本次航班到这里就结束啦 🛬
希望本篇文章有对你带来帮助 🎉，有学习到一点知识~
躲起来的星星🍥也在努力发光，你也要努力加油（让我们一起努力叭）。
最后，博主要一下你们的三连呀（点赞、评论、收藏），不要钱的还是可以搞一搞的嘛~
不知道评论啥的，即使扣个6666也是对博主的鼓舞吖 💞 感谢 💐
网友评论