前言

嗨喽！大家好呀，这里是魔王~**

[环境介绍]：

• python 3.8 解释器
• pycharm 2021专业版 >>> 激活码 编辑器

[模块使用]：

• requests >>> pip install requests
• parsel >>> pip install parsel
• csv

win + R 输入cmd 输入安装命令 pip install 模块名

模块安装问题:

- 如果安装python第三方模块:
    1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
    2. 在pycharm中点击Terminal(终端) 输入安装命令
- 安装失败原因:
    - 失败一: pip 不是内部命令
        解决方法: 设置环境变量

    - 失败二: 出现大量报红 (read time out)
        解决方法: 因为是网络链接超时,  需要切换镜像源
            清华：https://pypi.tuna.tsinghua.edu.cn/simple
            阿里云：https://mirrors.aliyun.com/pypi/simple/
            中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
            华中理工大学：https://pypi.hustunique.com/
            山东理工大学：https://pypi.sdutlinux.org/
            豆瓣：https://pypi.douban.com/simple/
            例如：pip3 install -i https://pypi.doubanio.com/simple/ 模块名

    - 失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入
        解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好
                或者你pycharm里面python解释器没有设置好

如何配置pycharm里面的python解释器?

1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
2. 点击齿轮, 选择add
3. 添加python安装路径

pycharm如何安装插件?

1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)
2. 点击 Marketplace  输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
3. 选择相应的插件点击 install(安装) 即可
4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

代码

import os
path = 'C:\\02-讲师文件夹\\自游\\虎牙视频\\video\\'
files = os.listdir(path)
print(files)
for file in files[:5]:
    name = file.split('.')[0]
    f = open(path + file, mode='rb')
    with open('转换\\' + name + '.rmvb', mode='wb') as z:
        z.write(f.read())

# os.listdir('')
# # 导入数据请求模
# 块
# import requests  # 第三方模块 pip install requests
# # 导入数据解析模块
# import parsel  # 第三方模块 pip install parsel
# import csv
# import time
# f = open('data_1.csv', mode='a', encoding='utf-8', newline='')
# csv_writer = csv.DictWriter(f, fieldnames=[
#     '标题',
#     '评论',
#     '推荐',
#     '作者',
#     '出版日期',
#     '出版社',
#     '售价',
#     '折扣',
#     '原价',
#     '电子书',
#     '详情页',
# ])
# csv_writer.writeheader() # 写入表头
# """
# 1. 发送请求
# 爬虫发送请求,  模拟浏览器对于url地址发送请求的
# headers 请求头
# """
# for page in range(1, 26):
#     print(f'正在采集第{page}页的数据内容')
#     time.sleep(1.5)
#     url = f'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-{page}'
#     headers = {
#         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36'
#     }
#     response = requests.get(url=url, headers=headers)
#     # print(response)  # <Response [200]> 响应对象 200 状态码表示请求成功
#     # 2. 获取数据, 服务器返回响应数据 response.text 文本数据
#     # print(response.text)
#     # 3. 解析数据, 提取我们想要数据内容 书籍相关信息 re css xpath
#     # css 根据标签属性内容提取数据
#     selector = parsel.Selector(response.text)  # 把获取html字符串转成可解析的对象
#     # 分为两次提取, 第一次提取所有li标签的内容
#     lis = selector.css('ul.bang_list li')
#     # print(lis)
#     for li in lis:
#         # class 用小圆点 id 用 #  标签名
#         # a::attr(title) 提取a标签里面title属性内容 attr() 属性选择器 get() 获取这个数据内容
#         title = li.css('.name a::attr(title)').get()  # 书籍名字
#         comment = li.css('.star a::text').get().replace('条评论', '')  # 评论数
#         recommend = li.css('.tuijian::text').get().replace('推荐', '')  # 推荐
#         author = li.css('div:nth-child(5) a:nth-child(1)::attr(title)').get()  # 作者
#         date = li.css('div:nth-child(6) span::text').get()  # 出版时间
#         press = li.css('div:nth-child(6) a::text').get()  # 出版社
#         price_n = li.css('div:nth-child(7) p:nth-child(1) .price_n::text').get()  # 售价
#         price_r = li.css('div:nth-child(7) p:nth-child(1) .price_r::text').get()  # 原价
#         price_s = li.css('div:nth-child(7) p:nth-child(1) .price_s::text').get().replace('折', '')  # 折扣
#         price_e = li.css('div:nth-child(7) .price_e .price_n::text').get()  # 电子书价格
#         href = li.css('.name a::attr(href)').get()  # 详情页
#         dit = {
#             '标题': title,
#             '评论': comment,
#             '推荐': recommend,
#             '作者': author,
#             '出版日期': date,
#             '出版社': press,
#             '售价': price_n,
#             '折扣': price_s,
#             '原价': price_r,
#             '电子书': price_e,
#             '详情页': href,
#         }
#         csv_writer.writerow(dit)
#         print(title, comment, recommend, author, date, press, price_n, price_r, price_s, price_e, href)

视频教程

https://www.bilibili.com/video/BV1hS4y1u7k5?share_source=copy_web

尾语

好了，我的这篇文章写到这里就结束啦！

有更多建议或问题可以评论区或私信我哦！一起加油努力叭(ง •_•)ง

喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！