前言
嗨喽，大家好呀~这里是爱看美女的茜茜呐
一周工作，忙忙碌碌，身心疲惫，一到周末，倒头大睡，懒得做饭，点个外卖。
今天我们要采集的网站呢，是国内知名的网上订餐平台~
我做的是采集商家商品数据信息，你也可以采集另外数据哦~
准备工作
下面的尽量跟我保持一致哦~不然有可能会发生报错 💕
环境使用:
-
Python 3.8
-
Pycharm
模块使用:
-
requests >>> pip install requests
-
csv
如果安装python第三方模块:
-
win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
-
在pycharm中点击Terminal(终端) 输入安装命令
如何配置pycharm里面的python解释器?
-
选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
-
点击齿轮, 选择add
-
添加python安装路径
pycharm如何安装插件?
-
选择file(文件) >>> setting(设置) >>> Plugins(插件)
-
点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
-
选择相应的插件点击 install(安装) 即可
-
安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效
基本流程: <通用的>
一. 数据来源分析
分析清楚自己想要数据内容, 是请求那个数据包<url>地址可以得到的
通过开发者工具进行抓包分析...
I. 鼠标右键点击检查（或按F12）弹出开发者工具， 选择network 点击第二页数据 第一个数据包就是我们想要数据内容
二. 代码实现步骤过程:
-
发送请求, 对于模拟浏览器对于url地址发送请求
-
获取数据, 获取服务器返回响应数据 ---> 开发者工具里面response
-
解析数据, 提取我们想要数据内容
-
保存数据, 保存表格
额外 翻页多页数据采集
代码展示
因审核因素，我把代码里的网址删去啦~你们可以自行添加一下呐。
一共改了五处网址，采集的网站我会在评论区打出，方便你们添加网址哦~
发送请求
对于模拟浏览器对于url地址发送请求
# - 如何批量替换内容
# 选中替换内容, 按ctrl + R 输入正则表达式命令
# (.*?): (.*)
# '$1': '$2',
# - <Response [403]> 返回响应对象 403 状态码
# 大多数请求, 加防盗链即可解决
for page in range(0, 320, 32):
time.sleep(1)
确定请求url地址
url = 'https://apimobile..com/group/v4/poi/pcsearch/70'
请求参数
字典数据类型, 构建完整键值对
data = {
'uuid': '4b9d79d54b524ab5a319.1656309336.1.0.0',
'userid': '266252179',
'limit': '32',
'offset': page,
'cateId': '-1',
'q': '会所',
}
# 请求头: 伪装, 把python代码伪装(模拟)成浏览器发送请求
headers = {
# Referer 防盗链 告诉服务器我们请求url地址从哪里跳转过来的
'Referer': 'https://chs..com/',
# User-Agent 用户代理 表示浏览器基本身份标识
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}
发送请求
<Response [403]> 返回响应对象 403 状态码 表示请求你没有访问权限 <说明没请求成功> 200 表示请求成功
response = requests.get(url=url, params=data, headers=headers)
print(response)
获取数据
获取响应对象json字典数据
# print(response.json())
# pprint.pprint(response.json())
解析数据
---> 根据得到数据, 选择最佳解析方法 直接通过键值对取值方式(根据冒号左边的内容[键], 提取冒号右边的内容[值])
# 把列表里的数据一个一个提取出来, 怎么操作用什么方法 ---> for循环遍历
for index in response.json()['data']['searchResult']:
href = f'https://www..com/xiuxianyule/{index["id"]}/'
# 如果我不炒股, 他说要股票数据, 给我钱 让我给她采集
dit = {
'标题': index['title'],
'商圈': index['areaname'],
'店铺类型': index['backCateName'],
'评分': index['avgscore'],
'人均消费': index['avgprice'],
'评论量': index['comments'],
'经度': index['longitude'],
'维度': index['latitude'],
'详情页': href,
}
csv_writer.writerow(dit)
print(dit)
import requests
import re
url = 'https://www..com/xiuxianyule/1718272961/'
headers = {
'Host': 'www..com',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36',
}
response = requests.get(url=url, headers=headers)
# print(response.text)
shop_info = re.findall('"cityName":"(.*?)","cityPy":"chs","brandName":"","shopName":"(.*?)","score":(.*?),"avgPrice":(.*?),"address":"(.*?)","phone":"(.*?)","openTime":"(.*?)"', response.text)
print(shop_info)
多页列表数据采集:
# 导入数据请求模块 ---> 第三方模块 需要 在cmd里面 pip install requests
import time
import requests
# 导入格式化输出模块 ---> 内置模块...
import pprint
# 导入csv模块
import csv
# 创建文件
f = open('1.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
'标题',
'商圈',
'店铺类型',
'评分',
'人均消费',
'评论量',
'经度',
'维度',
'详情页',
])
csv_writer.writeheader()
尾语 💝
感谢你观看我的文章呐~本次航班到这里就结束啦 🛬
希望本篇文章有对你带来帮助 🎉，有学习到一点知识~
躲起来的星星🍥也在努力发光，你也要努力加油（让我们一起努力叭）。
最后，博主要一下你们的三连呀（点赞、评论、收藏），不要钱的还是可以搞一搞的嘛~
不知道评论啥的，即使扣个6666也是对博主的鼓舞吖 💞 感谢 💐
网友评论