美文网首页Python爬虫案例分享
去洗脚吗?一起探索按摩店的乐趣,Python采集按摩/足浴店数据

去洗脚吗?一起探索按摩店的乐趣,Python采集按摩/足浴店数据

作者: Python案例教学 | 来源:发表于2021-10-28 19:34 被阅读0次

本文内容

  1. 动态数据抓包演示
  2. json数据解析
  3. requests模块的使用
  4. 保存csv

环境介绍

  • python 3.8 解释器
  • pycharm 编辑器

确定我们要爬取数据内容是什么?

美团网上搜索“按摩”,采集全部按摩店数据

通过开发者工具进行抓包分析,找到数据

代码实现步骤:

  1. 发送请求, 对于店铺信息数据包url地址发送请求
  2. 获取数据, 获取服务器返回的response响应数据
  3. 解析数据, 提取我们想要的一些数据内容 (店铺信息)
  4. 保存数据, 把相应的数据内容保存csv表格里面
  5. 多页爬取数据内容

开始写代码,首先导入模块

import requests  # 数据请求模块 第三方模块 pip install requests
import pprint  # 格式化输出模块
import csv  # 保存csv模块

发送请求, 对于店铺信息数据包url地址发送请求

确定请求的url地址 url?后面的内容,都是属于一个请求参数

url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/70'
# 因为它是字典数据类型
data = {
    'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0',
    'userid': '266252179',
    'limit': '32',
    'offset': page,
    'cateId': '-1',
    'q': '按摩',
}
# 加上请求头 作用: 伪装
# User-Agent 表示浏览器基本信息
# Cookie: 用户信息, 常用于检测是否有登陆账号
# Referer: 防盗链, 告诉服务器我们发送请求url请求是从哪里跳转过来的
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'
}
response = requests.get(url=url, params=data, headers=headers)  # 发送请求

解析数据,提取我们想要的一些数据内容 (店铺信息)

json字典数据 如何解析提取数据内容 字典取值 键值对取值, 根据冒号左边内容, 提取冒号右边内容

searchResult = response.json()['data']['searchResult']
# for 遍历 提取列表中的每一个元素内容
for index in searchResult:
    # pprint.pprint(index)
    href = f'https://www.meituan.com/xiuxianyule/{index["id"]}/'

    dit = {
        '店铺名字': index['title'],
        '店铺类型': index['backCateName'],
        '店铺商圈': index['areaname'],
        '店铺评分': index['avgscore'],
        '店铺评论量': index['comments'],
        '人均消费': index['avgprice'],
        '维度': index['latitude'],
        '经度': index['longitude'],
        '详情页': href,
    }
    print(dit)

保存数据

f = open('美团按摩店top2.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '店铺名字',
    '店铺类型',
    '店铺商圈',
    '店铺评分',
    '店铺评论量',
    '人均消费',
    '维度',
    '经度',
    '详情页',
])
csv_writer.writeheader() # 写入表头

翻页爬取

for page in range(0, 3201, 32):
    # time.sleep(1)
    url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/70'
    # 因为它是字典数据类型
    data = {
        'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0',
        'userid': '266252179',
        'limit': '32',
        'offset': page,
        'cateId': '-1',
        'q': '按摩',
  }

相关文章

  • 去洗脚吗?一起探索按摩店的乐趣,Python采集按摩/足浴店数据

    本文内容 动态数据抓包演示 json数据解析 requests模块的使用 保存csv 环境介绍 python 3....

  • 接受一切

    晚上走路了很久很久,去一家足浴按摩店按摩足浴。 按摩肩膀和腰背的时候,很痛,当按摩师按下来的一刻,身体自然而然地抵...

  • 足浴按摩店引爆人气的店庆

    今天给大家分享一个足浴按摩店通过广告转换思路开发出来的一个经典案例分析,后面会通过案例,引导大家开拓思路,让商家免...

  • 足浴店“暗藏玄机”,女技师明码标价推销“特殊服务”:400元一次

    随着社会的发展,越来越多的足疗按摩店像雨后春笋般冒了出来。虽然有些足浴按摩可以让人放松,但有些足疗店却成了挂羊头卖...

  • 按摩店

    国庆节一直在下雨。 我每天都裹着被子,暖暖的,睡觉,打游戏,一点都不觉得空虚。 偶尔有女粉丝发消息,蛮激动的。 结...

  • 按摩店

    任何想要掌握命运的人,都得付出沉重的代价。拥有了洞悉一切的智慧,最终的结局就是永恒的痛苦。 对于多数人来说,一些大...

  • 按摩店

    都市夜晚,灯火辉煌,各色霓虹争艳。 一男子在某按摩店门口来回徘徊,向内张望。 三分钟后,走了进去。 老板:先生,需...

  • 按摩店

    去年吧,走在路上的时候,有家新店开业的按摩店,有人在街头拉客,说什么有礼物送什么的。然后我就被拉过去了。进店了吧,...

  • 一只木桶的命运

    十多年前,周围的女邻居们像疯了般迷上了足浴。 几乎每个家庭煮妇都去足浴按摩店购来足浴盆和足浴药煮水泡脚,据说有美容...

  • 头条文章

    陈先生这天又像往常一样来到足浴店做脚底按摩icon,他洗浴完正躺在休息区的沙发床上,等待着女技师来给他做足底按摩。...

网友评论

    本文标题:去洗脚吗?一起探索按摩店的乐趣,Python采集按摩/足浴店数据

    本文链接:https://www.haomeiwen.com/subject/hkdvaltx.html