美文网首页
根据坐标爬取饿了么商家信息

根据坐标爬取饿了么商家信息

作者: yu008 | 来源:发表于2018-06-01 15:26 被阅读43次

根据经纬度来爬取附近商家信息,保存在经纬度命名的csv文件中,方便后续导入pandas做数据清洗、分析。

import requests
import json
import time
import csv
def restapi(url,latitude,longitude):
    res_list = []
    res = requests.get(url)
    if res.status_code == 200:
        json_data = json.loads(res.text)
        for context in json_data:
            name = context['name']  #店铺名称
            month_sales = context['recent_order_num']   #月销量
            order_lead_time = context['order_lead_time']  #平均配送时间
            tip = context['description'] #简介
            phone = context['phone'] #电话
            classification = context['flavors'][0]['name'] #类型
            rate = context['rating']  #评分
            address = context['address'] #地址
            res_latitude = context['latitude'] #经度
            res_longitude = context['longitude'] #纬度
            data = {'店铺名称': name,
                    '月销量': month_sales,
                    '平均配送时间': order_lead_time,
                    '简介': tip,
                    '电话': phone,
                    '类型': classification,
                    '评分': rate,
                    '地址':address,
                    '经度':res_latitude,
                    '纬度':res_longitude,}
            res_list.append(data)
            headers = ['店铺名称', '月销量', '平均配送时间', '简介', '电话', '类型', '评分', '地址','经度','纬度', ]
            with open('c:/1/%s,%s.csv'%(latitude,longitude), 'w') as f:  #结果保存在根据经纬度命名的csv文件中
                f_csv = csv.DictWriter(f, headers)
                f_csv.writeheader()
                f_csv.writerows(res_list)
    else:
        time.sleep(10)
for x in range(47065,49999,106):
    for y in range(46090,49999,751):
        latitude = '29.' + str(x) #拼接生成经度
        longitude = '106.' + str(y) #拼接生成纬度
        url = 'https://www.ele.me/restapi/shopping/restaurants?extras[]=activities&geohash=ws101hcw982&latitude=%s&limit=30&longitude=%s&offset=0&terminal=web'%(latitude,longitude)
        restapi(url,latitude,longitude)
        print(url)
        time.sleep(5)

相关文章

  • 根据坐标爬取饿了么商家信息

    根据经纬度来爬取附近商家信息,保存在经纬度命名的csv文件中,方便后续导入pandas做数据清洗、分析。

  • Python爬取饿了么外卖信息

    距离上一次写博客已经差不多有半年了,深表惭愧..... 废话不多说,说说今天的任务,今天我们的目的爬取外卖信息,选...

  • python学习笔记——爬取饿了么商铺信息

    暖风,微凉 悠长的大道上,车水马龙。窄小的房间里,键声滔天。 也许是饿了吧,点些外卖,种类繁杂,却又无从选择。 据...

  • Python网络爬虫六

    爬取饿了么平台上的门店信息 大的网站往往都喜欢使用动态网页,我们在网址栏看到的是 https://www.ele....

  • 饿了么,不饿了

    今天,上海市饿了么全市配送系统性瘫痪,不少商家都在找饿了么索赔。不经要问了,饿了么是怎么了,还想活下去么。 ...

  • 气的头疼

    对于饿了么骑手真心无语了,取餐不对单子取错餐还一副无所谓的样子。虽然曾经也是饿了么骑手但是对于漯河饿了么骑手这种工...

  • 三十四. PhantomJS实例 - 淘宝商品搜索和翻页

    爬取网址:https://www.taobao.com/爬取信息:商品价格,付款人数,商品名称、商家名称和地址存储...

  • 饿了么“暖冬计划”:口惠而实不至的“爆表”心机

    这个冬天,饿了么的动作不断。 元旦刚过,饿了么宣布将要实施“暖冬计划”,为外卖商家送温暖。话刚落地,1月15日,饿...

  • scrapy入门之【什么值得买】(1)

    什么值得买:大型比价 / 推送网站 现状 网站内信息杂乱,很多商家自荐信息 并无用 水军 目标: 爬取数据 存入m...

  • 饿了么,我的客服你能处理么?

    在饿了么点了份外卖,面条,肉夹馍, 我点评:什么啊?这能吃么? 商家回复我的点评:钱退给你了,你还要商家怎么样? ...

网友评论

      本文标题:根据坐标爬取饿了么商家信息

      本文链接:https://www.haomeiwen.com/subject/mqkksftx.html