美文网首页数据采集数据分析
抓取摩拜单车分布数据做区域价值分析

抓取摩拜单车分布数据做区域价值分析

作者: 书生婉悠 | 来源:发表于2017-10-15 07:41 被阅读152次

    由于接的营销项目已经接近尾声, 终于有时间继续写点东西了。

    之前写了几篇关于数据分析的文章,就有不少朋友问我怎么突然从营销改玩数据了?这其实是误解吧,营销和数据从来就不应该分家,营销需要数据来做研究、分析,也需要数据来考核、修正。关于两者合作产生的巨大化学反应,可以看看数据冰山大神的文章:

    吉普自由之光:销量提升之道

    就在刚刚,我在看亚洲微软研究院的关于用共享单车数据做城市规划的文章,很受启发。仅就单区域而言,已经分布着膜拜、ofo、永安行旗下的5-7种单车,共享单车的数据样本确实足够巨大,反应的是人口密集度、区域价值、人口流动方向等等维度的指标。

    下面是根据由知乎大神“团支书”根据膜拜单车提供的数据制作的关于上海市人口分布情况:

    上图是以摩拜单车数据为例,绘制出的2017年某天上午该品牌共享单车在上海市的大致空间分布图。从地图上可以看到,共享单车已经深入了城市的每一个角落,几乎毫无死角。

    可以从个体视角观察的话,我们看到普通市民的使用逻辑,上图是一个短途骑行者。他高频流连于市中心与杨浦区。

    上图是一个长途骑行者,他曾经从杨浦区一口气骑到大虹桥。

    上图使用了2013-2017(共享单车是2016年规模性出现在上海的)的房租数据,绘制出上海市外环线周边历年房屋租金与地铁站距离的衰减曲线图。

    上图是上海共享单车的使用频率分布图。圆圈越大说明在该时段使用共享单车的人越多。很显然:工作日的早晚高峰(早上7-9点,晚上17-20点)是共享单车的使用高峰期,该期间的使用占比约为36%。而对于周末而言,共享单车是不存在早高峰的,但是却有非常明显的晚高峰。

    我认真看了一下这份报告,确实很酷,也很有用。但是,这是上海啊,跟我们有什么关系呢?或者说,怎么样也能获得这样的数据,制作这样的分析呢?

    下面就大致简单地说一说怎么样抓取泉州膜拜单车,或者其他单车的数据:

    下图是我要摩拜单车小程序上的区域单车分布,因为摩拜单车的APP暂时没有API借口,并且不开放抓取,所以就用小程序上单车的分布数据了:

    1、将电脑和手机设置同一wifi登陆;

    2、在抓包工具fiddler中tools选项下的connections选项中勾选允许电脑连接选项,并且记住连接端口8888

    3、在手机上打开http代理模式,并且将手机的服务器地址设置为电脑的ip地址,端口设置为8888

    4、在手机浏览器输入(ip地址:8888)内容,下载手机http证书:

    5、打开fiddler下的所有监控进程,通过以上设置就可以抓取手机信息了。

    6、打开摩拜单车的微信小程序,定位到要抓取的区域上,等单车现实后,就可以在fidder上现实所要的数据,需要提取的是post方法里的含有mobike-api内容的数据:

    7、接下来就用几行python代码抓取这些数据,相对来说还是比较简单的了。

    这里只是抓取了附近某个区域的单车数据,那么要怎么抓取整个泉州的数据了,这个我还没有尝试过,但是只需要通过高德地图获取全部泉州的经纬度,就可以获得全部的单车数据了。

    相关文章

      网友评论

        本文标题:抓取摩拜单车分布数据做区域价值分析

        本文链接:https://www.haomeiwen.com/subject/wkpfuxtx.html