美文网首页Gis专辑GIS文章集python gis
python调用百度地图API实现经纬度换算、热力地图全流程指南

python调用百度地图API实现经纬度换算、热力地图全流程指南

作者: 博观厚积 | 来源:发表于2017-03-18 08:55 被阅读11184次

    基于地图的数据可视化应用愈来愈广泛,目前,有很多方法来实现地图可视化,包括excel的power map包、各种数据分析软件的地图库以及在线交互地图可视化操作工具,如Echarts、Tableau Public、polyMaps等等。另外还有一种手段就是通过软件调用百度、google或者其他地图的api,自己DIY可视化地图,但是这种办法需要操作者本身既要对相关软件的编程熟悉,又要熟悉不同地图api的具体用法。本文就是用这种手段,以一个简单的表格文件出发,在不知道相关地点经纬度的情况下,通过python调用百度地图API实现热力地图,这其中需要申请密钥、批量经纬度换算、转换成js数据、百度热力地图api相关参数的调整等等。

    (1)初始数据:csv格式的数据表格

    初始数据为2017年1月70个大中城市新建住宅价格指数同比值,直接从国家统计局网站公布的数据copy过来(下图),数据已整理好,为两列(城市city、房价指数price),并保存为csv格式。在实际中,我们常常通过爬取网站上万条地区数据并存为csv格式来分析,在这里为简化流程,初始数据来源直接copy已有数据。

    Paste_Image.png
    (2)城市转换成经纬度第一步:注册密钥
    在百度地图api上相关位置的展现是以经纬度为基础的(这里暂不介绍百度地图坐标体系与其他地图的区别),如北京,其经度(longitude)为:116.395645,纬度(latitude)为:39.929986,在这里既需要通过百度的Geocoding API来获取不同城市的经纬度坐标,又要求将csv数据文件导入python,批量获取这70个城市的坐标信息。在做这些之前,需要注册百度地图api(首先你要用百度的账号)以获取免费的密钥,才能完全使用该api。登录网址:http://lbsyun.baidu.com/
    首页点击申请密钥按钮,经过填写个人信息、邮箱注册等,成功之后在开放平台上点击“创建应用”,填写相关信息,在这里特别说明的是,在IP白名单框里,如果不清楚自己的IP地址,最好设置为:0.0.0.0/0,虽然百度提醒它会有泄露使用的风险,但是有时候你把你自己的IP地址输进去可能也不行。提交后,在你创建应用的访问应用(AK)那一栏就是你的密钥。
    (3)城市转换成经纬度第二步:构造经纬度获取函数
    注册密钥后就可以在百度Web服务API下的Geocoding API接口来获取你所需要地址的经纬度坐标并转化为json结构的数据,其网址为:
    http://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-geocoding
    网页中有相关说明,根据示例URL,采用python3软件,写出如下函数:
    import json
    from urllib.request import urlopen, quote
    import requests,csv
    import pandas as pd #导入这些库后边都要用到
    
    def getlnglat(address):
        url = 'http://api.map.baidu.com/geocoder/v2/'
        output = 'json'
        ak = '你申请的密钥***'
        add = quote(address) #由于本文城市变量为中文,为防止乱码,先用quote进行编码
        uri = url + '?' + 'address=' + add  + '&output=' + output + '&ak=' + ak
        req = urlopen(uri)
        res = req.read().decode() #将其他编码的字符串解码成unicode
        temp = json.loads(res) #对json数据进行解析
        return temp 
    

    (4)城市转换成经纬度第三步:批量获取城市经纬度坐标
    在构造完获取坐标函数后,我们就需要用python读取csv文件的数据,并将city列单独读出来,批量获取经度、纬度坐标,并生成json的数据文件,其代码如下:

    file = open(r'E:\\爬虫数据分析\调用百度地图api\point.json','w') #建立json数据文件
    with open(r'E:\\爬虫数据分析\调用百度地图api\各区域房价.csv', 'r') as csvfile: #打开csv
        reader = csv.reader(csvfile)
        for line in reader: #读取csv里的数据
            # 忽略第一行
            if reader.line_num == 1: #由于第一行为变量名称,故忽略掉
                continue
                # line是个list,取得所有需要的值
            b = line[0].strip() #将第一列city读取出来并清除不需要字符
            c= line[1].strip()#将第二列price读取出来并清除不需要字符
            lng = getlnglat(b)['result']['location']['lng'] #采用构造的函数来获取经度
            lat = getlnglat(b)['result']['location']['lat'] #获取纬度
            str_temp = '{"lat":' + str(lat) + ',"lng":' + str(lng) + ',"count":' + str(c) +'},'
            #print(str_temp) #也可以通过打印出来,把数据copy到百度热力地图api的相应位置上
            file.write(str_temp) #写入文档
    file.close() #保存
    

    在这里特别要注意str_temp = '{"lat":' + str(lat) + ',"lng":' + str(lng) + ',"count":' + str(c) +'},',这一行的命令,这是参照百度地图JavaScript API热力图制作的相应格式而生成的,生成的json数据格式为:{"lat":39.92998577808024,"lng":116.39564503787867,"count":124.7},如下图所示,来自于网址:http://developer.baidu.com/map/jsdemo.htm#c1_15

    Paste_Image.png
    (5)生成热力地图
    接下来就比较简单,我们先建立一个html文件,将http://developer.baidu.com/map/jsdemo.htm#c1_15
    网址中源代码复制过来,首先将代码中的ak换成你自己的密钥; Paste_Image.png
    然后将生成的point.json文件里的数据复制出来,在替换掉var points =[ ]里的内容,即可。这里要注意的是,由于百度地图JavaScript API热力图默认的是以天安门为中心的北京区域地图,而我们的数据是全国性的,所以这里还需要对热力图中“设置中心点坐标和地图级别”的部分进行修改(见下图),具体设置可以参考百度创建地图api中:
    http://api.map.baidu.com/lbsapi/creatmap/
    自己可以去调试出合适的中心点与地图级别。
    Paste_Image.png
    最后,由于我们的大部分price数据(也就是points里的count)都超过了100(默认最大为100),还需要对热点图代码中的点最大值进行设定(这里设为140)。
    Paste_Image.png
    保存后,用浏览器打开,即得到了2017年1月70个大中城市新建住宅价格指数同比的热力地图
    Paste_Image.png
    图形可以看出,2017年1月房价上涨的热点地区主要是合肥、南京、杭州一带,福州、厦门一带以及广州一带。

    相关文章

      网友评论

      • 3df04ed8b337:lng = getlnglat(b)['result']['location']['lng']
        KeyError: 'result'
        这是怎么回事啊
        墨名_c533:我的也是出现KeyError: 'result',并且出现json的数据为0kb,百度地图api改动也没发现,望请您多多指点
        博观厚积:这个写于一年之前,现在百度地图api上有所改动,导致原有代码提取的东西,可能提不出来了。。。
      • 侯明昊啦啦啦:求源码学习和cvs数据
        侯明昊啦啦啦:邮箱646488194@qq.com
      • 23816db9a7eb:你好,.csv文件中中文在读取的时候utf-8读不出来
        raceback (most recent call last):
        File "test1.py", line 24, in <module>
        for line in reader:
        File "/usr/local/var/pyenv/versions/3.5.0/lib/python3.5/codecs.py", line 321, in decode
        (result, consumed) = self._buffer_decode(data, self.errors, final)
        UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position 11: invalid start byte
        你有没有碰到这种情况
        Eureka_a475:源代码复制html显示出来,但是把json的数据放进去,显示不开来的,什么回事?
        23816db9a7eb:@博观厚积 #!/usr/bin/env python
        # -*- coding: utf-8 -*-
        import json
        from urllib import urlopen,quote
        import csv
        def getlnglat(address):
        urlpj="http://api.map.baidu.com/geocoder/v2/";
        output='json'
        ak='pFQ5FIvYeVS8X3vAnlCN3Gr9qu3pttAq'
        add=quote(address)
        url=urlpj+'?'+'address='+add+'&output='+output+'&ak='+ak
        print("url=%s"%url)
        req=urlopen(url)
        res=req.read()#这个地方把.decode()去掉
        print("res=%s"%res)
        temp=json.loads(res)
        print('temp=%s'%temp)
        return temp

        if __name__=="__main__":
        file=open(r'/Users/liliangbo/001/point.json','w')
        with open(r'/Users/liliangbo/001/各区域房价2.csv','rU') as csvfile:

        reader=csv.reader(csvfile,dialect='excel')
        reader_list=list(reader) #这里把reader转换成list,小改了一下就解决了
        for line in reader_list:
        if line[0]=='city':
        continue
        print('line=%s'%line)
        b=line[0]
        print("b is type=%s"%(type(b)))
        c=line[1]
        print('b=%s,C=%s'%(b,c))
        lng=getlnglat(b)['result']['location']['lng']
        print("lng=%s"%lng)
        lat=getlnglat(b)['result']['location']['lat']
        print('lat=%s'%lat)
        str_temp= '{"lat":' + str(lat) + ',"lng":' + str(lng) + ',"count":' + str(c) +'},'
        print (str_temp)
        file.write(str_temp)
        file.close()

        :smile:
        博观厚积:@Administra_4e66 这个没有,可能跟你的csv字符格式有关系,你百度一下是
      • YOUNGyang_e11c:楼主, 你的源文件可以发我一下么?我想做着学一下
        博观厚积:@YOUNGyang_e11c 源文件??你可以看一下我的回复,里边有原始代码,代码很少的
      • 学无止竟:写的太好了,目前小白一个,初级学习阶段,不知道可否发一下详细的代码作为自己学习的模板,不胜感激,309371137@qq.com谢谢
      • 134ceebf1fc6:您好,看了您的文章有了很多认识,正好在学习从网上爬取各个城市的温度和经纬度,然后看到了您的这篇文章,正好就想把结果用热力图显示,我将结果替换到html中后发现没有您上面的热力图的展现,想问下您用的是什么浏览器?会不会和浏览器有关系?谢谢
        134ceebf1fc6:@博观厚积 啊谢谢 我注意到了,我用的就是浏览器端的ak。
        博观厚积:@DXQ_e28b 你看一下文章后边的评论,有人出过这个问题
        博观厚积:@DXQ_e28b 我用的是搜狗的浏览器,这个没关系吧
      • 6fda81b2fce6:能不能给个代码?1827026373@qq.com,不胜感激
        博观厚积:@kaixinpi 这个。。。key不对,不就是密钥么?应该输入你的密钥吧
        kaixinpi:热力图显示不出来,老说我key不对,但经纬度我是可以直接找出来的,求解答!!!!!
        博观厚积:代码不多呀,就这些
        import json
        from urllib.request import urlopen, quote
        import requests,csv
        import pandas as pd #导入这些库后边都要用到

        def getlnglat(address):
        url = 'http://api.map.baidu.com/geocoder/v2/'
        output = 'json'
        ak = '你申请的密钥***'
        add = quote(address) #由于本文城市变量为中文,为防止乱码,先用quote进行编码
        uri = url + '?' + 'address=' + add + '&output=' + output + '&ak=' + ak
        req = urlopen(uri)
        res = req.read().decode() #将其他编码的字符串解码成unicode
        temp = json.loads(res) #对json数据进行解析
        return temp

        file = open(r'E:\\爬虫数据分析\调用百度地图api\point.json','w') #建立json数据文件
        with open(r'E:\\爬虫数据分析\调用百度地图api\各区域房价.csv', 'r') as csvfile: #打开csv
        reader = csv.reader(csvfile)
        for line in reader: #读取csv里的数据
        # 忽略第一行
        if reader.line_num == 1: #由于第一行为变量名称,故忽略掉
        continue
        # line是个list,取得所有需要的值
        b = line[0].strip() #将第一列city读取出来并清除不需要字符
        c= line[1].strip()#将第二列price读取出来并清除不需要字符
        lng = getlnglat(b)['result']['location']['lng'] #采用构造的函数来获取经度
        lat = getlnglat(b)['result']['location']['lat'] #获取纬度
        str_temp = '{"lat":' + str(lat) + ',"lng":' + str(lng) + ',"count":' + str(c) +'},'
        #print(str_temp) #也可以通过打印出来,把数据copy到百度热力地图api的相应位置上
        file.write(str_temp) #写入文档
        file.close() #保存
      • janaye:UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 121: ordinal not in range(128)
        请问在获取经纬度的时候为什么会出现这个?
        janaye:@博观厚积 恩,是2的版本。还有一个奇怪的问题,为什么我生成的这个point.json只有一组?
        博观厚积:@janaye 好的,多谢,我这边没出现这个问题,可能就没想到;或者你用的是python2的版本?
        janaye:import sys
        reload(sys)
        sys.setdefaultencoding('utf-8')
        加上就可以了。。。:grin:
      • simon_c471:写的太好了,但就是还有些不太明白,希望能够进一步提供一点代码。我最近正在研究这个显示模块的实现。完整的可以运行的代码,可以发我邮箱吗,感谢不尽。
        2631988366@qq.com
        博观厚积:@maxwu124
        import json
        from urllib.request import urlopen, quote
        import requests,csv
        import pandas as pd #导入这些库后边都要用到

        def getlnglat(address):
        url = 'http://api.map.baidu.com/geocoder/v2/'
        output = 'json'
        ak = '你申请的密钥***'
        add = quote(address) #由于本文城市变量为中文,为防止乱码,先用quote进行编码
        uri = url + '?' + 'address=' + add + '&output=' + output + '&ak=' + ak
        req = urlopen(uri)
        res = req.read().decode() #将其他编码的字符串解码成unicode
        temp = json.loads(res) #对json数据进行解析
        return temp

        file = open(r'E:\\爬虫数据分析\调用百度地图api\point.json','w') #建立json数据文件
        with open(r'E:\\爬虫数据分析\调用百度地图api\各区域房价.csv', 'r') as csvfile: #打开csv
        reader = csv.reader(csvfile)
        for line in reader: #读取csv里的数据
        # 忽略第一行
        if reader.line_num == 1: #由于第一行为变量名称,故忽略掉
        continue
        # line是个list,取得所有需要的值
        b = line[0].strip() #将第一列city读取出来并清除不需要字符
        c= line[1].strip()#将第二列price读取出来并清除不需要字符
        lng = getlnglat(b)['result']['location']['lng'] #采用构造的函数来获取经度
        lat = getlnglat(b)['result']['location']['lat'] #获取纬度
        str_temp = '{"lat":' + str(lat) + ',"lng":' + str(lng) + ',"count":' + str(c) +'},'
        #print(str_temp) #也可以通过打印出来,把数据copy到百度热力地图api的相应位置上
        file.write(str_temp) #写入文档
        file.close() #保存
        3272e777e795:@博观厚积 正好在研究这方面 367177054@qq.com 谢啦!
        博观厚积:谢谢支持,当初写这个也是因为网上搜了很多,没有系统、完整步骤介绍这个东西的。这个代码很少的,已发你邮箱,主要在于步骤复杂,有问题咱们可以探讨

      本文标题:python调用百度地图API实现经纬度换算、热力地图全流程指南

      本文链接:https://www.haomeiwen.com/subject/jrhunttx.html