美文网首页python爬虫与数据分析
使用高德开放平台api批量爬取所需经纬度及位置信息(平台教程和p

使用高德开放平台api批量爬取所需经纬度及位置信息(平台教程和p

作者: 越大大雨天 | 来源:发表于2019-03-13 17:44 被阅读314次

    2019.3.20更新(将代码升级为非阻塞式多进程,效率极大提升)

    • 之前写爬虫对链家某地区全部二手房信息进行了获取并存在了MongoDB数据库。进行数据可视化时,想要做基于地图信息的分析,可所获信息中未包含经纬度值。

    • 经过搜索大法,发现原来百度地图和高德地图都有开放平台,可基于文本位置返回更详细的地理位置信息。以高德开发平台为例,具体过程如下:

    • 直达链接:高德开放平台

    • 高德开放平台提供的接口功能很多,这里只是使用"地理/逆地理编码功能",将结构化地址在经纬度之间互转。这里,需要先注册开发者账号并申请一个key(注册后需先随便创建一个应用)。


      开发指南页面
    • 注册账号,并创建了一个应用,获得一个key密匙。


      获得key密匙
    • 然后就可以愉快的使用api获得经纬度啦!
      api请求链接为示例:
      "https://restapi.amap.com/v3/geocode/geo?address=北京市朝阳区阜通东大街6号&output=XML&key=<用户的key>"

    • 这里只需要替换address为你需要查询的地点、替换key为你的key就可以了,我们在浏览器中做个试验:


      api信息返回

      可以看到调用高德的api接口时能获得更完整的地理位置信息以及经纬度志,亲测百度开放平台的api不会返回更详细地理信息,但可以返回该位置的类型,比如“小区”之类的。可视情况选择。

    很重要的一点差点忘了,不要以为这可以随便嗨了,免费用户的每日调用次数和每秒并发量是有限制的!
    每日调用限制

    百度地图和高德地图的每日限量都是相同的,你也可以同时注册两边的账号,就像我一样,不过对一般需求来说也已经足够了。

    • 下面直接上代码,用数据库中的小区名字来批量获取经纬度和更详细的地理信息,逻辑很简单,传入小区名、解析请求就好了
    import pymongo
    import pandas as pd
    import requests
    import re
    from multiprocessing import Pool
    #数据库连接
    client = pymongo.MongoClient("localhost",27017)
    db = client['ershoufang']
    collection = db["lianjia_solded"]
    location = db['locations']
    
    #高德地图获取地理信息的api接口
    gaode_api_url = "https://restapi.amap.com/v3/geocode/geo?address={}&output=XML&key=YOUR KEY"
    headers = {
        "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"
    }
    
    def get_location_info(loc):
        """
        利用高德开放平台,解析小区全部位置信息(包含经纬度),存入数据库
        :param loc: 小区名字
        :return: 具体位置信息
        """
        new_loc = "成都市" + loc
        parse_adress_url = gaode_api_url.format(new_loc)
        response = requests.get(parse_adress_url, headers=headers).text
        # 加入判断防止空白信息返回
        if re.search(r"<count>1</count>", response, re.S):
            # 提取api反馈的地理信息
            detail_info = re.findall(r"_address>(.*?)</.*?<district>(.*?)</district>.*?<location>(.*?)</location>", response, re.S)[0]
            result = {
                'house_name': loc,
                'adress': detail_info[0],
                'district': detail_info[1],
                'location': detail_info[2],
                'longitude': detail_info[2].split(",")[0],
                'latitude': detail_info[2].split(",")[1]
            }
            # 插入数据库
            location.insert_one(result)
            print(result)
        else:
            print("Something Wrong!未获取到api信息!")
    
    
    if __name__ == '__main__':
        #从数据库中获取源小区名
        data = pd.DataFrame(list(collection.find())).drop(['elevator', 'url', 'village_id'], axis='columns')
        # 小区名
        locs = data["village_name"]
        locs_num = pd.value_counts(locs, sort=True)
        #开启进程池
        p = Pool()
        for loc in locs_num.index[:6000]:  # 高德api限制每天请求不超过6000个
            p.apply_async(get_location_info, (loc,))
        p.close()
        p.join()
    

    OK,大功告成啦,6000条位置数据大概就几分钟吧!


    存入数据库中的信息 多进程爬取数度很快

    完。

    相关文章

      网友评论

        本文标题:使用高德开放平台api批量爬取所需经纬度及位置信息(平台教程和p

        本文链接:https://www.haomeiwen.com/subject/vwetmqtx.html