2019.3.20更新（将代码升级为非阻塞式多进程，效率极大提升）
-
之前写爬虫对链家某地区全部二手房信息进行了获取并存在了MongoDB数据库。进行数据可视化时，想要做基于地图信息的分析，可所获信息中未包含经纬度值。
-
经过搜索大法，发现原来百度地图和高德地图都有开放平台，可基于文本位置返回更详细的地理位置信息。以高德开发平台为例，具体过程如下：
-
直达链接：高德开放平台
-
高德开放平台提供的接口功能很多，这里只是使用"地理/逆地理编码功能"，将结构化地址在经纬度之间互转。这里，需要先注册开发者账号并申请一个key（注册后需先随便创建一个应用）。
开发指南页面
-
注册账号，并创建了一个应用，获得一个key密匙。
获得key密匙
-
然后就可以愉快的使用api获得经纬度啦！
api请求链接为示例：
"https://restapi.amap.com/v3/geocode/geo?address=北京市朝阳区阜通东大街6号&output=XML&key=<用户的key>" -
这里只需要替换address为你需要查询的地点、替换key为你的key就可以了，我们在浏览器中做个试验：
api信息返回
可以看到调用高德的api接口时能获得更完整的地理位置信息以及经纬度志，亲测百度开放平台的api不会返回更详细地理信息，但可以返回该位置的类型，比如“小区”之类的。可视情况选择。
很重要的一点差点忘了，不要以为这可以随便嗨了，免费用户的每日调用次数和每秒并发量是有限制的！
每日调用限制
百度地图和高德地图的每日限量都是相同的，你也可以同时注册两边的账号，就像我一样，不过对一般需求来说也已经足够了。
- 下面直接上代码，用数据库中的小区名字来批量获取经纬度和更详细的地理信息，逻辑很简单，传入小区名、解析请求就好了：
import pymongo
import pandas as pd
import requests
import re
from multiprocessing import Pool
#数据库连接
client = pymongo.MongoClient("localhost",27017)
db = client['ershoufang']
collection = db["lianjia_solded"]
location = db['locations']
#高德地图获取地理信息的api接口
gaode_api_url = "https://restapi.amap.com/v3/geocode/geo?address={}&output=XML&key=YOUR KEY"
headers = {
"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"
}
def get_location_info(loc):
"""
利用高德开放平台，解析小区全部位置信息（包含经纬度），存入数据库
:param loc: 小区名字
:return: 具体位置信息
"""
new_loc = "成都市" + loc
parse_adress_url = gaode_api_url.format(new_loc)
response = requests.get(parse_adress_url, headers=headers).text
# 加入判断防止空白信息返回
if re.search(r"<count>1</count>", response, re.S):
# 提取api反馈的地理信息
detail_info = re.findall(r"_address>(.*?)</.*?<district>(.*?)</district>.*?<location>(.*?)</location>", response, re.S)[0]
result = {
'house_name': loc,
'adress': detail_info[0],
'district': detail_info[1],
'location': detail_info[2],
'longitude': detail_info[2].split(",")[0],
'latitude': detail_info[2].split(",")[1]
}
# 插入数据库
location.insert_one(result)
print(result)
else:
print("Something Wrong！未获取到api信息！")
if __name__ == '__main__':
#从数据库中获取源小区名
data = pd.DataFrame(list(collection.find())).drop(['elevator', 'url', 'village_id'], axis='columns')
# 小区名
locs = data["village_name"]
locs_num = pd.value_counts(locs, sort=True)
#开启进程池
p = Pool()
for loc in locs_num.index[:6000]: # 高德api限制每天请求不超过6000个
p.apply_async(get_location_info, (loc,))
p.close()
p.join()
OK，大功告成啦，6000条位置数据大概就几分钟吧！
存入数据库中的信息
多进程爬取数度很快
完。
网友评论