爬虫或自动化测试中经常使用应用编程接口（application programming interface，API）提供的服务来获取数据。API为不同的应用提供了方便友好的接口。不同的开发者用不同的架构，甚至不同的语言编写软件都没问题——因为API 设计的目的就是要成为一种通用语言，让不同的软件进行信息共享。
API也是通过requests请求和服务器端的response来完成API的一次调用的。API通常返回的是JSON（JavaScript Object Notation，JavaScript 对象表示）或XML（eXtensible Markup Language ，可扩展标记语言）格式的数据，而不是HTML数据。
在网络数据采集中，可以结合API和普通网页爬虫获取更好的信息。
API通用规则
API利用HTTP 从网络服务获取信息有四种方式：
• GET
• POST
• PUT
• DELETE
GET 就是你在浏览器中输入网址浏览网站所做的事情；POST基本就是当你填写表单或提交信息到网络服务器的后端程序时所做的事情；PUT 在网站交互过程中不常用，但是在API 里面有时会用到；PUT 请求用来更新一个对象或信息。其实，很多API 在更新信息的时候都是用POST请求代替PUT 请求。究竟是创建一个新实体还是更新一个旧实体，通常要看API 请求本身是如何构建的。不过，掌握两者的差异还是有好处的，用 API的时候你经常会遇到PUT 请求；DELETE用于删除一个对象。例如，如果我们向http://myapi.com/user/23发出一个DELETE请求，就会删除ID号是23的用户。DELETE方法在公共API 里面不常用，它们主要用于创建信息，不能随便让一个用户去删掉数据库的信息。
在请求验证方面，有些API 不需要验证操作（就是说任何人都可以使用API，不需要注册）。有些API 要求客户验证是为了计算API 调用的费用，或者是提供了包月的服务。有些验证是为了“限制”用户使用API（限制每秒钟、每小时或每天API 调用的次数），或者是限制一部分用户对某种信息或某类API 的访问。
通常API 验证的方法都是用类似令牌（token）的方式调用，每次API 调用都会把令牌传递到服务器上。这种令牌要么是用户注册的时候分配给用户，要么就是在用户调用的时候
才提供，可能是长期固定的值，也可能是频繁变化的，通过服务器对用户名和密码的组合处理后生成。令牌除了在URL链接中传递，还会通过请求头里的cookie 把用户信息传递给服务器。
在服务器响应方面，API 有一个重要的特征是它们会反馈格式友好的数据。大多数反馈的数据格式都是XML和JSON 。这几年，JSON 比XML更受欢迎，主要有两个原因。首先，JSON 文件比完整的XML格式小。如
如下面的XML数据用了98个字符：
<user><firstname>Ryan</firstname><lastname>Mitchell</lastname><username>Kludgist
</username></user>
同样的JSON 格式数据：
{"user":{"firstname":"Ryan","lastname":"Mitchell","username":"Kludgist"}}
只要用73个字符，比表述同样内容的XML文件要小36% 。
JSON 格式比XML更受欢迎的另一个原因是网络技术的改变。过去，服务器端用PHP
和.NET 这些程序作为API 的接收端。现在，服务器端也会用一些JavaScript 框架作为API
的发送和接收端，像Angular或Backbone 等。虽然服务器端的技术无法预测它们即将收到
的数据格式，但是像Backbone 之类的JavaScript 库处理JSON 比处理XML要更简单。
解析JSON数据
调用API，多数服务器会返回JSON格式的数据。Python中通过json库的loads()函数可以把json格式的字符串转换为python对象。
如获取地理位置信息的百度地图API请求响应
>>> import requests
>>> import json
>>>
>>> par={'address':'北京','key':'cb649a25c1f81c1451adbeca73623251'}
>>>
>>> r=requests.get('http://restapi.amap.com/v3/geocode/geo',par)
>>> r.text
'{"status":"1","info":"OK","infocode":"10000","count":"1","geocodes":[{"formatted_address":"北京市","country":"中国","province":"北京市","citycode":"010","city":"北京市","district":[],"township":[],"neighborhood":{"name":[],"type":[]},"building":{"name":[],"type":[]},"adcode":"110000","street":[],"number":[],"location":"116.407526,39.904030","level":"省"}]}'
>>>
>>> json_data=json.loads(r.text) #转换为python对象
>>> json_data
{'status': '1', 'info': 'OK', 'infocode': '10000', 'count': '1', 'geocodes': [{'formatted_address': '北京市', 'country': '中国', 'province': '北京市', 'citycode': '010', 'city': '北京市', 'district': [], 'township': [], 'neighborhood': {'name': [], 'type': []}, 'building': {'name': [], 'type': []}, 'adcode': '110000', 'street': [], 'number': [], 'location': '116.407526,39.904030', 'level': '省'}]}
>>>
取北京市的经纬度如下
>>> json_data['geocodes'][0]['location']
'116.407526,39.904030'
>>>
网友评论