网络爬虫（三）

这个例子是爬取百度翻译，利用网页中ajax对传入单词进行翻译。

百度翻译运用AJAX对录入的英文进行翻译，采用post提出请求，返回客户端json对象。有图有真像，如下图：

image.png

如下图 post参数，参数名为kw，参数形式：　parm={'kw':queryword} 　

image.png

所以就要用post方式提交请求，接受的是json格。

1.提交请求用post：res=requests.post(url,data=parm,headers=headers)

2. 客户端接受到是json格式：dict_obj = res.json()

import requests
import json


if __name__=="__main__":
    url = "https://fanyi.baidu.com/sug"  # 指定url
    #设置user-agent用字典的形式
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE'}
    queryword =input("请录入需要翻译的内容:")
    parm={'kw':queryword} #传入post参数
     res = requests.post(url,data=parm,headers=headers)  # 向相应的url发有请求
    dict_obj = res.json()# 取得响应(res)数据，这里是翻译后
    fp=open("./test.json",'w',encoding='utf-8')
    json.dump(dict_obj,fp=fp,ensure_ascii=False)  # 把取得的数据存在本地
    print("end")