本文中使用jupyter notebook工具进行的。安装requests库使用命令pip install requests。
引入实例:
各种请求方式GET请求:
基本写法带参数Get请求:
拼接传参 字典形式传参解析json:
获取二进制数据并保存:
查看当前文件,会看到刚才保存的文件,favicon.ico。我的分类比较乱,请忽略
点击查看,就是刚才我们请求地址中显示的图片。
添加headers:
知乎页面爬取如果不知道User-Agent在哪,请按照图中的提示查询。
Post请求:
基本post请求:
添加headers:
响应:
response属性:
状态码:
response.status_code=200时,代表请求返回正常,还有很多其他的,遇到时再百度吧。
高级操作:
文件上传:
获取cookie:
会话维持:
模拟登陆证书验证:
不验证证书或者指定证书,但是我本地没有证书,稍后会百度怎么弄证书,弄明白了 再把这补充一下。
代理设置:
如果代理有用户名和密码
socket代理
超时设置:
我将请求设置成0.1秒超时时间。
异常处理:
异常不做处理,会使工程中断,所以为了安全起见,我们要加上 try except
认证设置:
有些网址登陆是需要认证的
结束,接着下一篇2.爬虫-正则表达式,加油吧!
网友评论