美文网首页
爬虫入门点

爬虫入门点

作者: 我要改名 | 来源:发表于2019-11-21 22:14 被阅读0次

以request为例,首先要使用Session方法建立服务器和用户机的链接

headers主要是客户端对服务器发起请求后对于自身身份的标识

然后建立一个字典,放入自身需要传递的账号密码等信息,此处为模拟登录(验证码暂时不会,菜鸡写给自己复习的哈!)

然后查看页面的跳转请求是post还是get请求,随后设置变量,使用链接的post或者get方法,传入之前的设置好的参数data和headers即可,获取页面的信息,该情况多用于post请求。

proxies可以使用代理ip,提前定义变量,在方法内使用即可。

设respose为请求返回数据

respones.content 返回请求的字节流数据(因为返回二进制数据,多用于图片等)   responce.url为查看完整的url地址 

response.encoding为查看响应头字符编码      response.cookie可以拿到响应中的cookie数据

response.text为查看返回unicode格式的数据

相关文章

网友评论

      本文标题:爬虫入门点

      本文链接:https://www.haomeiwen.com/subject/dwyxwctx.html