美文网首页
Datawhale 爬虫学习笔记

Datawhale 爬虫学习笔记

作者: 小新_XX | 来源:发表于2019-08-06 20:55 被阅读0次

本片笔记为DataWhale公众号学习python爬虫的第一篇笔记.

1 学习get与post请求

1.1 get与post

学习get与post请求,尝试使用requests或者是urllib用get方法向https://www.baidu.com/发出一个请求,并将其返回结果输出。

import requests
url='https://www.baidu.com/'
response=requests.get(url)
print(response)

输出:

<Response [200]>

1.2 断开网络

如果是断开了网络,再发出申请,结果又是什么。了解申请返回的状态码。
断开网络后,申请出错,并返回:

状态码: Errno -3

1.3 请求头

了解什么是请求头,如何添加请求头。
请求头是HTTP请求报文的组成部分.一个HTTP请求报文由请求行(request line)、请求头(header)、空行和请求数据4个部分组成.

url='https://www.baidu.com/'
headers = {"Host": "www.baidu.com",
           "Referer": "https://www.baidu.com",
           "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36",
           "X-Requested-With": "XMLHttpRequest"
           }
response = requests.get(url=url, headers=headers)
print(response)    # 返回值:<Response [200]>

输出:

<Response [200]>

2 学习正则表达式

暂略

相关文章

网友评论

      本文标题:Datawhale 爬虫学习笔记

      本文链接:https://www.haomeiwen.com/subject/vnkgdctx.html