python爬虫之requests

环境：windows10+python3.5

安装lxml解析：pip install lxml

安装requests库：pip install requests

---

一个简单的爬虫

import requests

r=requests.get("http://www.baidu.com")

r.encoding="utf-8"

print(r.text)

逐行解读代码：

- import requests

引入requests库，这是实现requests爬虫的基础

- requests.get()

放入url，就会返回一个response对象，包含了网页的内容、状态等信息，需要注意的是url必须带上“http://”

- 将其字符编码转换为utf-8格式『推荐这样的编码，不然很容易出现乱码的问题』

- 显示响应的文本内容，用utf-8编码后就可以显示中文字符

## 完善爬虫

```

import requests

url='http://www.baidu.com'

r = requests.get(url)

r.raise_for_status()

print(r.status_code)

r.encoding=r.apparent_encoding

print(r.text)

```

- r.raise_for_status()

用于获取状态码，如果网址错误会抛出异常的信息

- r.status_code

就是响应体内的状态码信息，可以用print函数展示出来

- r.encoding=r.apparent_encoding

将响应的编码改变为网页用的编码，如果网站内容有中文字符，那么直接使用他的编码就可以展示中文的内容了

## 带参数的爬虫

```

import requests

kv={'value':"keyword"}

ua ={'user-agent':'123'}

url="http://httpbin.org/get"

try:

r=requests.get(url,params=kv,headers=ua)

r.encoding=r.apparent_encoding

print(r.text)

except:

print('error')

```

通过分析响应的内容,就可以看到我们传入的参数了

>"args": {"value": "keyword"}

另外，我们通过设定headers，改变了useragent信息，所以我们可以看到响应的以下信息

>"User-Agent": "123"

通过设定user-agent，我们可以改变用户浏览器等信息，防止某些网站根据这个内容判断我们是否为爬虫

## 查找ip地址的小例子

beautifulsoup是一个非常方便的html解析工具

我们通过它可以解析查找我们想要的内容

>安装：pip install beautifulsoup

```

import requests

from bs4 import BeautifulSoup

ip=input()

url='http://m.ip138.com/ip.asp?ip='+ip

r=requests.get(url)

obs=BeautifulSoup(r.text,"html.parser")

q=obs.find_all('p')[-1].get_text()

a=str(q).split('：')[-1]

print(a)

```

from bs4 import BeautifulSoup先引入bs库

通过input()输入ip地址，传入url里

obs=BeautifulSoup(r.text,"html.parser")建立一个beautifulsoup的对象

q=obs.find_all('p')[-1].get_text()

找出最后的p标签并获取内容

a=str(q).split('：')[-1]

因为内容是用：分开的

我们获取内容的最后一个用：分开的内容

**我们如何从响应中解析出来自己需要的内容呢**

**这就需要学习bs、正则、xpath等内容了**