通过requests模块的get方法成功获得网页内容后,接下来就要对网页内容进行解析,以便快速定位到所要抓取的数据。
import requests
response=requests.get('http://douban.com')
print(response.text)
如何对response.text的内容进行解析呢,我用了BeautifulSoup这个模块。
首先我导入这个模块
from bs4 import BeautifulSoup
然后,还是老办法用dir(BeautifulSoup)这个内建函数看看BeautifulSoup有哪些东东。
看来东西还不少啊,有时间要一个一个地研究一下,在这里,首先要创建BeautifulSoup的对象。
看看“__init”这个方法里面怎么写的,输入help(BeautifulSoup.__init__)
看介绍,通过以下代码,就应该可以成功获得了response.text用BeautifulSoup解析后得到的对象
soup = BeautifulSoup(response.text)
然而,出错了
系统提示,应该是需要你显示地指定解析器,用来解析你提供的文档,也就是我们传入的response.text,那就根据系统提示进行修改,修改之后就没有错误了,注意了,这里我已经事先安装了“lxml”这个模块,没有安装这个模块的可能会有其他提示,只要根据提示进行修改,加上其他解析器作为第二个参数就行了。
soup = BeautifulSoup(response.text,'lxml')
这样就没错误提示了
现在soup这个对象就承载了我们全部的希望,我们要通过soup这个对象来获取我们需要的数据。老套路,先用dir(soup)一探究竟。
在这里,soup表示的是包含整个response.text的对象,我们需要用一些html标签以及属性来定位到具体的标签对象,然后通过那个标签对象再提取需要的数据。
在这里,我选择了用“select”这个方法,当然还有其他方法可用,上图中可有一大串方法,条条大道通罗马。“select”这个方法有点像写CSS,比如我要找到下图中
豆瓣时间这一块内容
dbtime = soup.select('#anony-time')
print(dbtime)
基本上就定位到了我们所要的标签位置,不过要注意的是,dbtime是一个列表对象,dbtime[0]列表中的元素才是一个标签对象,对于标签对象,我们也可以用“select”方法继续定位。
比如我继续定位到这本书
lis = dbtime[0].select('ul.time-list li')
print(lis[0])
如此,通过BeautifulSoup和select方法就可以比较容易地定位到所需要的数据啦。
网友评论