在之前的学习笔记3中，已经成功爬取了一个网页的数据，但是我们往往爬取的内容并不仅仅是单个页面的内容，而是一类所需内容，需要连续爬取多个页面。那如何爬取多个页面的内容呢？接着上一篇的内容，还是以爬取http://bj.xiaozhu.com上短租房的信息为例。
如果想连续爬取多个网页的内容，我们需要得到2个信息：
1、每翻一页时，网页的网址链接
通过观察http://bj.xiaozhu.com网页，往下不断翻页时，可以发现各个网页所对应的网页名称，如第2页的网页为：http://bj.xiaozhu.com/search-duanzufang-p2-0/，第3页的网页为http://bj.xiaozhu.com/search-duanzufang-p3-0/。因此可以推断，网页中P之后的数字就是控制翻页时显示网页内容的关键信息。我们可以通过如下函数找出翻页时网页的网址：
urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(number)fornumberinrange(1,10)]
这一段函数看似复杂，其实可以拆分为如下函数：
for number in range(1,10):#利用for循环，将1-9的数字放入number中
urls ='http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(number)#取出1-9页的网页
再介绍一下以上函数涉及到的两个函数：
range函数
函数语法：range(start,stop,step)
参数说明：
start: 计数从 start 开始。默认是从 0 开始。例如range（5）等价于range（0， 5）;
stop: 计数到 stop 结束，但不包括 stop。例如：range（1， 5） 是[1, 2, 3, 4]没有5
step：步长，默认为1。例如：range（0， 5） 等价于 range(0, 5, 1)
str.format()函数
Python2.6 开始，新增了一种格式化字符串的函数str.format()，它增强了字符串格式化的功能。
函数语法：通过{}来代替以前的%。
format 函数可以接受不限个参数，位置可以不按顺序。
例如：
"{} {}".format("hello", "world") # 不设置指定位置，输出为： 'hello world'
"{0} {1}".format("hello", "world") # 设置指定位置，输出为： 'hello world'
"{1} {0} {1}".format("hello", "world") # 设置指定位置，输出为： 'world hello world'
以上函数，即是寻找1-9页网页的站址。输出内容如下：
2、从以上单个网址中，寻找具体商家的网址链接
在以上http://bj.xiaozhu.com/search-duanzufang-p1-0/、http://bj.xiaozhu.com/search-duanzufang-p2-0/的链接中，包含了许多商家的信息，通过寻找商家信息在单个网址中的链接，进一步找到具体的网址链接。代码如下：
urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(number) for number in range(1, 10)]
for single_url in urls:#通过for循环，将翻页的单独网页存入single_url中
url = single_url
#----------------------------------获取翻页时的网页网址----------------------------------------------
wb_data = requests.get(url)#向网页发送请求
Soup = BeautifulSoup(wb_data.text,'lxml')#解析网页
links = Soup.select('#page_list > ul > li > a')#获取商家信息
for link in links:#将抓取的商家信息通过for循环，放入link中
href = link.get('href')#抓取link中的商家网址链接
print(href)#输出商家网址链接
#---------------------------------寻找具体商家的网址链接--------------------------------------------
输出结果如下：
在完成以上两步之后，便能自动获得我们需要批量爬取的网页信息，最后放入python学习笔记3 的代码中，就可以开始连续爬取多个网页的信息。全部的代码如下：
最终输出结果为：
网友评论