目标：爬取海南搜房网上的海南新楼盘信息
一、搜集待爬取的目标网址
先打开海南搜房网进入新楼盘页面进行研究，
http://newhouse.hn.fang.com/
但是这个页面主要是信息聚合呈现，新楼盘信息并不全，接着找到列表页，
http://newhouse.hn.fang.com/house/s/
这回是想要的了。
经研究发现该列表页的网址加上分页为如下形式，分页共有28页，分页字段主要是在/b91/这部分
从b91到b928，这样如果把这28页爬完就能初步得到全部新楼盘条目，接着再对每个新楼盘的主页进行爬取提取信息，就能得到想要的内容。
http://newhouse.hn.fang.com/house/s/b91/?ctm=1.hn.xf_search.page.1
具体某个楼盘主页为：
http://zhongyangwenhuachengld.fang.com
楼盘详情页为：
http://zhongyangwenhuachengld.fang.com/house/5011126788/housedetail.htm
开始写代码，先导入依赖的库
import requests
import re
from bs4 import BeautifulSoup
写了一个函数用于提取某个页面中包含的所有不重复链接，返回一个列表
def get_page_urls(url,regular="\w+"):
if url is None:
return None
new_urls = set()
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/5.0.2.2000 Chrome/47.0.2526.73 Safari/537.36' }
r = requests.get(url,headers=headers,timeout=None)
if r.status_code == 200:
soup = BeautifulSoup(r.text, 'html.parser',from_encoding='utf-8')
links = soup.find_all('a', href=re.compile(r'%s' % regular))
for link in links:
new_url = link['href']
new_urls.add(new_url)
return list(new_urls)
没想到在去重这部分花了很多时间。
开始对于每一个列表页面进行下载和解析，解析页面内所有的<a>标签，将链接地址提取出来，这里使用的正则表达式如下：
^https?://\w+.fang.com/$
将提取到的网址列表先存入一个set()，保证在一个页面上抓到的网址没有重复，抓取完后再将该集合转成list存入一个整体的网址列表中。
然后对全部网址进行去除重复，这里要去掉的重复网址是指页面上其他的非楼盘链接，由于每一个楼盘列表页都会有这些重复的信息，一共抓了28页说明会有28个重复，因此要想办法去除这一部分的链接。
想来想去，想出先找出重复的网址，保存进一个列表中，然后再将全部网址列表跟重复网址列表进行比较，若有相同项则从全部网址列表中删除重复网址项，这样就能得出最后想要的每个新楼盘主页。重点代码为：
if all_urls.count(housepage) > 1:
总觉得这样做是个笨办法效率不高，因为有重复操作，不知道有没有更方便的算法，目前想不出来。
经过一番提取去重后，得到一个所有楼盘详情页链接的文本文件，用于后续信息抓取。保存的代码为：
with open('soufangwang-detail.txt','w',encoding='utf-8') as f:
for i in all_detail_urls:
f.write(i)
f.write("\n")
二、抓取信息
首先研究了一下楼盘详情页结构，想爬取的结构信息是如下这样的，每条信息在一条li的下面有两个<div>，第一个是信息名称，第二个是信息值，90%的信息都是这样的结构，除了部分标题，主图等：
<li>
<div class="list-left">交房时间：</div>
<div class="list-right">预计2017年6月30日A#、B#、C#交房</div>
</li>
开始的想法是针对信息条目，一条条分析进行抓取，根据每个想要的信息构造对应的抓取函数：
name_node = soup.find('h1').find('a',class_="ts_linear")
data["楼盘名称"] = name_node.get_text()
address_node = soup.find('div',string = re.compile("楼盘地址")).find_next('div')
data["楼盘地址"] = address_node.get_text()
但是这样做，首先是发现如果有的信息名称是三个字的话，搜房网会在中间插入i标签，像下面的例子，导致抓取函数无法抓取到正确的<div>。
<li>
<div class="list-left">容<i style="margin-right: 6px;"></i>积<i style="margin-right: 6px;"></i>率：</div>
<div class="list-right">3.50 </div>
</li>
于是在这里研究了好久，先是各种换搜索正则表达式，怎么都搜不到，后来突发奇想，能不能在抓取之前把所有的i标签去掉，于是查文档，写了如下代码
soup = BeautifulSoup(r.text, 'html.parser')
for tag_i in soup.findAll('i'):
tag_i.decompose()
这样先对下载到的文档进行处理再抓取应该是可以的，但是很奇怪，去掉i标签后文字还是无法查找到，这回真的卡壳了。
然后经过一番冥思苦想，忽然想到，干嘛要一个个信息来针对性抓取啊，既然它结构大部分都是相同的，干脆全部抓取出来存入一个字典里好了。于是开始写代码：
data = {}
key_nodes = soup.findAll('div', class_="list-left")
for key_node in key_nodes:
key = key_node.get_text().replace("\t","").replace("\n","").replace("\r","").replace("：","").strip()
value_node = key_node.find_next('div')
value = value_node.get_text().replace("\t","").replace("\n","").replace("\r","").strip()
data[key] = value
抓取成功！发现这样做不光效率高，而且既方便又能容错，获得的信息也全，唉怎么不早点想到呢，折腾好久。
另外在页面结构中发现有一个<script>标签内有楼盘的主图，因此也想把这部分抓取下来，这段的原始结构是这样的：
<script>
newcode='5011111904';
projn = '清澜半岛';
newhousedomaintail='house/';
newhousedomain = 'http://newhouse.hn.fang.com';
address='文昌市';
vcity= '海南';
ucity = '%BA%A3%C4%CF';
price = '13000';
pricetype = '元/平方米';
priceright = '13000';
pricetyperight = '元/平方米';
face = 'http://imgs.soufun.com/house/2013_10/30/hainan/1383115329744_000.jpg';
houseurl = 'http://qinglanbandao.fang.com/';
microID=0;
bbsError ="0";
bbs_id ="5011111904";
</script>
先初步写了个节点抓取语句，成功找到该<script>标签
script_node = soup.find('script', string = re.compile("face ="))
但是抓取之后怎么转成字典的键值对呢，搜索加研究，使用split()函数可以实现，方法如下，注意处理末尾多出来的一个分号：
subdata = (script_node.get_text().replace("\r","").replace("\n","").replace("\t","").replace(";", ",").replace("'","").replace(" ",""))[:-1]
subdata_dict = dict(s.split('=') for s in subdata.split(','))
data['楼盘主图'] = subdata_dict['face']
data['楼盘主页'] = subdata_dict['houseurl']
一些小问题和解决方法：
- 页面中文乱码，若是知道页面编码的话，可以直接写
r.encoding = "所用编码"
如果不知道的话，可以试试写上，一般都会解决
r.encoding = r.apparent_encoding
但是有些页面怎么弄都是乱码，不知道是不是繁体中文编的码，待解决
- 删除文档中的换行符回车符制表符和空格，一般用
replace("\n","") #删除全部换行符
strip() #删除开头和结尾的空白符（包括'\n', '\r', '\t', ' ')
rstrip('\n') #删除结尾的换行符
lstrip() #删除开头的空白符
三、存入excel文件
信息抓取到了，要保存为excel文件。
在官网搜索了一下，先在命令行用pip命令下载excel的支持库
pip install xlwt
参考官网的例子，xlw的使用方法为：
wb = xlwt.Workbook() #新建一个工作簿
ws = wb.add_sheet('新工作表') #新建一个工作表
ws.write(行索引, 列索引, 数据) #写入数据
wb.save('海南新楼盘.xls') #保存
这样就成功将海南搜房网新楼盘信息抓取下来了。
网友评论