本来今天还想说试试昨天刚弄的代理池，去爬下链家上面的房源信息，结果今天突然发现，链家的反爬虫没有啦~~
哎呀，露点了
赶紧上scrapy,把上面的在售房源信息撸下来。
其实很简单的爬虫，用框架有点大材小用了，不过真的比普通多进程快好多呀，作为一个老男人，快既是追求，也是必然！
至于scrapy的设置，就settings里打开了default request headers和item-pipeline，关闭了robots协议，pipelines里面复制了别人的代码，还是用mongodb存数据。
distinfo.csv 和log.txt 用来存些需要用的信息，好像可以设置middlewares，可是呢，我不会。。。
import pymongo
class SzlianjiaPipeline(object):
collection_name = 'sz_onsale'
def __init__(self, mongo_uri, mongo_db):
self.mongo_uri = mongo_uri
self.mongo_db = mongo_db
@classmethod
def from_crawler(cls, crawler):
return cls(
mongo_uri=crawler.settings.get('MONGO_URI'),
mongo_db=crawler.settings.get('MONGO_DATABASE')
)
def open_spider(self, spider):
self.client = pymongo.MongoClient(self.mongo_uri)
self.db = self.client[self.mongo_db]
def close_spider(self, spider):
self.client.close()
def process_item(self, item, spider):
self.db[self.collection_name].update({'房屋链接':item['房屋链接']},dict(item),True)
return item
【丝路在哪里】
反正scrapy的爬虫设计就是一层一层往下爬，咱就从首页开始，先获取区域链接，
def parse_dist(self,response):
dists = response.xpath('//div[@data-role="ershoufang"]/div/a/@href').extract()
for dist in dists:
url = 'https://sz.lianjia.com'+dist
yield scrapy.Request(url,self.parse_small_dist,dont_filter=True)
再获取小区域链接，
def parse_small_dist(self,response):
small_dists = response.xpath('//div[@data-role="ershoufang"]/div[2]/a/@href').extract()
for small_dist in small_dists:
url = 'https://sz.lianjia.com' + small_dist
if url not in self.dists_list:
self.dists_list.append(url)
yield scrapy.Request(url,selfs.parse_dist_house_page,dont_filter=True)
因为大区中的小区域还有部分重复了，建了个self.dists_list列表用来排重，减少需要爬取的页面。
获取小区域页码总数，
def parse_dist_house_page(self,response):
total_dist_house = int(response.xpath('//h2[@class="total fl"]/span/text()').extract()[0])
if total_dist_house >0:
page_info = response.xpath('//div[@class="page-box house-lst-page-box"]/@page-data').extract()[0]
page_dic = json.loads(page_info)
page_num = page_dic.get('totalPage')
else:
page_num = 0
url = response.url
log_info = '区域链接: '+url+' 区域二手房总数: '+str(total_dist_house)+' 区域二手房页数: '+str(page_num)+'\n'
with open('log.txt','a+') as f:
f.write(log_info)
distinfo = url+','+str(total_dist_house)+','+str(page_num)+'\n'
with open('distinfo.csv','a+') as f:
f.write(distinfo)
if page_num > 0:
for i in range(1, page_num + 1):
url = response.url + 'pg' + str(i) + '/'
yield scrapy.Request(url, callback=self.parse_dist_page, dont_filter=True)
奇了怪了居然有2个小区域中没有房源，还的带个判断。log.txt用来存些错误信息。distinfo.csv用来存每个小区域的房源数，爬完了再来对下有没有漏。
获取小区域中每一页中的房源链接，
def parse_dist_page(self,response):
urls = response.xpath('//ul[@class="sellListContent"]/li/a/@href').extract()
for url in urls:
yield scrapy.Request(url,callback=self.onsale_page,dont_filter=True)
终于爬到最后一层了，获取每个房源的详细信息。
def onsale_page(self,response):
item = SzlianjiaItem()
soup = BeautifulSoup(response.text, 'lxml')
title = soup.select('div.title h1')[0].text
price = float(soup.select('span.total')[0].text) if soup.select('span.total') else ''
unitprice = float(soup.select('span.unitPriceValue')[0].text.rstrip('元/平米')) if soup.select(
'span.unitPriceValue') else ''
houseID = soup.select('div.houseRecord span.info')[0].text.rstrip('举报') if soup.select(
'div.houseRecord span.info') else ''
xiaoqu = soup.select('div.communityName a')[0].text if soup.select('div.communityName a') else ''
infos = [i.text for i in soup.select('div.introContent div.content ul li')]
info = {}
for i in infos:
key = i[:4]
data = i[4:]
info[key] = data
info['标题'] = title
info['总价'] = price
info['单价'] = unitprice
info['链家编号'] = houseID
info['小区'] = xiaoqu
info['房屋链接'] = response.url
info['建筑面积'] = float(info['建筑面积'].rstrip('㎡')) if '㎡' in info['建筑面积'] else ''
info['套内面积'] = float(info['套内面积'].rstrip('㎡')) if '㎡' in info['套内面积'] else ''
info['挂牌时间'] = datetime.datetime.strptime(info['挂牌时间'],'%Y-%m-%d') if info['挂牌时间'] != '暂无数据' else ''
for key in info.keys():
if info[key] != '暂无数据':
item[key] = info[key]
else:
item[key] = ''
yield item
前面几层都是用xpath解析，比较简单，不需要引进额外的包，我对xpath还不是很熟，正好用来练手不过最后一层太多字段了，想偷个懒，就用更熟练的美丽汤来解析，顺便改下某些字段的类型，方面以后处理。
结果
最后爬下来，获取了25800个房源信息，可是。。。
不开心！！！
完美主义害死人啊！
先这样了，明天接着改。
后续计划
把所有小区信息爬下来。
把所有已售房屋信息爬下来。
分析。
买房！
ヽ(Д*)/.✨哈哈
网友评论