问题引入

上一小节简单介绍了单个页面的爬取，涉及到请求和解析两个模块，其中请求使用urllib，解析使用BeautifulSoup，爬取了链家的单个页面，处理了我们想要的页面元素，输出到控制台。我们通过浏览器上网打开页面，来源有两种，一种是已知的地址，如Google，另一种是通过前面爬下来的页面中获取入口，如a标签中的href属性值。通过爬虫自动化获取浏览器可以获取的数据，要模拟浏览器的行为，获取更多入口，然后处理需要处理的网页。

这里提出几个问题，欢迎大家提供更好的解决方案。

01简单的单页爬虫对单页的小区信息进行了爬取，可以参考示例代码，用在售楼盘和成交记录的信息做一个小案例。对请求和处理网页，有没有更好的方法？

01简单的单页爬虫的结果输出到了控制台，后续的存储模块应该如何组织？如何结合多线程或多进程爬取？

思路介绍

前面提到，不管是小区信息、在售楼盘信息还是成交记录信息，总的页面都超过100页，所以要通过曲线救国的方式，先爬小区信息，再循环遍历每个小区的在售楼盘和成交记录。而在爬取小区信息过程中，也是循环遍历行政区(县)，模拟浏览器点击翻页，获取更多入口，然后解析获取的入口，继续弱化存储模块，输出到控制台。

获取更多入口的代码示例

def xiaoqu_batch_crawl(db_xiaoqu=None, region=u'天河'):
    try:
        # 天河utf-8: %E5%A4%A9%E6%B2%B3
        url_region = u'http://gz.lianjia.com/xiaoqu/rs' + region + '/'
        req = urllib2.Request(url_region,
                              headers=HDS[random.randint(0, len(HDS) - 1)])
        source_code = urllib2.urlopen(req, timeout=10).read()
        plain_text = source_code.decode('utf-8')
        soup = BeautifulSoup(plain_text, 'html.parser')
    except (urllib2.HTTPError, urllib2.URLError), e:
        print e
        return
    except Exception, e:
        print e
        return
    page_data = 'page_data = ' + soup.find('div', attrs={
        'class': 'page-box house-lst-page-box'}).get('page-data')
    exec (page_data)
    total_pages = page_data['totalPage']
    threads = []
    for page in range(total_pages):
        url_page = u'http://gz.lianjia.com/xiaoqu/pg%drs%s' % (page + 1, region)
        t = threading.Thread(target=xiaoqu_crawl, args=(db_xiaoqu, url_page))
        threads.append(t)
    for t in threads:
        t.start()
    for t in threads:
        t.join()
    print u'爬下了%s区全部的小区信息' % (region)


if __name__ == '__main__':
    xiaoqu_batch_crawl(db_xiaoqu=None, region=u'%E5%A4%A9%E6%B2%B3')

待解决问题

在控制台窗口调用程序，如果region参数用region=u'天河'，报错'ascii' codec can't encode characters in position 14-15: ordinal not in range(128)，编码问题是Python届的大坑，加入如下设定编码的惯例解决。

import sys

reload(sys)
sys.setdefaultencoding("utf-8")

然而问题来了，Why reload(sys)？

Google say: reload(sys) is evil

---

微信公众号「数据分析」，分享数据科学家的自我修养，既然遇见，不如一起成长。

Telegram Group:

https://t.me/sspadluo

数据分析

转载请注明：转载自微信公众号「数据分析」

---