美文网首页python爬虫小记
爬虫学习6:爬取安居客的VR房源信息

爬虫学习6:爬取安居客的VR房源信息

作者: JLOVEDANZI | 来源:发表于2019-03-04 11:27 被阅读312次

    公司的VR产品在推广前夕,需要做一个较详细的市场分析报告,我们可以从下面几个步骤来深入探讨:

    1、需要展望整个VR的市场规模有多大,从而论证我们需要面对的市场分量,

    2、在这个大市场下面,我们面对的细分市场,如何划分,盘子能有多大等等

    3、产品自身分析和竞品分析,这个是认识自己和别人的部分,从而认识到自己的核心优势以及相比于其他的比较优劣势。

    4、新机会和风险,我们需要从重重竞争者中,开辟出最适合自己产品的细分市场,并认识到我们自定义的细分市场可以营造哪些壁垒,其他竞争者是否容易转型等等。

    整个市场分析报告中,主要部分是2和3,2是看清楚自己面对的初步细分市场的成熟度和规模,3是看清楚自己与竞品的市场存量存在多大的差距。无疑,这些都需要数据来支撑。扯得有点远,回归爬虫学习,因为我们需要看VR在房地产市场上的普及度和成熟度,所以我们需要考察线下线上中介平台对VR的支持和了解。这也能从侧面反馈出客户对房地产VR的接受程度。

    下面书归正传,开始走拉取安居客房源的深坑之路。

    首先我们看安居客的房源列表的代码,发现每个房源信息都包含在一个<li>模块里,那么我们是否可以直接如图拉取小说的内容一样requests.get()呢?:

    我先试着模仿小说爬虫拉取安居客第一页房源列表的数据,敲下如下代码:

    运行后的确拉出代码行了,但再运行一次,发现拉出来的是空值。而且安居客会触发预警机制,房源页面无法显示,还蹦出这么一行字:

    WTF?这是什么鬼东西!沮丧了一波,好吧,既然你能检测到我在爬你的数据,那说明我还是小白,大神总是有办法绕过这些检测机制的,而且安居客的数据应该也不多么有保护价值,防爬虫的机制应该不难。翻看大神的文章,发现一般网站防止爬虫一般从下列几个路径去实现:

    1、服务器限制了UA头(user-agent),因为我们在直接使用requests.get()的时候,服务器接收不到任何的UA头,那么它就默认你是爬虫,因为正常的网页访问,是一定会带UA头等信息的,这个UA头在哪找呢?如下:

    我们通过查看页面加载的network,然后再看js加载项中的headers,我们就能看到最后Request Headers的内容中,有一项即User-Agent。我们把它写入我们的requests语句即可。

    2、也有的网站还监测访问频率和ip,那么我们可以让我们的访问频率尽量拟人化,比如100ms才去拉一次数据,ip的话,我们可以用ip池的概念,这个没研究,到时候再深入。

    3、还有些网站采取什么验证码、异步加载等等手段来防止爬虫...大神们都已经解决了,以后碰到了再请教吧。(资料来源:https://jingyan.baidu.com/article/ea24bc39c1e777da62b33198.html)

    根据上面所述,我们试着这样写:

    再试了一下,发现ok了,安居客不会检测到我们爬去数据了哈哈,现在开始爬取数据的历程。

    首先老一套,先import我们需要的库,主要是requests和BeautifulSoup库,然后再引入html5lib,这个是BeautifulSoup需要的(报错提示要安装这个...)。然后我们定义一个类,用来包含所有的函数,然后初始化我们最后excel表里的所以度量值。

    然后我们准备拉取安居客前10页的房源,我们发现网页上的地址只是改变了‘p’后面的值而已,第一页就是p1,第二页就是p2.那么我们就可以定义一个提供网址的函数UrlChange(),然后我们知道,房源都包含在每个页面上的<li>标签内,class属性是“list-item”,我们先把这些房源列表抓出来,然后后面再分开处理。

    然后我们来定义一个函数,看这个房源到底有没有VR的数据:

    这里可以优化部分代码,其实A里面一直都只有一个VrResult值,我们就无需去for ... in A了。直接用A[0]去与None比较即可。不过问题不大。这样我们能找到哪些房源有VR,哪些没有。下面我们开始爬取房源的各项属性和价格。

    最后我们就能拉取到安居客房源的大部分房源信息,现在我们再把信息写入xlsx文档中,也就是excel文档中以备用。

    最后我们实例化我们设定的class,然后逐步运行其中的函数

    看着中间的print被一一打印出来,还是有点小激动~

    最开始不知道生成的excel文件去了哪,还以为失败了...后来全盘搜索,发现在python自己放py文件的地方...

    啦啦啦,出来啦,打开瞅瞅

    开心~,爬取安居客VR房源的数据就这样,照样子,我们也把其他房地产平台的数据爬取下来。今儿就到这

    相关文章

      网友评论

        本文标题:爬虫学习6:爬取安居客的VR房源信息

        本文链接:https://www.haomeiwen.com/subject/nmaxeqtx.html