在这全民买房的时代，有一项技能我觉得是程序员应该要配备的，无论近期要买或是不买，还是要适当的关注房价走向的。我也喜欢浏览房价，但是在网页里看得眼花缭乱的，程序员就该用程序员的方式看嘛！
于是我用python+selenium来抓取链家房数据，selenium自动化优点是完全可以模拟人工操作网页，而且相对其他爬虫不用写请求头，例如直接request的。
前期准备
1、安裝selenium
命令行：pip install selenium 敲回车
2、下载chromedriver对应的版本：
http://chromedriver.storage.googleapis.com/index.html
直接放在Python的Scripts目录下就可以不用配置变量了，而且也不用声明路径
（后面会说）
3、安裝pyquery：
命令行：pip install pyquery
4、安裝pymysql
命令行：pip install pymysql
网页分析
我们不用声明请求头的参数了，只要我们拿到URL，指哪爬哪！
此次抓取的数据如下：
打开开发者工具，谷歌浏览器按F12
发现每个小区的售房信息都在ul下的li标签里，代码如下：
第一步拿到html结构，然后用pyquery解析遍历li标签，我使用了items()方法
接着提取小区名称，找到a标签的class：
提取房类的文本，span标签下面：
其他的Text文本都是这样的方法提取
提醒的一点就是，需要判断一下ul的class，防止有时候网络加载的问题，导致发生错误。
模拟滚动
每跳转一页就滚动一下滚动条，这样做的有好处是有些时候是异步加载的，例如查看评论：
这里可以根据个人不同来定义，我这里以800来滚动。
然后是点击下一页的动作，网页有下一页的选项。一些其他的小动作，可以自己添加哦！
数据存储
我这里用mysql存放数据
数据展示：
在这全民买房的时代，有一项技能我觉得是程序员应该要配备的，无论近期要买或是不买，还是要适当的关注房价走向的。我也喜欢浏览房价，但是在网页里看得眼花缭乱的，程序员就该用程序员的方式看嘛！
于是我用python+selenium来抓取链家房数据，selenium自动化优点是完全可以模拟人工操作网页，而且相对其他爬虫不用写请求头，例如直接request的。
前期准备
1、安裝selenium
命令行：pip install selenium 敲回车
2、下载chromedriver对应的版本：
http://chromedriver.storage.googleapis.com/index.html
直接放在Python的Scripts目录下就可以不用配置变量了，而且也不用声明路径
（后面会说）
3、安裝pyquery：
命令行：pip install pyquery
4、安裝pymysql
命令行：pip install pymysql
网页分析
我们不用声明请求头的参数了，只要我们拿到URL，指哪爬哪！
此次抓取的数据如下：
打开开发者工具，谷歌浏览器按F12
发现每个小区的售房信息都在ul下的li标签里，代码如下：
第一步拿到html结构，然后用pyquery解析遍历li标签，我使用了items()方法
接着提取小区名称，找到a标签的class：
提取房类的文本，span标签下面：
其他的Text文本都是这样的方法提取
提醒的一点就是，需要判断一下ul的class，防止有时候网络加载的问题，导致发生错误。
模拟滚动
每跳转一页就滚动一下滚动条，这样做的有好处是有些时候是异步加载的，例如查看评论：
这里可以根据个人不同来定义，我这里以800来滚动。
然后是点击下一页的动作，网页有下一页的选项。一些其他的小动作，可以自己添加哦！
数据存储
我这里用mysql存放数据
数据展示：
进群：960410445 即可获取数十套PDF！
网友评论