之前准备把大众点评商户和评价信息都抓取下来，遇到两个问题就搁下来。
- 分类（菜系）、地点都不限制，不能搜到全部信息，分页也只有50页数据（750条），而在首页显示的餐厅是15万多家（上海地区）。
- 选定一个分类后，如“本帮江浙菜”，发现显示数据也是50页。
基本可以断定，不限制分类和地点，或者限定条件比较少，最多是显示50页数据。是不是考虑到没有人会无聊地一页一页翻看。
解决的方式，就是先按分类和地点进行组合，构建出所有的url，爬取时再爬过所有分页的页面。于是今早就开干。
1. 先把分类和地点的基础数据抓取下来
把上图蓝色框中的基础数据先抓取下来，就是分类和地点，地点包括，热门商区、行政区。分类是都是以g开头的加上数字，如川菜是g102，地点是以r开头的加上数字，如浦东新区是r5，人民广场是r860
location=['r5', 'r2', 'r6', 'r1', 'r3', 'r4', 'r12', 'r10', 'r7', 'r9', 'r13', 'r8', 'r5937', 'r5938', 'r5939', 'r8846', 'r8847', 'c3580', 'r801', 'r802', 'r804', 'r865', 'r860', 'r803', 'r835', 'r812', 'r842', 'r846', 'r849', 'r806', 'r808', 'r811', 'r839', 'r854']
foodtype=['g101', 'g113', 'g132', 'g112', 'g117', 'g110', 'g116', 'g111', 'g103', 'g114', 'g508', 'g102', 'g115', 'g109', 'g106', 'g104', 'g248', 'g3243', 'g251', 'g26481', 'g203', 'g107', 'g105', 'g108', 'g215', 'g247', 'g1338', 'g1783', 'g118']
常见的菜系，本帮江浙菜g101、川菜g102、火锅g110、东北菜g106、海鲜g251、日料g113，哪一种是你的最爱。
2.组合出所有的URL，包括分页
在组合出所有的URL时，发现也可以把分页加上，就是直接在url后跟上如p2，就是第二页，如 “g102r5p2”，这个就表示点评上“浦东新区 川菜 餐厅 第2页的 url”，完整的URL是这样的：
http://www.dianping.com/search/category/1/10/g102r5p2
当然需要先获取组合的每个URL的有多少页。
3. 其他就是解析页面数据，写入数据库
我之前的文章都写得比较详细。
页面数据的提取，可以参考，《Scrapy 抓取数据提取对象小技巧》
写入数据库可以参考，《Scrapy爬取数据存入MySQL数据库》
数据库信息字段
今天代码非常顺利，测试基本都是一次过。启动爬虫，数据顺利抓到写入数据库，很快，我看了一下超过了5000条。
我检查一下数据，发现代码中有个小错误，停下爬虫修改好，数据库Truncate一下。
再次启动爬虫，发现居然被Ban了，我设置了浏览器请求头（伪装），也设置了下载延迟（就是短了点，有点后悔）。这时的时间大概9:30，是不是攻城狮上班了啊，今天是周六啊。
2017-01-07 10:02:58 [scrapy] DEBUG: Crawled (403) <GET http://www.dianping.com/search/category/1/10/g3243r9> (referer: None)
2017-01-07 10:02:58 [scrapy] DEBUG: Ignoring response <403 http://www.dianping.com/search/category/1/10/g3243r9>: HTTP status code is not handled or not allowed
2017-01-07 10:02:58 [scrapy] INFO: Closing spider (finished)
Snip20170107_2.png
想着上周也被Ban过，把图也贴出来。爬取拉勾网招聘信息被Ban，换了一种入口请求，居然好了。
拉勾网被Ban
接下来，再怎么启动也不行。我只好找找设置IP代理的方法。一大早代码写得像在飞，现在...，干脆，先换个地方，换个IP试式看。
这次我把下载延时稍微设长一点，OK，现在下载了2万多数据。
吃货们，等着我的数据分析吧。
分析文章出来啦：献给吃货们的爱♡ -- 大众点评美食数据分析
网友评论