这是我Python爬虫学习第31天笔记
从4月30号开始，我每天学习Python、写代码、爬取数据。先看一下学习成果。
一、一个月写了18篇文章：
Python学习笔记
**一个月共写了18篇文章，16998字。阅读量 7295, 评论 90, 喜欢 378, 打赏 0 **（其中8篇文章上了简书首页）。
目录如下，
随便说一下，这些数据的统计和目录列表的生成都是Python爬虫实现的，方法见这篇文章：《简书连载作者福音: 一键生成连载目录和连载作品排行统计（Python爬虫应用》。
Scrapy用Cookie实现模拟登录
Srcapy+Redis+mongodb实现一个爬虫中遇到的问题
Scrapy+Mongodb爬取数据
BeautifulSoup提取内容的小技巧
Mongodb基本命令
简书连载作者福音: 一键生成连载目录和连载作品排行统计（Python爬虫应用）
简书连载作品龙虎榜: 一个爬虫的应用
Python中小知识点汇总
Scrapy爬取简书用户url分析
使用Scrapy爬取大规模数据
Python爬虫框架Scrapy快速入门
XPath提取多个标签下的text
Python爬虫学习：简书签约作者知多少？
用Python玩转QQ群论坛
爬虫搜索神器BeautifulSoup和XPath 的使用
成长会不完全大数据-Python爬虫案例
当我们学Python时，我们学什么？
10行代码完成一个爬虫，就这么简单
二、一次爬取数据达到10W+
一个月的时间，爬取过的站点有：知笔墨、QQ群论坛、58赶集、前程无忧、简书。爬取的数据有：简书首书热门(七日热门、三十日热门)，爬取找出简书签约作者，赶集、58简历库简历筛选，简书作者信息(文章数、字数、关注数、粉丝数、阅读数、喜欢数、打赏数、评论数)。
从一开始的爬取简书首页热门数据99条，到昨天爬取简书用户信息超过11W。从一开始用Excel, csv保存下载数据，到现在用mongdb存储。
简书30日热门数据
数据超过10W时
爬虫成功访问了41W页，获取数据119,700条
三、学习掌握了这些内容
到现在为止涉及和掌握的内容: urllib, urlib2, requests, xlrd, xlwt, re, BeautifulSoup, XPath, Scrapy, mongodb, Redis
这些都是从一个Dome的10多行代码开始拆解、分析、模仿开始，就这样一步步迭代的方式来学习。
四、总结一下学习方法
-
项目和问题驱动
Python爬虫的学习，我没有按部就班地拿一本Python入门的书开始系统地学习，一个个知识点的来过，而是围绕想解决的问题，想实现的功能，一步步解决问题的方式推进。你可以看到，好几篇文章中我是先实现了一个功能，再总结过程中遇到了哪些问题，是怎么解决的，又遇到了什么问题，就记下来，先存疑。《简书连载作者福音: 一键生成连载目录和连载作品排行统计（Python爬虫应用）》这篇文章，就是看到简书上的统计连载作品排行时，手工统计太麻烦，就用Python爬虫来解决。还有工作中一些简历筛选，我也用爬虫处理了。
-
高频度集中学习
每天2小时，首先找一个安静的学习环境，远离舒适区，一般选择下班后的办公室或图书馆。学习中间没有任何打扰，不浏览网页、不看IM信息。
当我学到30天时，有一些简友加我，问我Python学习中的问题，居然还有Python程序员，一方面不禁感叹Python内容真广，另一方面我Python学习效果非常明显。我也在简书上遇到从事数据分析的简友，所以我又开了一个专题《Python数据分据》。
网友评论
1.我需要爬不同网站的网页提取文章内容 当然这些文档内容提取规则肯定不同,我是应该一个网站写一个爬虫还是都写在同一个爬虫里面呢?我用的是里面crawlSpider 好像可以增加匹配规则
2.我想实现提取规则的可配置化,就是把参数写到settings里面 如果新加了规则 那么对应items里面也加进去..