1. pyspider的介绍；
2. 爬虫架构的典型设计；
3. 垂直搜索引擎的初探。
PySpider
之前的爬虫策略很简单，用得python2.7：urllib2 + BeautifulSoup。
这种方式小巧方便，但是面对大规模的爬取需求时就变得冗余麻烦，需要有一个爬虫框架，能够分布式运行，队列控制。
可以简单的认为目前的需求就是一个垂直领域的爬虫框架，对数量可观的网站中的某些确定页面进行周期性的爬取，需要爬取策略定制方便可调整，暂时不需要实时响应。
爬虫框架之前试过scrapy，但是种种原因使用并不成功，于是来了解下pyspider。
特性：
1) web可视化监控；
2) 队列调度与周期控制；
3) 支持JS页面抓取
pyspider架构
设计架构：
pyspider架构
垂直搜索引擎
这是针对某一行业或领域的专业搜索引擎，是对网页库中某类专门信息的一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。
垂直搜索引擎是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出的搜索引擎服务模式，通过针对某一特定领域、人群或需求提供有一定价值的信息和相关服务。特点是“专、精、深”，具有行业色彩，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎显得更专注、具体和深入。
爬虫架构的典型设计
学好python你需要一个良好的环境，一个优质的开发交流群，群里都是那种相互帮助的人才是可以的，我有建立一个python学习交流群，在群里我们相互帮助，相互关心，相互分享内容，这样出问题帮助你的人就比较多，群号是301，还有056，最后是051，这样就可以找到大神聚合的群，如果你只愿意别人帮助你，不愿意分享或者帮助别人，那就请不要加了，你把你会的告诉别人这是一种分享。
学习是对自己最好的投资，而机会属于有准备的人，这是一个看脸的时代，但最终拼的是实力。人和人之间的差距不在于智商，而在于如何利用业余时间，所以没有等出来的辉煌，只有干出来的精彩。其实只要你想学习，什么时候开始都不晚，不要担心这担心那，你只需努力，剩下的交给时间，而你之所以还没有变强，只因你还不够努力，要记得付出不亚于任何人的努力。
网友评论