scrapy vs requests+beaufigulsoup
scrapy 是框架 （强大）
requests+beaufigulsoup 是库
scrapy基于twisted，性能是最大的优势
scrapy方便拓展，功能多
scrapy内置的css和xpath selector非常方便 ，beautufulsoup缺点是慢
网页分类
1 静态网页
2 动态
3 webservice（restapi）
爬虫的作用
1 搜索引擎
2 推荐引擎
3 机器学习的样本
4 数据分析，舆情分析
网友评论