目录
- 分析需求
- 需求分类
- 你的选择
1. 分析需求
分析自己的需求，问自己：需要解决的问题，是否可以在3小时内纯手工的收集？如果不可以，那么再考虑【爬虫】。下面是常见的需要收集数据的需求，这些完成需求的步骤。如果这些步骤很简单/很少，那么请直接手工收集吧。
2. 需求分类
第一类/第二类/其他类
2.1 第一类
关注某个事件的动态，以关键词作为切入点跟踪某个事件：我想知道大家关于这件事情的态度。
你要做的：
限定新闻网页的来源，找到出现关键词的新闻网页，运行爬虫收集这些网页，从网页标签中收集文本，分析文本
如何做：
- 准备关键词
- 限定新闻网页的来源
- 运行爬虫收集
- a. 模拟搜索请求
- b. 获得搜索结果网页
- c. 收集新闻标题和相应链接，收集翻页和相应链接
- d. 访问对应新闻页面，收集该页面
- e. 模拟翻页请求，获得新的一页结果页
- f. 对页面进行信息抽取，将需要的信息存储在本地
举例：
【房地产报道热度变化趋势：以财经网为主】：我想知道关于这方面的新闻，大家在谈论什么其他相关的关键词，报道是乐观居多还是悲观居多，不同的信息来源的报道偏重是什么，随着时间的推移，报道的热度有什么变化？
- 准备关键词：房地产，房产，地产，房屋，房奴，地税
-
限定新闻网页的来源：财经网
财经网
- 运行爬虫收集
-
a. 模拟搜索请求
财经网 - 输入搜索
-
b. 获得搜索结果网页
财经网 - 获得搜索结果
-
c. 收集新闻标题和相应链接，收集翻页和相应链接
财经网 - 收集每个新闻
-
d. 访问对应新闻页面，收集该页面的信息
财经网 - 查看一个新闻
-
e. 模拟翻页请求，获得新的一页结果页
财经网 - 翻页
-
f. 对页面进行信息抽取，将需要的信息存储在本地（e.g., 以表格的形式存储）
用表格记录信息
2.2 第二类
收集某个网站上的指定内容：我想收集它们进行分析
你要做的
确定收集的路径，运行爬虫收集这些信息
怎么做
- 指定路径
- 指定收集信息点
- 确定访问动作访问
- 收集预期的信息点
- 存储数据
- 重复刚才的动作
举例
【收集亚马逊在线购物网站上所有智能手机的买家评论】：看看我能从中发现什么
-
指定路径：指定手机的商品评论
亚马逊(中国)-手机
-
指定收集信息点：对应商品列表
亚马逊(中国) - Apple iPhone
-
确定访问动作访问：每一个商品网页的点评区
亚马逊(中国) - 商品评论
-
收集预期的信息点
商品评论 - 评分 - 赞同数据
-
存储数据
(略) -
重复刚才的动作：选择一个手机/每一个商品/每一条评论
【财经网】：价格波动
-
收集股票代码：这些是收集的候选名单
一些需要收集的股票
-
访问股票对应网页：选择访问某个股票的信息页
股票页面
-
收集信息点：各种指标/数值
各种有价值的数据点 (示例)
-
存储：把你喜欢的信息收集到文件里
(略) -
重复刚才的工作：收集下一个股票的信息
2.3 其他类
我没给类型起名字因为我不知道我这么分类是否正确，不过一般我遇到的爬虫需求就这两个了。
3. 你的选择
以上就是一个“爬虫”能完成的事情，换句话说，程序能完成这些工作，那么你想要写程序吗？
如果你只要收集财经网，你可以直接手工收集，但如果你还要收集彭博网、澎湃新闻、网易新闻、搜狐新闻、百度新闻......呢？（当然是手工收集啦哈哈哈哈哈哈哈）
网友评论