半个月前从实现网上接到一个开发新闻抓取接口的项目。
客户需求是让用户可以收藏他能看到的任何手机App里的文章，获取文章地址，把文章地址提交给客户平台，并将文章标题、摘要、正文、图片保存到对方数据库中。有一款名叫收趣的App，可以让用户复制粘贴感兴趣的文章到应用里，文章被自动抓取，以规整的格式展现在客户端里。客户正打算开发与其类似的功能，希望应用能够兼容主流媒体的新闻抓取，包括新浪新闻、今日头条、微信公众号等等。
应用流程并不复杂，用户从前端提交所要抓取URL交给服务端，服务端根据URL域名匹配相应的爬虫，将下载下来的HTML进行解析，并以固定格式储存在数据库中，服务端最后将抓取结果以JSON格式返回给客户端。
一个完整的爬虫包括页面请求、任务调度、页面解析、数据储存四个模块。此外，如果需要考虑爬虫抓取效率、反爬能力等因素，还需要加入一些高级模块，例如采用多线程、协程来实现高并发，添加代理池以防止被爬取网站封锁IP。如果运气不好，需要爬取的内容要求用户登录后才能获取，则必须模拟用户登录的情况。另外，由于绝大多数网站都使用js来渲染页面，则需要考虑采用分析数据接口、或模拟浏览器的方式来获取这些动态内容。
在分析完本项目需要抓取的新闻网站之后，发现除腾讯新闻以外，都使用了js渲染html页面。因此，不能直接像请求静态页面那样直接请求URL来获取HTML。方便起见，我采用了casperjs。casperjs是基于phantomjs的工具，比起phantomjs，它更多方便的API。为了统一编程语言，我采用了nodejs来开发爬虫。
在项目中添加casperjsRequest.js文件，这相当于项目中的下载模块，在nodejs中通过child_process.spawn来调用即可。
var casper = require('casper').create({
pageSettings: {
loadImages: false, // The WebPage instance used by Casper will
loadPlugins: false // use these settings
}
});
var config = require('../config');
var url = casper.cli.args[0];
console.log(casper.cli.args);
casper.userAgent(config.REQUEST_USER_AGENT);
casper.options.waitTimeout = config.CASPERJS_WAIT_TIMEOUT;
casper.options.timeout = config.CASPERJS_TIMEOUT;
casper.start(url, function () {
this.echo(this.getPageContent());
});
casper.run();
将所需要URL传递给casperjsRequest.js作为命令行参数，可以在stdout中获取包括动态内容的页面HTML，在bash中执行以下命令
casperjs ./bin/casperjsRequest.js <url>
除了百度文库需要通过分页来获取完整文章以外，其他新闻网站的字段内容均遵循一定的规律。因此，将不同网站的内容选择器以配置文件的形式编辑，方便可扩展性。每一个配置文件代表一个网站的爬虫，因此如果有新的网站需要抓取，只需生成相似的配置文件即可。例如，今日头条的配置如下
{
"host": "m.huanqiu.com",
"mode": 1,
"name": "toutiao",
"nameZH": "今日头条",
"selectors": [
{
"name": "title",
"$": "article > h1",
"attr": "text"
},
{
"name": "author",
"$": "",
"attr": "text"
},
{
"name": "description",
"$": "",
"attr": "text"
},
{
"name": "content",
"$": ".article__content",
"attr": "html"
},
{
"name": "img",
"$": ".article__content",
"attr": "data-src"
}
]
}
其中，配置文件定义了爬虫域名以及内容选择器。另外还定义了页面下载的模式mode，1代表用casperjs请求动态内容，2（默认）代表直接请求静态html，3代表编码请求。
每一个URL对应一个域名，也就是不同的新闻网站，而单个新闻网站也分为PC端和移动端，其域名也不相同。当用PC网址请求时，服务器会重定向到移动端网址。而且，今日头条还存在多个域名的情况。因此，为了保证请求PC和移动端URL是一致的，我采用了正则表达式来做域名-爬虫映射。配置文件如下
module.exports = {
// 百度百家号
"baijiahao.baidu.com": "baidu",
// 百度文库
"wk.baidu.com": "baiduwenku",
// 网易新闻
"(?:3g|news).163.com": "netease",
// 腾讯新闻
"(?:xw|news).qq.com": "tencent",
// 今日头条
".*toutiao(?:\d+)?.com|m.pstatp.com": "toutiao",
// 微信公众号文章
"mp.weixin.qq.com": "weixin",
// 新浪新闻
"sina.(?:cn|com)": "sina",
// 通用爬虫
".*": "generic"
};
接下来就是编写爬虫解析逻辑和数据储存。
（未完，待续）
网友评论