想想自己看过的计算机方面的图书，大部分出自两个出版社，一个是 机械工业出版社，另一个是 人民邮电出版社。我们熟悉的 China-pub 即互动出版网收录了几乎所有机械工业出版社出版的图书。
今天我就带着大家来爬取“互动出版网 - 计算机图书销量榜”的数据，为我们购买计算机类书籍提供决策支持。
首先，我们来看看“互动出版网 - 计算机图书销量榜”的网页，如下图所示：
互动出版网 原网页
如上图所示，这份排行榜为我们提供了 100条 数据，分成 5页 显示，每页 20条，第1页的网址如下：
http://product.china-pub.com/cache/rank3/sale/day/rank_day_7_59_1.html
第2页的网址如下：
http://product.china-pub.com/cache/rank3/sale/day/rank_day_7_59_2.html
第3页的网址如下：
http://product.china-pub.com/cache/rank3/sale/day/rank_day_7_59_3.html
通过观察，我们可以发现最后一位的数字表示请求这份排行榜第几页的数据。这样我们就能确定请求网页的网址了。
其次，我们再来看看网页的源码：
从网页的源码中，我们发现“互动出版网 - 计算机图书销量榜”属于静态网页，全部数据存储在 .xians-list table 标签中。通过取该 table 中每行每列的数据 tr > td，我们就可得到所要的书名、作者、出版社的数据。
最后，我们推荐一套解析HTML DOM TREE的开源代码：Jumony。下载网址如下：
https://github.com/Ivony/Jumony
Jumony下载
在这里，我们就不介绍这套开源代码的使用了，如果有读者感兴趣，我们后面再来写几篇图文来介绍 Jumony 的原理与使用方法。
通过上面的分析，我们理清了爬取“互动出版网 - 计算机图书销量榜”数据的思路，下面我们写代码实现这个爬取过程。
1. 构造存储图书的结构Book，包括销量排名，书名，作者，出版者等。
public class Book
{
/// <summary>
/// 获取或设置 销量排名
/// </summary>
public int Num { get; set; }
/// <summary>
/// 获取或设置 书名
/// </summary>
public string Title { get; set; }
/// <summary>
/// 获取或设置 作者
/// </summary>
public string Author { get; set; }
/// <summary>
/// 获取或设置 出版社
/// </summary>
public string Press { get; set; }
/// <summary>
/// Book实例的格式化输出
/// </summary>
/// <returns>Markdown格式文本</returns>
public override string ToString()
{
string num = Num.ToString().PadLeft(2, '0');
string temp = "**Top" + num + "：" + Title.Trim() + "**"
+ Environment.NewLine
+ "- 作 者：" + Author + Environment.NewLine
+ "- 出版社：" + Press;
return temp;
}
}
2. 根据网址，获取“互动出版网 - 计算机图书销量榜”网页的HTML DOM TREE。
public static IHtmlDocument GetHtmlDocumentHd(int page)
{
string url = "http://product.china-pub.com/cache/rank3/sale/"
+ "day/rank_day_7_59_"
+ page
+ ".html";
IHtmlDocument document;
try
{
document = new JumonyParser().LoadDocument(url);
}
catch
{
document = null;
}
return document;
}
3. 获取“互动出版网 - 计算机图书销量榜”的图书集合List<Book>。
public static List<Book> GetBooksHd(int page)
{
IHtmlDocument doc = GetHtmlDocumentHd(page);
if (doc == null)
return null;
List<Book> result = new List<Book>();
List<IHtmlElement> lists
= doc.Find(".xians-list table").ToList();
for (int i = 0; i < lists.Count; i++)
{
Book book = new Book();
book.Num = i + 1;
List<IHtmlElement> s = lists[i].Find("tr > td").ToList();
List<IHtmlElement> title = s[1].Find("a").ToList();
//得到书的名字
book.Title = title[0].InnerHtml().Trim();
List<IHtmlElement> info = s[2].Find("a").ToList();
string temp = string.Empty;
for (int j = 0, len = info.Count; j < len; j++)
{
if (j < len - 1)
{
temp += info[j].InnerHtml().Trim() + " ";
}
else
{
//得到出版者的名字
book.Press = info[j].InnerHtml().Trim();
}
}
//得到作者的名字
book.Author = temp.Trim() + "（著）";
result.Add(book);
}
return result;
}
4. 获取“互动出版网 - 计算机图书销量榜”的 Markdown 格式文本。
private string GetReport(string name, List<Book> lst)
{
string result = Environment.NewLine + "---"
+ Environment.NewLine
+ "### " + name + Environment.NewLine;
for (int i = 0; i < lst.Count; i++)
{
result += Environment.NewLine + lst[i] + Environment.NewLine;
}
return result;
}
5. 对 Markdown 格式文本进行 HTML 渲染。
渲染结果
通过以上的介绍，爬取“互动出版网 - 计算机图书销量榜”数据的任务就完成了。感觉这个网站是采用传统的开发方式来做的，页面在服务器端生成，浏览器负责展现。而非目前常用的前后端分离模式，前端 HTML 页面通过 Ajax 调用服务器的 Restuful Api 接口并使用 Json 数据进行交互。
好了，今天就到这里吧！希望大家能有所收获，See You！
推荐阅读
网友评论