综述
本搜索引擎 demo 版名为 Prototype Phoenix，实现了在线爬取网页、本地载入网页、对网页源代码进行处理、分词、建立倒排索引、根据 PageRank进行排序、自动识别布尔检索等功能，界面友好，功能完善，运行速度快，鲁棒性强。
总体框架
总体框架为：以主界面为主体，较慢的爬虫和初始化倒排索引为子线程，较快的分词和搜索直接在主线程中调用，使用信号-槽机制实现界面、爬虫、建立倒排索引、搜索之间的通信。爬虫为自写，分词使用jieba分词。
多线程机制
考虑到爬虫在爬取页面的过程中会出现等待时间较长的情况、倒排索引写文件较慢的情况，使用了多线程机制。
界面为主线程，爬取页面和初始化倒排索引为子线程。当要使用爬虫或初始化倒排索引时，主线程会调用子线程的start()函数，让子线程开始运行，而主线程仍可保持接收信号的状态。子线程与主线程通过信号-槽机制进行通信，子线程任务进度将会以信号的形式发给主线程，从而在主线程的进度条上显示出来；当子线程运行结束时，将会给主线程发送任务完成的信号。
子线程分别名为CrawlerThread（爬虫子线程）和InitRidThread（初始化倒排索引子线程），其类定义函数分别在crawlerthread.h和initridthread.h中，实现函数分别在 crawlerthread.cpp 和 initridthread.cpp 中。为了方便分工且让工程代码有更好的风格，所以爬虫和初始化倒排索引的代码均与这两个子线程对应，而不直接与主线程进行通信。
同时，为了方便代码阅读，将两个子线程的槽函数分别放在为widget_crawlslots.cpp 和widget_initridslots.cpp两个文件中。
参考文档和完整的文档和源码下载地址：
网友评论