使用scws组件分词和phpanalysis分词类实现简单的php分词搜索
关键字：php 分词 搜索
什么是scws：
SCWS 是 Simple Chinese Word Segmentation 的首字母缩写（即：简易中文分词系统）。
这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。 词是中文的最小语素单位，但在书写时并不像英语会在词之间用空格分开， 所以如何准确并快速分词一直是中文分词的攻关难点。
SCWS 采用纯 C 语言开发，不依赖任何外部库函数，可直接使用动态链接库嵌入应用程序， 支持的中文编码包括 GBK、UTF-8 等。此外还提供了 PHP 扩展模块， 可在 PHP 中快速而方便地使用分词功能。
分词算法上并无太多创新成分，采用的是自己采集的词频词典，并辅以一定的专有名称，人名，地名， 数字年代等规则识别来达到基本分词，经小范围测试准确率在 90% ~ 95% 之间， 基本上能满足一些小型搜索引擎、关键字提取等场合运用。首次雏形版本发布于 2005 年底。
下载地址(需要下载SCWS规则集文件、xdb词典文件和对应版本的php_scws.dll扩展库)
http://www.xunsearch.com/scws/
安装php扩展
将php_scws.dll的扩展库放入php目录下的ext目录中
然后再php.ini中添加以下配置，添加完成后重启
[scws]
extension = php_scws.dll
scws.default.charset = gbk
scws.default.fpath = "C:\Program Files\scws\etc"
注：extension的路径要确保能加载ext目录下的.dll扩展。
scws.default.fpath的目录是分词规则文件的绝对目录
新建一个目录（C:\Program Files\scws），将xdb文件放入。如图：
将规则集文件（规则集文件在scws的全部源代码的压缩包中可以找到）放到etc目录下，如图：
注：规则集和字典包的作用再官网里面很详细
下面就来实际操作一下：
<?php
header("Content-Type:text/html;charset=utf-8");
$sc = scws_new(); //实例分词类
$sc->set_charset('utf-8'); //设置分词时所用的编码
$sc->set_dict('C:\Program Files\scws\dict.utf8.xdb'); //设置分词所用的字典包
$sc->set_rule('C:\Program Files\scws\etc\rules.utf8.ini'); //设置分词所用的规则
$sc->set_ignore(true); //去掉标点符号后在分词
$sc->set_multi(true); //复式分割
$sc->send_text('山东,厨具。'); //分词的语句
while($tmp[] = $sc->get_result()){ //获取分词结果
}
//连接数据库
mysql_connect('localhost','root','root');
mysql_select_db('tdmalls');
mysql_query('set names utf8');
//组合sql
$sql = "select article_title from th_article where ";
$len2 = count($tmp[0]);
for($j=0;$j<$len2;$j++){
if($j == $len2-1){
$sql .= " article_title like '%".$tmp[0][$j]['word']."%'";
}else{
$sql .= " article_title like '%".$tmp[0][$j]['word']."%' and ";
}
}
$res2 = mysql_query($sql);
while($row[] = mysql_fetch_assoc($res2)){}
以上代码的分词的结果：
以上代码组合的sql（sql的组合根据自己的情况来）：
以上代码搜索出来的结果：
这里关于scws的方法介绍的并不多，有需要的可以网上查找更多的使用方法
什么是phpanalysis无组件分词系统
下载地址的链接包含了这个系统的详细介绍，这个系统就是一个php的类，使用起来比较方便直接引入类文件就可以使用，但速度比scws这类组件形式的分词慢
下载地址：
http://www.phpbone.com/phpanalysis/
使用方法比较简单，将下载的文件解压放入指定目录
然后再demo中引入这个类文件就可以使用了：
header("Content-type:text/html;charset=utf-8");
require_once './phpanalysis/phpanalysis.class.php'; //引入分词类文件
$fc = new PhpAnalysis(); //实例分词类（#注：这个步骤很耗时）
$str = '打造厨具';
$fc->SetSource($str); //设置待分词的字符
//设置生成的分词结果数据类型,2为词典词汇及单个中日韩简繁字符及英文
$fc->resultType = 2;
$fc->StartAnalysis(); //开始分词
$arr = $fc->GetFinallyIndex(); //获取分词数组，键是词
$arr = implode(' ',array_keys($arr));
$arr = explode(' ',$arr);
//连接数据库
$m_db = mysql_connect('localhost','root','root');
mysql_select_db('tdmalls');
mysql_query('set names utf8');
//sql
$len = count(array_filter($arr));
$sql = "select article_title from th_article where ";
for($i=0;$i<$len;$i++){
if($i == $len-1){
$sql .= " article_title like '%".$arr[$i]."%'";
}else{
$sql .= " article_title like '%".$arr[$i]."%' and ";
}
}
$res = mysql_query($sql);
while($row[] = mysql_fetch_assoc($res)){}
以上代码分出来的词的结果：
注：这个地方键才是分出来的词
最终搜索出来的结果：
虽然用起来方便也做了很多优化但速度还是不理想，实例化该类的时候很耗时。
该类的方法注释还算详细就不再介绍了。
网友评论