一、Hanlp的背景介绍
- github地址： https://github.com/hankcs/HanLP
- 官网：https://www.hanlp.com/
- 作用：分词。这里举个例子，“傻逼”，从汉字分词的角度，是会分割为“傻”“逼”两个字，而不会是一个词。这也使得我们需要自定义词典，后文将着重讲我们公司是怎么使用的。
二、目标
- 高性能是本系统设计的一个关键目标，所以不能每次检测的时候，都读取数据库（无论是mysql还是redis）。
- 业务上，要求敏感词的动态调整，及时性是一个基本要求。自定义的敏感词和hanlp分词的自定义词典，做到实时同步。
- 不用重启应用。添加或删除了敏感词，都是更改txt文件的内容，然而在hanlp中无法生效，只有重启应用。所以，我们需要调用hanlp的api接口，做到动态地增删.txt.bin内容，做到无需重启应用。
- 敏感词的操作，如果是在业务高峰期，触发jvm内存所带来的首次慢的问题。可以采用临时内存区间，对接数据库中的敏感词库，待加载完成后，然后让原内存失效，启用新内存。
三、敏感词服务的设计思路
hanlp在敏感词检测服务中的作用.png
- 应用启动的时候，将自定义的敏感词词库，加载到jvm内存中。提升检测敏感词的性能。hanlp的自定义词典是设计中的核心，把上一步的敏感词词库添加至自定义词典。
- 维护敏感词的时候，除了更新jvm内存中的敏感词词库外，还需要调用com.hankcs.hanlp.dictionary.CustomDictionary中的api方法（insert()/remove()），以更新自定义词典。
四、关键设计思路
3.1、引入离线包
<dependency>
<groupId>com.hankcs</groupId>
<artifactId>hanlp</artifactId>
<version>portable-1.8.2</version>
</dependency>
3.2、引入配置文件hanlp.properties
/**
* hanlp.properties的路径，一般情况下位于classpath目录中。
* 但在某些极端情况下（不标准的Java虚拟机，用户缺乏相关知识等），允许将其设为绝对路径
*/
public static String HANLP_PROPERTIES_PATH;
默认读取classpath目录下的hanlp.properties.png
- 兜底操作，会读取环境变量HANLP_ROOT，作为root配置的值。
3.3、指定字典所在的根目录（方式一）
只需要修改这一个配置，root=/opt/SensitiveData/data-for-1.7.5/
这种方式，会需要把hanlp.properties放在Jar包外，额外带来了下面的几行代码。
String hanlp_properties_path = System.getProperty("hanlp_properties_path");
if (null != hanlp_properties_path && !"".equals(hanlp_properties_path.trim())) {
Predefine.HANLP_PROPERTIES_PATH = hanlp_properties_path;
}
3.4、指定字典所在的根目录（方式二）
设置环境变量HANLP_ROOT，推荐使用这种方式。
- 既不用在resources目录，也不能在Jar包外，引入配置文件hanlp.properties
3.5、JVM内存中自定义的敏感词库做到实时刷新
这里的jvm内存数据结构，可以是Set/Map，更推荐caffeine实现。
创建一个标识，用来记录单个jvm节点的内存数据是否需要刷新。
多个Jvm节点，保存到redis的set集合中（值可以是jvm进程号）。在启动的时候，判断当前的进程号是否存在于redis的set集合中，如果不存在，说明需要重新刷新jvm内存中的自定义的敏感词库。
在敏感词维护的时候，新增或删除敏感词，除了操作mysql数据库外，将当前进程号从redis中的set集合移除。做到重新刷新jvm内存中的敏感词库。
3.6、hanlp的自定义词典
- 错误的配置
CustomDictionaryPath=data/dictionary/custom/CustomDictionary.txt;data/dictionary/custom/自定义.txt;data/dictionary/custom/现代汉语补充词库.txt;data/dictionary/custom/全国地名大全.txt ns;data/dictionary/custom/人名词典.txt;data/dictionary/custom/机构名词典.txt;data/dictionary/custom/上海地名.txt ns;data/dictionary/person/nrf.txt nrf;
因为mainPath=data/dictionary/custom/CustomDictionary.txt，所以 if (loadDat(mainPath, dat)) return true; 所有后面的词典文件不再读取。
- 正确（默认）的配置
CustomDictionaryPath=data/dictionary/custom/CustomDictionary.txt
- 总结
要么不要配置data/dictionary/custom/CustomDictionary.txt，要么就沿用默认。
/**
* 加载词典
*
* @param mainPath 缓存文件文件名
* @param path 自定义词典
* @param isCache 是否缓存结果
*/
public static boolean loadMainDictionary(String mainPath, String path[], DoubleArrayTrie<CoreDictionary.Attribute> dat, boolean isCache)
{
logger.info("自定义词典开始加载:" + mainPath);
if (loadDat(mainPath, dat)) return true;
TreeMap<String, CoreDictionary.Attribute> map = new TreeMap<String, CoreDictionary.Attribute>();
LinkedHashSet<Nature> customNatureCollector = new LinkedHashSet<Nature>();
try
{
//String path[] = HanLP.Config.CustomDictionaryPath;
for (String p : path)
{
Nature defaultNature = Nature.n;
File file = new File(p);
String fileName = file.getName();
int cut = fileName.lastIndexOf(' ');
if (cut > 0)
{
// 有默认词性
String nature = fileName.substring(cut + 1);
p = file.getParent() + File.separator + fileName.substring(0, cut);
try
{
defaultNature = LexiconUtility.convertStringToNature(nature, customNatureCollector);
}
catch (Exception e)
{
logger.severe("配置文件【" + p + "】写错了！" + e);
continue;
}
}
logger.info("以默认词性[" + defaultNature + "]加载自定义词典" + p + "中……");
boolean success = load(p, defaultNature, map, customNatureCollector);
if (!success) logger.warning("失败：" + p);
}
if (map.size() == 0)
{
logger.warning("没有加载到任何词条");
map.put(Predefine.TAG_OTHER, null); // 当作空白占位符
}
logger.info("正在构建DoubleArrayTrie……");
dat.build(map);
if (isCache)
{
// 缓存成dat文件，下次加载会快很多
logger.info("正在缓存词典为dat文件……");
// 缓存值文件
List<CoreDictionary.Attribute> attributeList = new LinkedList<CoreDictionary.Attribute>();
for (Map.Entry<String, CoreDictionary.Attribute> entry : map.entrySet())
{
attributeList.add(entry.getValue());
}
DataOutputStream out = new DataOutputStream(new BufferedOutputStream(IOUtil.newOutputStream(mainPath + Predefine.BIN_EXT)));
// 缓存用户词性
if (customNatureCollector.isEmpty()) // 热更新
{
for (int i = Nature.begin.ordinal() + 1; i < Nature.values().length; ++i)
{
customNatureCollector.add(Nature.values()[i]);
}
}
IOUtil.writeCustomNature(out, customNatureCollector);
// 缓存正文
out.writeInt(attributeList.size());
for (CoreDictionary.Attribute attribute : attributeList)
{
attribute.save(out);
}
dat.save(out);
out.close();
}
}
catch (FileNotFoundException e)
{
logger.severe("自定义词典" + mainPath + "不存在！" + e);
return false;
}
catch (IOException e)
{
logger.severe("自定义词典" + mainPath + "读取错误！" + e);
return false;
}
catch (Exception e)
{
logger.warning("自定义词典" + mainPath + "缓存失败！\n" + TextUtility.exceptionToString(e));
}
return true;
}
网友评论