这个是很实用的功能，很多时候聊天都会有敏感词过滤。有的时候发文有敏感词发都不让发，所以说用的地方还是挺多的。然后下面说下java实现的思路，与代码实现。
这里所谓的敏感词过滤有多种表现形式：
1. 用户发了一段文字，判断有没有敏感词。有的话提示有敏感词，不让提交。
2. 用户发了一段文字，判断有没有敏感词并找出敏感词汇，返回给用户。不让提交。
3. 用户发了一段文字，判断有没有敏感词，有敏感词的话把敏感词用*替换。可以提交。
当然了，我这里其实第一种就是偷懒的办法，对用户不友好，虽然确实写着简单但是不建议这么做。那么剩下的就是2,3两种方式了。
然后说一下实现的思路：我之前查了一会儿，这个敏感词汇对于不同的软件来说是不一样的，所以我就在git上找了一个敏感词词汇的整理文件。地址如下:
https://github.com/chason777777/mgck/archive/master.zip
这里还有个很好玩的事，就是我不是习惯什么资源都传到群里便于以后使用嘛。。然后我这个文件就传不上去。。。附上截图：
qq拦截了，不让我上传
哈哈，这个也算是敏感词拦截的一个例子了吧？继续往下说。
其实这个实现起来很方便，jar都不用引入，就是一个算法而已。
然后我这里简单说下思路：
- 把这些词汇整理一下存在一个项目可以获取到的地方。不管是properties文件里还是外部确定位置的文件，甚至我之前看的demo就是放在数据库的，开心就好，这个都随便。
- 把这些词汇存到一个set中，然后构建DFA算法模型。这个的代码也不算很复杂，我感觉有点类似于前缀树。但是这个不是重点，照抄代码就行了。
我这里是用指定位置的配置文件的形式来实现的。这样修改起来也比较方便。直接贴代码：
/**
* 敏感词过滤工具类
* @author lsj
*
*/
import java.io.FileInputStream;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
@SuppressWarnings({ "unchecked", "rawtypes" })
public class SensitiveFilterUtil {
/**
* 敏感词集合
*/
public static HashMap sensitiveWordMap;
/**
* 初始化敏感词库,构建DFA算法模型
*/
public static void initContext() {
HashSet<String> set = new HashSet<String>();
try {
//获取敏感词文件
Workbook workbook = new XSSFWorkbook(new FileInputStream("D:\\ty-logistics\\敏感词库表统计.xlsx"));
// 获取第一个张表
Sheet sheet = workbook.getSheetAt(0);
// 获取每行中的字段
for (int j = 1; j <= sheet.getLastRowNum(); j++) {
Row row = sheet.getRow(j); // 获取行
if (row == null) {// 略过空行
continue;
} else {
if(row.getCell(2)!=null) set.add(row.getCell(2).getStringCellValue());
}
}
initSensitiveWordMap(set);
} catch (Exception e) {
System.out.println("<<<<<<解析敏感词文件报错！");
e.printStackTrace();
}
}
/**
* 初始化敏感词库,构建DFA算法模型
*
* @param sensitiveWordSet 敏感词库
*/
private static void initSensitiveWordMap(Set<String> sensitiveWordSet) {
//初始化敏感词容器,减少扩容操作
sensitiveWordMap = new HashMap<String,String>(sensitiveWordSet.size());
Map<Object,Object> temp;
Map<Object,Object> newWorMap;
//遍历sensitiveWordSet
for(String key:sensitiveWordSet) {
temp = sensitiveWordMap;
for (int i = 0; i < key.length(); i++) {
//转换成char型
char keyChar = key.charAt(i);
//库中获取关键字
Object wordMap = temp.get(keyChar);
//如果存在该key,直接赋值,用于下一个循环获取
if (wordMap != null) {
temp = (Map) wordMap;
} else {
//不存在则,则构建一个map,同时将isEnd设置为0,因为他不是最后一个
newWorMap = new HashMap<>();
//不是最后一个
newWorMap.put("isEnd", "0");
temp.put(keyChar, newWorMap);
temp = newWorMap;
}
//最后一个
if (i == key.length() - 1) temp.put("isEnd", "1");
}
}
}
/**
* 判断文字是否包含敏感字符
*
* 文本
*
* 若包含返回true,否则返回false
*/
public static boolean contains(String txt) {
boolean flag = false;
for (int i = 0; i < txt.length(); i++) {
int matchFlag = checkSensitiveWord(txt, i); //判断是否包含敏感字符
if (matchFlag > 0) {//大于0存在,返回true
flag = true;
}
}
return flag;
}
/**
* 检查文字中是否包含敏感字符,检查规则如下:
*
* @param txt
* @param beginIndex
* @param matchType
* @return 如果存在,则返回敏感词字符的长度,不存在返回0
*/
private static int checkSensitiveWord(String txt, int beginIndex) {
//敏感词结束标识位:用于敏感词只有1位的情况
boolean flag = false;
//匹配标识数默认为0
int matchFlag = 0;
char word;
Map nowMap = sensitiveWordMap;
for (int i = beginIndex; i < txt.length(); i++) {
word = txt.charAt(i);
//获取指定key
nowMap = (Map) nowMap.get(word);
if (nowMap != null) {//存在,则判断是否为最后一个
//找到相应key,匹配标识+1
matchFlag++;
//如果为最后一个匹配规则,结束循环,返回匹配标识数
if ("1".equals(nowMap.get("isEnd"))) {
//结束标志位为true
flag = true;
}
} else {//不存在,直接返回
break;
}
}
if (matchFlag < 2 || !flag) {//长度必须大于等于1,为词
matchFlag = 0;
}
return matchFlag;
}
/**
* 获取文字中的敏感词
*
* txt文字
*
*
*/
public static List getSensitiveWord(String txt) {
List sensitiveWordList = new ArrayList();
for (int i = 0; i < txt.length(); i++) {
//判断是否包含敏感字符
int length = checkSensitiveWord(txt, i);
if (length > 0) {//存在,加入list中
sensitiveWordList.add(txt.substring(i, i + length));
i = i + length - 1;//减1的原因,是因为for会自增
}
}
return sensitiveWordList;
}
/**
* context是要校验的内容。返回结果是list，为空说明没有敏感词
* @param context
* @return
*/
public static List checkTxt(String context) {
initContext();
//包含敏感词返回所有敏感词数据
return getSensitiveWord(context);
}
public static void main(String[] args){
System.out.println(checkTxt("卖淫嫖娼杀人犯法共产党国民党法轮大法"));
}
}
然后简单说下我这里的代码逻辑，首先获取敏感词，然后敏感词建模型。这里还有一个方法是判断有没有敏感词，是我网上的帖子上的内容，我觉得没啥必要所以没用。直接就判断有没有敏感词。
真正使用的时候调用checkTxt方法就行了。
然后我参考的那个帖子的代码比我这个复杂，有什么最小匹配原则最大匹配原则，虽然代码中没啥实用性（不是我吐槽，真的最小原则都没用过），然后还有那个技术贴是用的数据库存储的方式。一会儿在最后我会贴传送门。
另外之前说的不是拦截，而且换成**的实现，在这个基础上变一下就行了。
获取了所有的敏感词。在原文中用replace全部替换一遍。然后返回context就ok了，因为我这里不需要所以没做。
附上我参考的帖子地址：https://blog.csdn.net/qq_40838030/article/details/82625910
本篇笔记就记到这里，如果稍微帮到你了记得点个喜欢点个关注，如果我上文说的有什么不清楚或者有什么问题欢迎留言或者私聊探讨。另外也祝大家工作顺顺利利吧！周末愉快~
网友评论