问答平台（3），过滤敏感词

前缀树

示意图

- 名称：Trie、字典树、查找树
- 特点：查找效率高，消耗内存大
- 应用：字符串检索、词频统计、字符串排序等

工具类

敏感词过滤器，SensitiveFilter

• 定义前缀树

  // 前缀树（内部类）
  private class TrieNode {
  
      // 关键词结束标识
      private boolean isKeywordEnd = false;
  
      // 子节点(key是下级字符, value是下级节点)
      private Map<Character, TrieNode> subNodes = new HashMap<>();
  
      public boolean isKeywordEnd() {
          return isKeywordEnd;
      }
  
      public void setKeywordEnd(boolean keywordEnd) {
          isKeywordEnd = keywordEnd;
      }
  
      // 添加子节点
      public void addSubNode(Character ch, TrieNode node) {
          subNodes.put(ch, node);
      }
  
      // 获取子节点
      public TrieNode getSubNode(Character ch) {
          return subNodes.get(ch);
      }
  }

• 根据敏感词，初始化前缀树

  private static final Logger logger = LoggerFactory.getLogger(SensitiveFilter.class);
  
  // 替换符
  private static final String REPLACEMENT = "***";
  
  // 根节点
  private TrieNode rootNode = new TrieNode();
  
  @PostConstruct
  public void init() {
      try (
              // this.getClass().getClassLoader(): target -> classes目录下找配置文件
              InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive-words.txt");
              BufferedReader reader = new BufferedReader(new InputStreamReader(is));
      ) {
          String keyword;
          while ((keyword = reader.readLine()) != null) {
              // 添加到前缀树
              this.addKeyword(keyword);
          }
      } catch (IOException e) {
          logger.error("加载敏感词文件失败: " + e.getMessage());
      }
  }
  // 将一个敏感词，添加到前缀树中
  private void addKeyword(String keyword) {
      TrieNode tempNode = rootNode;
      for (int i = 0; i < keyword.length(); i++) {
          char ch = keyword.charAt(i);
          TrieNode subNode = tempNode.getSubNode(ch);
  
          if (subNode == null) {
              // 初始化子节点
              subNode = new TrieNode();
              tempNode.addSubNode(ch, subNode);
          }
  
          // 指向子节点，进入下一轮循环
          tempNode = subNode;
  
          // 设置结束标识
          if (i == keyword.length() - 1) {
              tempNode.setKeywordEnd(true);
          }
      }
  }

• 编写过滤敏感词的方法

  /**
  * 过滤敏感词
  *
  * @param text 待过滤的文本
  * @return 过滤后的文本
  */
  public String filter(String text) {
      if (StringUtils.isBlank(text)) {
          return null;
      }
  
      // 指针1
      TrieNode tempNode = rootNode;
      // 指针2
      int begin = 0;
      // 指针3
      int position = 0;
      // 结果
      StringBuilder sb = new StringBuilder();
  
      while (position < text.length()) {
          char ch = text.charAt(position);
  
          // 跳过符号
          if (isSymbol(ch)) {
              // 若指针1位于根节点，将此符号计入结果，让指针2向下走一步
              if (tempNode == rootNode) {
                  sb.append(ch);
                  begin++;
              }
              // 无论符号在开头或中间，指针3都向下走一步
              position++;
              continue;
          }
  
          // 检查下级节点
          tempNode = tempNode.getSubNode(ch);
          if (tempNode == null) {
              // 以beigin开头的字符串，不是敏感词
              sb.append(text.charAt(begin));
              // 进入下一个位置
              position = ++begin;
              // 重新指向根节点
              tempNode = rootNode;
          } else if (tempNode.isKeywordEnd()) {
              // 发现敏感词，将begin-position字符串替换掉
              sb.append(REPLACEMENT);
              // 进入下一个位置
              begin = ++position;
              // 重新指向根节点
              tempNode = rootNode;
          } else {
              // 检查下一个字符
              position++;
          }
      }
  
      // 将最后一批字符计入结果
      sb.append(text.substring(begin));
  
      return sb.toString();
  }
  // 判断是否为符号
  private boolean isSymbol(Character ch) {
      // 0x2e80~0x9fff，是东亚文字范围
      return !CharUtils.isAsciiAlphanumeric(ch) && (ch < 0x2e80 || ch > 0x9fff);
  }

---

测试类

• SensitiveTests

  略

---

参考博客

• https://www.cnblogs.com/yadongliang/p/7920053.html