基于词典的敏感词过滤程序

程序敏感词词典使用Trie树存储, 提供HTTP API访问

go get github.com/huayuego/wordfilter
cd $GOPATH/src/github.com/huayuego/wordfilter/service
// 启动HTTP服务
go run main.go 127.0.0.1:8080

然后访问 http://127.0.0.1:8080/v1/query?q=文本内容

输入一段文本,返回敏感词及敏感词替换为*号后的文本

• Request: /v1/query
• Request Method: GET or POST
• Params:

• Response:

{
 "code": 1,
 "error": "", // 当code=0时,返回的错误消息
 "keywords": ["k1","k2"], //敏感词
 "text": "" //将敏感词替换为*号后的文本
}

添加一组敏感词

• Request: /v1/black_words
• Request Method: POST
• Params:

• Response:

{
 "code": 1,
 "error": "", // 当code=0时,返回的错误消息
}

删除一组敏感词

• Request: /v1/black_words
• Request Method: DELETE
• Params:

• Response:

{
 "code": 1,
 "error": "", // 当code=0时,返回的错误消息
}

• Request: /v1/black_words
• Request Method: GET
• Response:

陪睡
陪聊

• Request: /v1/white_prefix_words
• Request Method: POST
• Params:

• Response:

{
 "code": 1,
 "error": "", // 当code=0时,返回的错误消息
}

• Request: /v1/white_suffix_words
• Request Method: POST
• Params:

• Response:

{
 "code": 1,
 "error": "", // 当code=0时,返回的错误消息
}

• Request: /v1/white_prefix_words
• Request Method: GET
• Response:

路口
司机

• Request: /v1/white_suffix_words
• Request Method: GET
• Response:

路口
司机

敏感词词库在 dicts 目录里 每个敏感词独立一行。

• dicts/black/default 默认载入的敏感词词典

• dicts/black/exclude 默认载入的敏感词词典中需要删除的字词 如black/default中有"情色", 在black/exclude中也有"情色", 则表示排除掉了"情色"这个词,不会过滤这个词了

• dicts/white 白名单

• dicts/white/prefix 白名单(前缀)

• dicts/white/suffix 白名单(后缀)

  对于敏感词 "口交","机8", 如果原文是 "xx路口交通事故", "阿司机82岁" 之类的,会误判 故,需要建议白名单机制: 在prefix/default.txt中写 "司机", 在suffix/default.txt中写 "交通事故" 就能解决此问题