敏感词查找,验证,过滤和替换
FindAll, Validate, Filter and Replace words.
新增分支Aho-Corasick以支持AC自动机
package main import ( "fmt" "github.com/importcjj/sensitive" ) func main() { filter := sensitive.New() filter.LoadWordDict("path/to/dict") // Do something }
添加敏感词
filter.AddWord("垃圾")
把词语中的字符替换成指定的字符,这里的字符指的是rune字符,比如*就是'*'。
filter.Replace("这篇文章真的好垃圾", '*') // output => 这篇文章真的好**
直接移除词语
filter.Filter("这篇文章真的好垃圾啊") // output => 这篇文章真的好啊
查找并返回第一个敏感词,如果没有则返回false
filter.FindIn("这篇文章真的好垃圾") // output => true, 垃圾
验证内容是否ok,如果含有敏感词,则返回false和第一个敏感词。
filter.Validate("这篇文章真的好垃圾") // output => false, 垃圾
查找内容中的全部敏感词,以数组返回。
filter.FindAll("这篇文章真的好垃圾") // output => [垃圾]
加载网络词库。
filter.LoadNetWordDict("https://raw.githubusercontent.com/importcjj/sensitive/master/dict/dict.txt")
设置噪音模式,排除噪音字符。
// failed filter.FindIn("这篇文章真的好垃x圾") // false filter.UpdateNoisePattern(`x`) // success filter.FindIn("这篇文章真的好垃x圾") // true, 垃圾 filter.Validate("这篇文章真的好垃x圾") // False, 垃圾