这是一个分享于 的项目,其中的信息可能已经有所发展或是发生改变。
Go 语言高效分词, 支持英文、中文、日文等
[词典](https://github.com/go-ego/gse/blob/master/dictionary.go)用双数组trie(Double-Array Trie)实现, [分词器](https://github.com/go-ego/gse/blob/master/segmenter.go)算法为基于词频的最短路径加动态规划。
支持普通和搜索引擎两种分词模式,支持用户词典、词性标注,可运行[JSON RPC服务](https://github.com/go-ego/gse/blob/master/server/server.go)。
分词速度[单线程](https://github.com/go-ego/gse/blob/master/tools/benchmark.go)9MB/s,[goroutines并发](https://github.com/go-ego/gse/blob/master/tools/goroutines.go)42MB/s(8核Macbook Pro)。
To create a new gse application
To run the application we just created, you can navigate to the application folder and execute:
4264 次点击
添加一条新回复
(您需要 后才能回复 没有账号 ?)
- 请尽量让自己的回复能够对别人有帮助
- 支持 Markdown 格式, **粗体**、~~删除线~~、
`单行代码` - 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
- 图片支持拖拽、截图粘贴等方式上传