tensorflow 模型转换至 onnx,推理速度提升约一倍

兼容 TensorFlow 2.x

• 重构分词词性标注实现:深度模型统一分词、词性标注、命名体识别,调用接口不变;去除繁体的支持;去除自定义词典的支持。
• 重构文本纠错,增强了错别字的识别能力。
• 重构情感分类:加入更多语料,基于 RoBERTa tiny 进行微调。
• 其他:所有模型只提供 Infer 接口,不再提供训练接口。

fixed unicode error in python 3

CHANGELOG
修复 v0.2.1 一些 bugs

CHANGELOG

• 优化分词&词性标注算法,更新 python3 的分词和词性标注模型
• 重写了分词&词性标注并行处理方式
• 取消了分词&词性标注的懒加载,默认首次加载
• 修复了一些 bugs,重新组织了代码

ATTENTION! 本版本是最后一个支持 python2.7 的版本,后续版本将不再支持 python2.7

ChangeLog

1. pylint 代码规范化
2. 添加并行分词/词性标注接口
3. bumpversion 管理版本

并行接口

1. 多进程分词

xmnlp.seg_parallel(texts[, hmm=False, n_jobs=-1])

2. 多进程词性标注

xmnlp.tag_parallel(texts[, hmm=False, n_jobs=-1])

更新日志

模型改进

• 将默认的模型压缩方式由gzip转为了bz2,模型空间占用更小
• 优化代码结构,使用Module进行模块的统一管理
• 重写了checker的实现方式,新版本更关注词的拼写检查
• 修复了分词/词性标注若干bug
• 兼容windows
• 去除类调用方式仅保留简洁的单例模块调用方式

新增功能

• 新增偏旁部首功能
• 支持pip安装 pip install xmnlp

训练语料地址

百度网盘