该代码方法用到了开源工具Hanlp,和官方的预训练模型bert-base-chinese。

项目目录结构如下:

其中expirement_attr、expirement_er和expirement_re三个文件夹下分别是做评测过程中进行的一些相关实验,data文件夹下存放的评测数据。

通过Hanlp实体识别工具,抽取"人物"和"机构"两种类型的实体。

通过规则,抽取"研报","文章","风险"," 机构"四种类型的实体。

除了规则匹配外,还可以采用远程监督的方法,主要用于抽取研报中的实体,具体流程如下图所示:

1.使用规则和外部工具抽取一部分实体

2.将原始数据平均分成两半,一半用于训练,一半用于测试,对用于训练的一半数据使用远程监督进行标注

3.采用将远程监督方法标注的数据按4:1划分,分别作为训练和验证集,训练模型

4.使用上一步训练出的模型在测试集上进行预测,抽取出一部分实体

5.查看是否达到中止循环的条件,达到条件后中止

6.通过规则匹配的方法筛选掉一些实体,剩下的实体加入种子知识图谱,然后从第2步开始,重复上一次训练,迭代进行实体抽取

使用规则匹配的抽取方法

使用规则匹配的抽取方法

需要先安装python3.7和pytorch1.3

然后需要使用以下命令安装相关依赖库:

pip install jieba
pip install hanlp
pip install pytorch_pretrained_bert

使用如下命令启动程序:

python main.py

最终结果存放在

output文件夹下,名称为answers.json