开放式中文实体关系抽取研究

哈工大社会计算与信息检索研究中心

开放式中文实体关系抽取研究

导师：秦兵教授学生：刘安安

日期： 2013 年 6 月 27 日

哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心

大纲绪论面向句子级的开放式实体关系抽取面向互联网的开放式实体关系抽取开放式实体关系类型体系自动构建结论


绪论问题的提出

预先定义关系类型局限性人工定义，类型少，限定域，移植性差

实体关系往往由上下文中的关系指示词描述关系指示词主要是动词和名词

此次爱丽丝的身边多了一位女战士，就是华人女星李冰冰饰演的艾达 · 王。

媒体试图联系徐妈妈求证，但电话一直处于人工秘书台状态，汪小菲妈妈张兰也始终拒接电话。

三元组识别 ( 李冰冰，饰演，艾达 · 王 ) ( 汪小菲，妈妈，张兰 )

Open IE


绪论

研究内容

第 2 章面向句子的开放式中文实

体关系抽取

第 3 章面向互联网的开放式中文实

体关系抽取

第 4 章关系类型体系自动构建关系类型

体系

大规模网络文本句子

关系三元组

第 5 章开放式关系抽取平台


面向句子级的开放式实体关系抽取基于有指导的机器学习方法

语料预处理语料分析先识别实体对的方法先识别关系指示词的方法


基于有指导的机器学习方法 (1)

语料以及预处理 Ontonotes4.0 中选取 1000 篇文本

分词、命名实体、共指关系、实体关系使用 ltp 工具对其进行词性标注正例 ( 包含关系的实体对 )3656 个，反例 ( 不包含关系 )95401

个过滤反例

利用共指关系如果两个实体存在共指，那么这两个实体不存在实体关系

正例 3656 个，反例 86323 个



语料分析 93.6% 的关系实例存在关系指示词

使用三元组来描述一个关系实例是可行的其中大部分关系指示词在两个实体中间或者右边

占有关系指示词实例的 95.94% 哈尔滨工业大学 <ORG> 校长 <relation_word> 王树国 <PER> 。梁朝伟 <PER> 是刘嘉玲 <PER> 的老公 <relation_word> 。

尝试了两种不同的方法先识别实体对的方法先识别关系指示词的方法



先识别实体对的方法最大熵模型判断实体之间是否有关系

特征实体类型

PER, LOC, ORG, TIME 实体的词序列（特征泛化）

Feature( 哈尔滨工业大学 ) = { 哈尔滨，工业，大学 } 实体上下文的词性

CRF 模型识别关系指示词如果实体对存在关系，使用该模型识别关系指示词特征

词、词性、是否是实体


习近平当选为中华人民共和国中央军事委员会主席，与胡锦涛亲切握手。

习近平胡锦涛{ 特征集合 }

中华人民共和国中央军事委员会胡锦涛{ 特征集合 }

实体识别

特征抽取实体对过滤

识别关系指示词

习近平当选为中华人民共和国中央军事委员会主席，与胡锦涛亲切握手。

习近平中华人民共和国中央军事委员会{ 特征集合 }

习近平中华人民共和国中央军事委员会主席

习近平中华人民共和国中央军事委员会{ 特征集合 }



先识别实体对方法的实验结果最大熵模型判断实体之间是否有关系

训练数据不平衡导致正例召回率低 CRF 模型识别关系指示词两步级联后的实验结果

类别准确率

（ % ）

召回率

（ % ）

F 值（ % ）

存在关系 62 21 31

不存在关系 96 99 98评测标准准确率

（ % ）

召回率

（ % ）

F 值（ % ）

标注结果 75.98 72.96 74.44

评测标准准确率

（ % ）

召回率

（ % ）

F 值（ % ）

标注结果 47.10 15.32 23.12



先识别关系指示词的方法直接在实体的上下文中识别关系指示词

如果识别出关系指示词则实体对存在关系如果没有识别出关系指示词则不存在关系

CRF 模型特征和先识别实体对的方法相同



先识别关系指示词方法的实验结果先识别关系指示词的方法比先识别实体对的方法好

先识别关系指示词的方法融合了反例的信息


（ % ）

召回率

（ % ）

F 值

（ % ）

先识别指示词 90.24 46.54 61.41


（ % ）

召回率

（ % ）

F 值

（ % ）

先识别指示词 90.24 46.54 61.41

先识别实体对 47.10 15.32 23.12


面向互联网的开放式实体关系抽取方法来源算法设计实验


方法来源方法的大概思想

关系指示词功能的单一性 “爸爸” => “ 人 - 人” “总裁” => “ 人 - 机构” ……

利用这种特性，把关系指示词找出来


算法设计 (1)

大规模网页

网页正文提取自然语言处理预处理模块

根据限制条件从文本中抽取候选关系三元组

生成候选三元组模块

全局排序和类型排序过滤关系指示词

生成关系指示词词表模块

过滤三元组补全关系指示词

后处理模块

关系三元组


算法设计 (2)

预处理生成候选三元组生成关系指示词词表后处理


预处理网页正文提取自然语言处理

LTP 断句分词词性标注命名实体识别


算法设计预处理生成候选三元组生成关系指示词词表后处理


生成候选三元组 (1)

实体之间的距离限制

0 1 2 3 4 5 6 7 8 9 10111213141516171819202122232425262728293031323334350

0.2

0.4

0.6

0.8

1

(5, 0.7457)

两个实体之间其他词的数目

关系三元组所占比例

候选三元组的两个实体之间词的数目不能超过

maxDistance



实体之间的距离限制

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 270

0.2

0.4

0.6

0.8

1(4, 0.9855)

两个实体之间其他实体数目

关系三元组所占比例

候选三元组的两个实体之间词其他实体数量不能超

过 maxEntityDistance



关系指示词的位置限制实体之间的名词和动词第一个实体左边 leftWordNumber 个名词和动词第二个实体右边 rightWordNumber 个名词和动词

关系指示词的位置关系实例数目（个）比例（ % ）

两个实体之间 3177 75.36

第二个实体右边 609 14.44

第一个实体左边 160 3.80

没有指示词 240 6.40


生成关系指示词词表全局关系指示词排序

信息增益值评判一个词语是否适合作为关系指示词

类型关系指示词排序判断关系指示词指示何种实体对类型之间的关系

过滤关系指示词 topN(全局关系指示词 ) ∩ topK( 类型关系指示词 )


后处理使用关系指示词词表过滤三元组使用句式规则过滤三元组

规则 1 ：双动词结构（肖民找到黎恩）寻妹心切的肖民找到黎恩告诉他自己为恩怜输血的事。

规则 2 ：所有格（钟汉良饰演叶开）钟汉良与饰演叶开的陈楚河就被网友吐槽说 “ 关系微妙

” 。补全关系指示词

王树国担任哈尔滨工业大学校长


实验 (1)

语料来源百度百科 160W 个网页新浪娱乐新闻（ 2008 年 -2012 年）搜狗新闻语料（ 2006 年）搜狗新闻语料 (2012 年 6 月到 7 月 )


实验 (2)

关系指示词词表实体对类型关系指示词词表前 20 个关系指示词

LOC-PER总统选手首相市长名将作家国务卿省长雄鹰舞台笔画

大使诗人科学家物理学家村民数学家国防部长哲学家国王

PER-LOC出生祖籍离开原籍下台率领躬耕生于故里南巡病逝访问回到追悼会流放统一全家遗体走遍来到

ORG-PER主任书记局长所长秘书长董事长院长部长会长主席司长委员长总经理总裁研究员执行官科室理事长校长

总工程师

PER-ORG现任担任做客调任哀思代表考入致辞出任考上毕业当选母校杀人案考取辞去加入兼任受聘主持

PER-PER妻子儿子女儿饰演弟弟丈夫扮演哥哥妹妹遗孀女友

母亲夫人父亲扮演者神似好友男友女婿长子


实验 (2)

从文本中抽取的三元组

实体对类型关系三元组句子

LOC-PER

香港导演严浩能说双语的香港著名导演严浩也积极加盟。

美国总统奥巴马涨工资后，他的年薪是美国总统奥巴马的 5

倍。

PER-LOC

佟铁鑫出生辽宁锦州男中音歌唱家佟铁鑫出生于辽宁锦州的一个

音乐世家。

秦始皇统一中国秦始皇统一中国后，置齐地东部为琅琊郡，

郡驻地在今天的琅琊镇。

ORG-PER

英特尔公关经理牛大鹏英特尔公关经理牛大鹏并没有正面确认该信

息。

腾讯董事长马化腾昨天，腾讯董事长马化腾在其微博上直接表

态，重申腾讯不会做手机。

PER-ORG

林茨效力布拉加队林茨目前效力于布拉加队，本赛季中前期表

现出色。

李开复担任院长微软亚洲研究院上世纪 90 年代末 , 李开复曾担任微软亚洲研

究院首任院长。

PER-PER

李冰冰妹妹李雪李冰冰为妹妹李雪补办婚礼。

奥多姆经纪人杰夫﹒施瓦茨小牛已经给了奥多姆的经纪人杰夫﹒施瓦茨

充分的自由去为奥多姆寻求下家。


实验 (3)

实验设置 UnCORE

完整的系统 UnCORE-post

UnCORE除去句式规则过滤和补全关系指示词两个步骤后的系统


实验 (4)

实验结果

实体对类型三元组数量准确率 (%)

UnCORE-post UnCORE UnCORE-post UnCORE

LOC-PER 289309 266080 72 78

PER-LOC 178734 110244 37.5 56

ORG-PER 211007 203318 95 99

PER-ORG 31574 18665 39.5 79

PER-PER 76498 35982 61.5 78.5

微平均 68.01 80.97


实验 (5)

正确的三元组数量

LOC-PER PER-LOC ORG-PER PER-ORG PER-PER0

50000

100000

150000

200000

250000

UnCORE-post

UnCORE


实验 (6)

关系指示词数量随语料规模的变化

1 2 3 4 5 6 7 8 9 100

200

400

600

800

1000

1200

1400

1600

PER_PER

PER_ORG

PER_LOC

ORG_PER

LOC_PER

语料规模

关系指示词数量


实验 (7)

三元组数量随语料规模的变化

1 2 3 4 5 6 7 8 9 100

50000

100000

150000

200000

250000

300000

PER_PER

PER_ORG

PER_LOC

ORG_PER

LOC_PER

语料规模

关系三元组数量


实验 (8)

Ontonotes4.0 上的实验结果

抽取方法准确率 (%) 召回率 (%) F 值 (%)

UnCORE 69.19 50.20 58.18

UnCORE-post 77.18 48.55 59.61


开放式实体关系类型体系自动构建算法设计

相似度计算聚类

实验


算法设计 (1)

系统流程

关系指示词词表基于HowNet基于RNN-LM 相似度计算

层次聚类近邻传播关系指示词聚类关系类型体系


算法设计 (2)

相似度计算 HowNet RNN-LM

聚类层次聚类

单连通全连通

近邻传播算法


实验 (1)

实验设置方法相似度计算方法聚类算法

Baseline 无随机HowNet+AP HowNet AP

HowNet+HAC(single link) HowNet HAC(single link)

HowNet+HAC(complete link) HowNet HAC(complete link)

RNN-LM+AP RNN-LM AP

RNN-LM+ HAC(single link) RNN-LM HAC(single link)

RNN-LM+ HAC(complete link) RNN-LM HAC(complete link)


实验 (2)

实验结果方法类别数目纯度 (%) F 值 (%)

baseline 540 91.75 33.43

RNN-LM+AP 266 65.98 44.65

RNN-LM+ HAC(complete link) 230 62.89 41.72

RNN-LM+ HAC(single link) 580 83.51 35.97

HowNet+AP 325 84.54 58.3

HowNet+HAC(complete link) 360 78.35 64.25

HowNet+HAC(single link) 420 85.57 59.37


结论针对句子级的开放式实体关系抽取任务，提出了

有指导的方法针对互联网的开放式实体关系抽取任务，提出了无指导的方法

自动构建关系类型体系，避免了人工参与搭建了开放式实体关系抽取演示系统

面向句子级面向互联网

http://ir.hit.edu.cn/opentms/

http://ir.hit.edu.cn/iknow/index.jsp

开放式中文实体关系抽取研究

Documents

Transcript of 开放式中文实体关系抽取研究

开放 式 中文 实体 关系 抽取 研究

Documents

Transcript of 开放 式 中文 实体 关系 抽取 研究

开放式中文实体关系抽取研究

Transcript of 开放式中文实体关系抽取研究