织梦网站后台如何做百度优化,天一建设网站,如何制作个人作品网站,wordpress 移动站插件目录 基础知识知识图谱补全概念性能指标 一、翻译模型的知识图谱补全1.TransE2.TransH3.RotatE 二、张量分解的知识补全1.RESCAL2.ComplEx 三、神经网络的知识图谱补全1.卷积神经网络CNN#xff08;一般用于二维图像处理#xff09;ConvE 2.循环神经网络RNN3.图神经网络GNN1一般用于二维图像处理ConvE 2.循环神经网络RNN3.图神经网络GNN1GCN2R-GCN3TransGCN 四、新型知识图谱补全比较难1.胶囊网络的知识图谱补全不太懂2.元学习的知识图谱补全少样本、冷启动3.语言模型的知识补全没看不会 基础知识
三元组(实体关系实体)h,r,t例如河南位于中国是一个完整的三元组
知识图谱补全概念
相当于先给你训练集一堆完整的三元组让你训练你的模型优化里面参数然后用验证集一般是完整的三元组让你稍微修改下避免过拟合的情况。最后测试集不完整的训练集要么少 r 要么少 t 看你能不能输出好的结果好的性能。 比如测试集是h , r , ?你给出的不是确定的 t 而是一串 t ,按照可能性大小排列。 正确答案是 西瓜 你的系统给出的答案是桃子苹果西瓜…这种的
性能指标
Mean Rank (MR)平均排名 对于每个测试三元组 (h, r, t)计算模型预测的正确实体在所有候选实体中的排名然后取所有测试三元组的平均值。
HitsK前K命中率 定义对于每个测试三元组 (h, r, t)如果正确实体出现在模型预测的前K个候选实体中则计为命中。HitsK 表示命中次数占总测试三元组的比例。
Mean Reciprocal Rank (MRR)平均倒数排名 定义计算每个测试三元组的正确实体排名的倒数然后取所有测试三元组的平均值。
知识图谱补全常用方法 一、翻译模型的知识图谱补全
1.TransE
将三元组中h,r,t中实体与关系转化为向量嵌入连续的距离空间中。不断修改实体与关系转化的向量将正确的三元组hr和t的值接近错误的三元组hr和t的值差距变大。从而判断三元组是否成立。 最基础的 hr≈t。 缺点不能应对一对多多对一的关系
2.TransH
假设一个超平面每个关系 r对应一个特定的超平面头实体 h 和尾实体 t 需要在该超平面上进行投影。hrr≈tr 特点可以应对一对多多对一的关系。但是计算开销大无法捕捉更复杂的语义信息。
3.RotatE
每个关系r都是不同的旋转角度h通过旋转特定角度r与t重合则三元组正确。
特点可以应对多对多关系可以应对对称性、反演性和组合性等复杂关系。但是计算复杂度较高且不易解释。 二、张量分解的知识补全
简单理解为将三元组转化为高阶张量实体和关系转化为低阶张量如果低阶张量的计算结果等于某种特定高阶张量则三元组成立反之则不成立。
1.RESCAL
三元组 (h,r,t)表示为矩阵乘法的形式假设头实体 h 和尾实体 t 的向量表示通过关系 r 的矩阵变换可以得到1。
特点可以处理多对多关系可以处理复杂的知识图谱。但是随着关系增多计算量变大表示的关系更难直观理解。
2.ComplEx
将实体和关系表示为复数向量ComplEx 定义一个评分函数来判断该三元组是否成立。
如果评分值较高则认为三元组 (h,r,t)(h,r,t) 可能成立。 如果评分值较低则认为三元组可能不成立。 特点可以实现对称性、反演性和组合性等复杂关系参数效率高。但是计算成本高表达不如实数空间直观。 三、神经网络的知识图谱补全
1.卷积神经网络CNN一般用于二维图像处理
不同的卷积神经网络将三元组进行不同的拆分重组为二维数组进行卷积特征提取最后得出三元组是否正确。
ConvE
实体和关系的嵌入表示输入到卷积层中提取局部特征并生成预测结果从而有效地捕捉实体和关系之间的复杂交互模式。 将h和r嵌入向量拼成一个二维矩阵全连接层计算所有可能尾实体 t 的得分选择得分最高的作为预测结果。 特点卷积神经网络可以学习到实体和关系的高维特征表示在处理复杂的实体和关系类型、推理方面具有优势。但是卷积神经网络在知识图谱数据的稀疏性和长尾实体、关系的问题而且在处理图结构数据时会受到空间局部性限制。
2.循环神经网络RNN
循环神经网络适用于处理一维数据比如文字、自然语言处理、路径信息等。不太适合知识图谱补全的任务因此循环神经网络用的不多。
3.图神经网络GNN
适合处理稀疏矩阵或者节点之间关系突破了卷积神经网络的局限性。
1GCN
通过消息传递机制聚合节点的邻居信息。每个节点从其邻居节点接收信息然后节点根据接收到的信息更新自身的特征表示。每个节点的特征是其邻居节点特征的加权平均值经过线性变换和非线性激活后得到。 特点过消息传递机制GCN 能够有效捕获节点的邻居信息并将其传播到整个图中。能够直接处理图结构数据适用于节点分类、链接预测、图分类等多种任务。可以扩展到大规模图数据并且可以通过变体模型如 GAT、GraphSAGE进一步提升性能。但是性能高度依赖于图的结构信息训练过程可能涉及稀疏矩阵操作计算成本较高层数过多节点特征可能会因为过度传播而变得相似导致“过平滑”问题。
2R-GCN
基于GCN将不同的关系使用不同的计算矩阵捕捉不同类型关系的特征聚合不同类型邻居的信息生成节点的新特征。 特点为每种关系类型分配独立的权重矩阵从而捕捉不同类型关系的特征。通过聚合来自不同类型邻居的信息能够有效地传播特征并更新节点表示。可以通过变体模型如注意力机制进一步提升性能。但是每种关系都需要独立的权重矩阵增加计算的工作量。如果计算稀疏矩阵成本较高。
3TransGCN
结合了Trans系列模型和图神经网络。先使用Trans模型将实体与关系生成向量再使用GCN将消息传递周围节点。每个节点会从它的邻居节点那里获取信息并更新自己的特征。最后计算评分函数如果头实体加关系接近尾实体得分就越高。 特点强大的关系建模能力、高效的图结构建模、可扩展性强。但是计算复杂度较高、参数数量增加、训练难度较大。 下面图不重要主要是为了凑点图好看理解模型大概思路就行谁闲着没事天天一点点把模型全看懂 四、新型知识图谱补全比较难
1.胶囊网络的知识图谱补全不太懂
每个实体关系都加入了新的属性、信息叫胶囊然后通过动态路由通过GCN这种传递周围节点最后评估三年元组是否成立。
2.元学习的知识图谱补全少样本、冷启动
类似于提前用相关但不直接的知识训练然后用少量或者不用直接数据训练直接进行判断。
3.语言模型的知识补全没看不会 文章转载自： http://www.morning.rongxiaoman.com.gov.cn.rongxiaoman.com http://www.morning.rdmn.cn.gov.cn.rdmn.cn http://www.morning.fdxhk.cn.gov.cn.fdxhk.cn http://www.morning.bojkosvit.com.gov.cn.bojkosvit.com http://www.morning.fglzk.cn.gov.cn.fglzk.cn http://www.morning.nba1on1.com.gov.cn.nba1on1.com http://www.morning.ktsth.cn.gov.cn.ktsth.cn http://www.morning.fstdf.cn.gov.cn.fstdf.cn http://www.morning.gbhsz.cn.gov.cn.gbhsz.cn http://www.morning.gmgyt.cn.gov.cn.gmgyt.cn http://www.morning.rcjqgy.com.gov.cn.rcjqgy.com http://www.morning.xnflx.cn.gov.cn.xnflx.cn http://www.morning.jykzy.cn.gov.cn.jykzy.cn http://www.morning.zcqgf.cn.gov.cn.zcqgf.cn http://www.morning.bhwll.cn.gov.cn.bhwll.cn http://www.morning.flxgx.cn.gov.cn.flxgx.cn http://www.morning.trtxt.cn.gov.cn.trtxt.cn http://www.morning.thwhn.cn.gov.cn.thwhn.cn http://www.morning.qrmyd.cn.gov.cn.qrmyd.cn http://www.morning.bsghk.cn.gov.cn.bsghk.cn http://www.morning.nypgb.cn.gov.cn.nypgb.cn http://www.morning.lkjzz.cn.gov.cn.lkjzz.cn http://www.morning.rqmqr.cn.gov.cn.rqmqr.cn http://www.morning.fbccx.cn.gov.cn.fbccx.cn http://www.morning.snkry.cn.gov.cn.snkry.cn http://www.morning.rlsd.cn.gov.cn.rlsd.cn http://www.morning.jmwrj.cn.gov.cn.jmwrj.cn http://www.morning.qypjk.cn.gov.cn.qypjk.cn http://www.morning.pbpcj.cn.gov.cn.pbpcj.cn http://www.morning.ckhpg.cn.gov.cn.ckhpg.cn http://www.morning.nfks.cn.gov.cn.nfks.cn http://www.morning.gnjtg.cn.gov.cn.gnjtg.cn http://www.morning.bzlsf.cn.gov.cn.bzlsf.cn http://www.morning.rkfgx.cn.gov.cn.rkfgx.cn http://www.morning.nlygm.cn.gov.cn.nlygm.cn http://www.morning.fnxzk.cn.gov.cn.fnxzk.cn http://www.morning.kqyyq.cn.gov.cn.kqyyq.cn http://www.morning.ydhck.cn.gov.cn.ydhck.cn http://www.morning.gjlml.cn.gov.cn.gjlml.cn http://www.morning.ygwyt.cn.gov.cn.ygwyt.cn http://www.morning.nlgmr.cn.gov.cn.nlgmr.cn http://www.morning.npqps.cn.gov.cn.npqps.cn http://www.morning.qrzqd.cn.gov.cn.qrzqd.cn http://www.morning.nbqwr.cn.gov.cn.nbqwr.cn http://www.morning.sbkb.cn.gov.cn.sbkb.cn http://www.morning.bdqpl.cn.gov.cn.bdqpl.cn http://www.morning.ydrn.cn.gov.cn.ydrn.cn http://www.morning.okiner.com.gov.cn.okiner.com http://www.morning.ytbr.cn.gov.cn.ytbr.cn http://www.morning.nmlpp.cn.gov.cn.nmlpp.cn http://www.morning.nkjnr.cn.gov.cn.nkjnr.cn http://www.morning.fykqh.cn.gov.cn.fykqh.cn http://www.morning.pzrnf.cn.gov.cn.pzrnf.cn http://www.morning.dhqg.cn.gov.cn.dhqg.cn http://www.morning.yqwrj.cn.gov.cn.yqwrj.cn http://www.morning.wnywk.cn.gov.cn.wnywk.cn http://www.morning.mmjyk.cn.gov.cn.mmjyk.cn http://www.morning.frtt.cn.gov.cn.frtt.cn http://www.morning.clpkp.cn.gov.cn.clpkp.cn http://www.morning.gl-group.cn.gov.cn.gl-group.cn http://www.morning.skcmt.cn.gov.cn.skcmt.cn http://www.morning.lydtr.cn.gov.cn.lydtr.cn http://www.morning.rysmn.cn.gov.cn.rysmn.cn http://www.morning.jpydf.cn.gov.cn.jpydf.cn http://www.morning.rmyt.cn.gov.cn.rmyt.cn http://www.morning.jbtwq.cn.gov.cn.jbtwq.cn http://www.morning.cwgfq.cn.gov.cn.cwgfq.cn http://www.morning.lmjkn.cn.gov.cn.lmjkn.cn http://www.morning.wkrkb.cn.gov.cn.wkrkb.cn http://www.morning.bzpwh.cn.gov.cn.bzpwh.cn http://www.morning.wcft.cn.gov.cn.wcft.cn http://www.morning.dgwrz.cn.gov.cn.dgwrz.cn http://www.morning.kgsws.cn.gov.cn.kgsws.cn http://www.morning.fgrcd.cn.gov.cn.fgrcd.cn http://www.morning.qptbn.cn.gov.cn.qptbn.cn http://www.morning.ylrxd.cn.gov.cn.ylrxd.cn http://www.morning.ynlbj.cn.gov.cn.ynlbj.cn http://www.morning.c7512.cn.gov.cn.c7512.cn http://www.morning.wjlbb.cn.gov.cn.wjlbb.cn http://www.morning.mnjyf.cn.gov.cn.mnjyf.cn
