基于知识图谱和图卷积神经网络的应用和开发

本文概述：

1。图形卷积背景和基本框架1.1图算法简介

我们都知道，在数据结构中，图是一种基本且常用的结构。现实世界中的许多场景都可以抽象成图形结构，例如用户与社交网络，运输网络和电子商务网站中的项目之间的关系。

当前，关于图形算法，通常请参考：

1.2深度学习简介

深度学习技术为计算机视觉（面部识别），语音识别，自然语言处理，强化学习（Alphago）和其他领域做出了重要贡献。如此重要的技术，深度学习具有三个主要特征：

什么是欧几里得空间数据？在学习数学的过程中，我们经常使用一维坐标，二维坐标，三维坐标，甚至多维坐标来指示数据在哪里。数据之间的“距离”可以在二维坐标中轻松找到。它反映出表达数据的“三维结构”可以轻松地反映在三维坐标中，即欧几里得空间数据。例如，图像是二维数据，可以用XY坐标表示。语音数据是一维数据，这是时间数据，并且随着时间的推移具有相应的信息。自然语言处理也可以使用二维坐标来表示它。 GO也是二维坐标。

1.3图形结构数据

在深度学习处理的数据类型中，大多数数据可以通过欧几里得空间转换，并将数据投影到坐标轴上。但是在现实生活中，有许多数据不能简单地通过欧几里得结构来表达。例如，在社交网络上，我们都使用微信，人们将通过微信加入朋友。我们将每个人视为一个节点，而人之间形成的友谊关系将形成图形。 。在此图中，没有距离信息或空间信息。这是一个非欧国人的空间结构信息。那么如何培训这些结构信息？在以前的深度学习模型（例如CNN，RNN等）中，这种数据学习无法完成，因此已经出现了图形卷积技术来解决此类数据的困难问题。

现实生活中的非欧国人数据是什么？例如：

上面提到的示例在深度学习中使用CNN和RNN来处理这些非欧几里得结构数据并不是很有效，因此我们建议使用图形卷积网络（GCN）。

1.4图卷积发展的历史

关于图形卷积的发展历史，我们从两行谈论它。第一行是“空间域”，也称为真实域（空间方法），第二行是“频域”（光谱方法）。频域和真实域可以通过傅立叶变换相互转换。

在2005年，Gori等人。提出了GCN的基本概念。由于CNN刚刚于1998年提出，CNN在2005年非常受欢迎，因此科学家并未专注于GCN的基本概念。经过十年的发展，提议CNN团队的科学家Bruna发现，使用现有网络不能很好地处理非欧国人数据，因此他建议将GCN应用于频谱上以转换Spectrum上的原始实际域数据在频谱上，进行CNN深度学习卷积，发现效果是好的。但是在2015年，缺乏理论支持。直到2016年，相关科学家Defferrard和其他人提出了一些理论支持，解释了GCN为何在分类方面取得了良好的结果，因为科学家证明了GCN从频谱中的可控性。同时，2016年，Li等人。在实际域过程中简单地应用GCN，告诉所有人GCN具有良好的分类效果，但也缺乏理论解释。

直到2017年，KIPF＆Welling等人的GCN文章才。出现了，他们发现GCN可以通过数学公式的证明连接频域和真实域的数据。先前工作的一部分是通过频域验证GCN的质量，部分工作是在实际领域进行一些尝试，并发现GCN有效。 KIPF＆Welling的文章以及其他文章解释了为什么GCN效果很好，以及为什么GCN可以在真实域中处理数据，还提出了一些最简单，最基本的模型。随着KIPF＆Welling和其他人的文章发表，GCN在2018年受到了科学研究人员的关注。然后，基于本文，每个人都继续进行创新，改进和提出各种模型。

1.5图概念的回顾

该图是由几个顶点和边缘组成的图。该图可以是无限的，但至少一个顶点。

相邻矩阵通常用于表示和存储图形。对于具有顶点的图形，采用了大小的矩阵存储图结构。对于合格的图，可以表示的边缘的重量；如果它是一个合格的图形，则可以设置为表明有边缘，表明没有边缘。如果两个顶点上有多个边缘，则是边数的总和。因此，邻接矩阵的表示非常直观，发现是否存在边缘以及重量是多少。但这是浪费空间，将更适合密集的图片。

邻接矩阵对角线上的元素都是全部，上三角基质和下三角基质与对角线对称。在图的实际应用中，只需查看上三角形或下三角即可。

1.6图形卷积的基本框架

图形卷积的核心基本框架包括两个矩阵：（1）一个是带有节点的邻接矩阵，矩阵的尺寸为； （2）另一个是特征矩阵，矩阵H的尺寸为图中的节点。数字是每个节点的特征维度。例如，我们每个人都是社交网络中的一个节点，但是我们的性别，年龄，家乡和其他信息是我们的特征。

在图形卷积的基本框架中，输入层输入邻接矩阵。在隐藏层中，将特征矩阵点乘以每个节点进行训练。网络的每个更新都会更新功能矩阵，并且图形结构不变。在多次培训之后，特征矩阵达到收敛性（即，特征矩阵的中值基本不变），最后进行了分类以给出概率并确定该图中的节点属于哪个类别。在整个网络培训过程中，节点和功能被乘以实现社区之间的节点和功能的传播。

接下来，让我向您介绍GCN的数学概念开yun体育官网入口登录app，该概念主要包括GCN的特征信息与节点点乘法的结合，并按一层向下传递以进行训练。

1.7卷积神经网络的审查

在卷积神经网络中，上一层的特征映射输出是卷积，即滤波器，即在输入项和滤波器之间执行点产品操作，然后将结果发送到激活函数以获得输出功能图。下图显示了过滤器输入特征图的卷积操作，该公式如下图所示。

1.8图卷积

卷积神经网络的正向传播公式是：

图卷积的正向传播公式是：

通过比较图形卷积网络和卷积神经网络的正向传播公式，我们可以发现图形卷积网络添加了来自邻接矩阵的信息。如下图所示，计算和更新红点意味着在其周围的四个相邻点进行更新，并且无需更新非贴标节点的信息。

然后在下面推导上述公式：邻接矩阵点乘以特征矩阵，然后将重量矩阵乘以。激活函数后，将其更新为下一层的特征矩阵。在基本上没有更改之前，可以停止更新。

上述步骤中有几个问题：

为了解决上述问题，进行了拉普拉斯的变化，并进一步改善了上述公式。进行了图的度矩阵和图的邻接矩阵以解决对角线的问题，以便在训练中涵盖其自身节点的信息。公式如下：

然后解决归一化过程。以下两个方程是拉普拉斯归一化过程：

正常化处理的主要目的是希望这些特征值将更加统一，并且不需要特别大的特征值，从而最终对特征提取和模型培训产生影响。他们中的大多数将选择第一个方程式作为归一化，因为IT训练的矩阵是对称的，并且矩阵的每一列的附加值为。

1.9图卷积的演示

上图中有六个节点。邻接矩阵中的节点和节点具有边缘。相应的位置值是，节点和节点也具有边缘。相应的位置是。度矩阵意味着只有对角线具有值。该值是与节点相对应的数量，该节点具有两个边缘，并且节点具有三个边缘。度矩阵减去邻接矩阵变为拉普拉斯矩阵。然后，在以下公式中，找到度矩阵的逆根标志，然后将其乘以拉普拉斯矩阵，最后连续更新。

在此示例中，没有给定的，我们随机产生一个，它是一个矩阵，也是随机产生的矩阵。在GCN卷积的过程中，权重不像CNN中的重量那么重要。很多时候，当我们进行GCN卷积时，重量会随机产生。在多个训练周期之后，获得了收敛的情况，并且特征矩阵就像该值一样。然后开元ky888棋牌官方版，为了找到每列的最大值，我们可以对列数进行分类。我们可以发现节点的数量是，并且节点的数量为。 GCN可以将图的结构分为两类。这三个节点在图理论中完全连接，因此这三个节点非常相似。节点有三个边缘，因此也被分开。当涉及到相应的类别时，和谐自然不像其他节点那样接近，因此和谐被分为另一个类别。

在此示例中，我想突出两点。第一个点是特征矩阵是随机生成的，并且可以根据图的拓扑结构获得良好的分类效果。第二点是使用此示例来具体化抽象理论。您可以理解如何计算此矩阵。

图形卷积的核心是更新此公式。然后，在图形卷积的应用和开发中，这两个核心创新是特征矩阵和邻接矩阵。

1.10图卷积：边缘信息嵌入

在图表的拓扑结构中，有时边缘具有权重。如果仅将此权重值放置在邻接矩阵中（即，权重信息放在点），则仅邻接矩阵的乘积就无法突出显示边缘信息。如果我们想将边缘信息输入图形卷积，我们可以将圆形图转换为线图。如下图所示，圆图具有三个点，边缘为，并且在转换后，边缘被视为点，并且该点被视为边缘。由于边缘有特征信息，因此图形卷积的两个迭代和循环可以很好地集成边缘信息。训练过程是相同的，重要的是如何将圆图转换为线路图。这样做的优点是考虑边缘信息，支持稀疏矩阵的计算，并从多个角度考虑（即，考虑边缘和点）。条件的局限性是，由于边缘转换为点，并且该点转换为边缘，因此计算非常复杂，在此阶段，它只能处理小数据。

1.11半监督图表分类

举一个半居性图表分类的示例。下图中有一个图。我们在黑色圆圈中设置了要点已经知道分类，而其他点也不知道它们的分类。那么我们如何对它们进行分类？在此过程中，我们使用损失功能：

其中，它是一个分类的节点集，一个分类矩阵和GCN输出的结果。

通过半监督图分类的损失函数，让我们看一下如何用代码实现它。下图显示了一些核心代码。

让我们看一下实验的结果。从下图，您可以看到GCN很好地划分了未分类点。

1.12图卷积：科学家网络

我们正在研究一个科学家网络的示例。在科学家网络中，我们写的每篇论文都有一个标题。互相引用论文时，我们将建立关系。任务是为您提供这些论文的标题，并希望预测论文类别，例如本文是否属于物理，化学还是数学。如下图所示，仅使用了两层GCN，与先前的结果相比，GCN方法得到了极大的改进。

2。基于知识图的图形卷积2.1知识图

下图显示了知识图的三个示例。让我们来看看第一个示例。关于这个国家，我们可以想到中国，美国，日本等。中国的属性是什么？中国的地区是平方公里，其人口为1亿。中国的首都是北京等。当我们搜索关键字时，一些相应的事物将形成知识图。例如，当我搜索中国，美国，日本，英国等时，可能会出现。在知识图中，我们可以认为图中的节点是国家，中国和北京，这些是实体，边缘是实体之间的关系。例如，中国与国家之间的关系是什么？特征是实体的属性。

2.2图卷积：知识图

我们当前的数据包括：例如，用户有超过一千人是用户；我们有一些实体，例如电影，书籍，音乐，食物等；以及哪些电影用户对他们感兴趣以及他们喜欢阅读的书籍等。这意味着用户与实体有关。例如，Microstrong对教父电影非常感兴趣。然后;如果有关系，每个实体之间将有关系，电影与教父之间将有一个优势。最后是一个功能矩阵。图卷积的公式如下图所示。

现在，我们将实体的关系嵌入到图中，那么我们如何向用户推荐实体？我们为每个用户创建一个新图表，这是用户对实体之间关系的重要性。它是将实体矩阵变成加权矩阵，然后每个用户都有一个邻接矩阵，然后训练每个用户的邻接矩阵。上图中的第三圆是一个简单而基本的图形卷积过程。上图中的四个圆圈是标记的平滑过程。

现在在CNN中也经常使用标签平滑。为了提高训练过程中模型的准确性，进行了标签平滑。例如，当过去训练深层模型时，随着培训的继续迭代，该模型对培训结果更有信心。它认为动物是猫或狗，模型可以自信地确认动物是猫或狗。它的预测价值是真实的。但是，在培训过程中，该模型过于自信，这可能会导致更多错误。当我们将其更改为并调整标签的平滑值时，模型的最终预测结果将更好。基本上，我们现在正在做的大多数深神经模型都使用标签平滑技术。

上图中的第一个圆圈是：创建了一个新的知识图。第二个圆圈是：用户创建一个对每个实体感兴趣的新权重矩阵。第三个圆圈是：第二个圆的图的图形卷积。第四个圆圈是：使用GCN中的平滑标签技术。损失函数定义为：

其中，图形卷积和标签平滑规律性的损失函数。

让我们谈谈GCN的基本培训过程。在上图中（a）表示不考虑知识图的结构。蓝点是用户感兴趣的实体。粉红色的点是用户没有观察到的，但对此更感兴趣。灰点也是用户尚未观察到的。但这是用户不感兴趣的一点。现在，我们的目标是通过培训向用户推荐粉红色的点，以便用户可以选择，而用户不建议用户使用灰点。 （b）表示在GCN的第一层训练后，建议使用虚线上的两个粉红色点。 （c）指出，在GCN的第二层训练后，建议使用虚线上的三个粉红色点。如果发生错误，则建议用户不感兴趣的用户对用户的灰点。 （d）该数字适用于其他用户。上述（a），（b）和（c）适用于用户，（d）适用于用户，并且对用户模型训练的结果不适用。 （e）意味着在平稳添加标签后，模型推荐的点更准确。

2.3标签很光滑

让我们了解平滑标签的功能。平滑标签有三个步骤：能量方程，最小值和横熵。在能量方程中，这意味着用户是否对该实体感兴趣。感兴趣的价值是，不感兴趣的价值是。执行能量方程式，删除相同的标签并保留不同的标签。然后取最小值，最后进行横熵。 KL距离函数用于交叉熵，这意味着两个概率分布越相似，值越小。

2.4知识图：伪代码

2.5知识图：结果演示

上图显示了图表卷积在建议图中的应用示例。可以看出，与其他建议算法相比，GCN改善了某些结果。

上图显示了GCN在准确性，速度和效果方面的显着改善。

3。研究方向3.1图形卷积：人姿势识别

人体的每个链接节点等效于图中的节点，骨骼等效于图的边缘。人体是一个很好的图形，并且具有聚类特性。在执行每个动作时，关节的位置也有所不同。这可以很好地构建聚类图，然后训练它。

如下图所示，视频信号是输入的，视频信号上有一个时间序列，每个时间序列都是图片。对于每张图片，我们都可以构建一个骨架图，然后按时间顺序找到每个节点的位置以将其连接，然后将其变成大图，将此大图放入GCN中进行训练，最后转到分类器和分类器和分类器和预测分类结果。下图中的分类结果正在运行。

让我们看一下人类姿势识别中GCN的结果。

3.2图卷积：超图

超图是图的基本概念。如下图所示，有八个点。如果选择每个点，则可以有许多安排和组合。如果我们选择一个点，总共有八个点可以选择，并且有八个排列和组合。例如，我们选择两个要形成子图的点。因此，当有节点时，超电是置换和组合的问题。

3.3图形结构

图形构造的问题在于，如果我们提供大量数据，我们不知道数据之间是否有任何关系，以及如何创建这个新图像。创建此图片后，将图片放入GCN进行训练，然后将其整理。

让我们看一下上图的左下角显示的一个示例。总共有五个运动。分子之间是否存在连续性，分子之间位置和边缘之间的连接尚不清楚。我们需要创建一个新的图，然后预测分子轨迹的下一步动作。

在上图的右上角所示的示例中，人体的运动。在每个帧中创建新图片的过程中，图是由节点是重心的。例如，右手是重心还是左手是重心。

3.4子图片嵌入

图中经常考虑一个点。那么，如果我们将下图中的三个点视为一个点并将它们放在GCN中，该怎么办？现在这也是一个非常受欢迎的研究方向。

4。方案应用程序4.1用户推荐系统

淘宝，Google，Facebook和其他公司等公司在搜索和推荐过程中使用GCN技术。

4.2公众舆论监控和控制

所有国家和机构都非常需要舆论监控和控制开yun体育app入口登录，判断真和虚假新闻，并跟踪新闻的来源。 GCN也是公众舆论监控和控制的一项非常好的技术。

4.3自动驾驶

每辆车都有一个机上系统，并且需要将车载系统连接到网络，因此建立了非常大的图表，并且可以使用GCN技术在图中推荐和过滤用户。这也是将来在物联网中非常受欢迎的方向。

5。摘要

本文提到的大多数知识点来自以下论文：

最后，我想增加一些有关机器学习和深度学习的知识：

6。参考

本文是Microstrong的注释，观看了Yang Dong的现场课程“基于知识图和图的卷积神经网络的应用和开发”，由他在B上解释。 Greedy Technology的官方网站已推出了公开的重播，地址：。

[1]是否有必要系统地学习概率图模型（PGM）？ -Zhihu

【2】【图嵌入】深行：算法原理，实施和应用程序-Qianmeng的文章-Zhihu

【3】【NLP系列实时广播】图形卷积神经网络，伯特，知识图，对话生成，贪婪学院，地址：

【4】知识图和图形卷积神经网络的应用和开发，地址：

【5】贪婪学院的开放课程应用程序和基于知识图和图形的卷积神经网络的开发，地址：地址：

[6]图2020年图神经网络在线研讨会|图形表示和最新的理论进度和图形神经网络的应用探索，地址：

【7】图片代表学习的简约教程 - 他们都称我为0 -Zhihu的文章

【8】卷积网络（GCN）的光谱分析 - 它们都称我为0 -Zhihu

【9】对图卷积神经网络的简要分析 - 有关Geetest Extreme Test的文章 - Zhihu