针对图卷积网络的改进算法设计与实现文献综述

 2022-11-24 11:11

近年来,深度学习已经彻底改变了许多机器学习任务,从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常用欧几里德空间表示。然而,越来越多的应用程序从非欧几里德域生成数据,并将其表示为对象之间具有复杂关系和相互依赖关系的图。图形数据的复杂性给现有的机器学习算法带来了很大的挑战。最近出现了许多关于扩展数据的研究。

最近神经网络的成功促进了模式识别和数据挖掘的研究。许多机器学习任务,如目标检测、机器翻译、和语音识别,曾经严重依赖手工特征工程来提取信息性特征集,最近被各种端到端的深度学习范式重新定义,例如卷积神经网络(CNN),递归神经网络(RNN),和自动编码器。深度学习在许多领域的成功部分归功于快速发展的计算资源(如GPU)、大训练数据的可用性以及从欧氏数据(如图像、文本和视频)中提取潜在表征的深度学习的有效性。以图像数据为例,我们可以将图像表示为欧氏空间中的规则网格。CNN能够利用图像数据的平移不变性、局部连通性和合成性。因此,CNNs可以提取与整个数据集共享的局部有意义的特征,用于各种图像分析。

虽然深度学习有效地捕捉了欧几里德数据的隐藏模式,但越来越多的应用程序将数据以图形的形式表示。例如,在电子商务中,基于图形的学习系统可以利用用户和产品之间的交互来做出高度准确的推荐。在化学中,分子被建模为图形,它们的生物活性需要被鉴定以用于药物的发现。在引文网络中,文章通过引文系统相互链接,需要分为不同的组。图形数据的复杂性给现有的机器学习算法带来了很大的挑战。由于图可以是不规则的,图可以具有无序节点的可变大小,并且来自图的节点可以具有不同数量的邻居,从而导致一些重要操作(例如卷积)在图像域中容易计算,但难以应用于图域。此外,现有机器学习算法的一个核心假设是实例之间相互独立。这种假设不再适用于图形数据,因为每个实例(节点)通过各种类型的链接(如引用、友谊和交互)与其他实例(节点)相关。

图1

近年来,图形数据深度学习方法的研究越来越受到重视。在CNN、RNN和来自深度学习的自动编码器的推动下,重要操作的新概括和定义在过去几年中得到了快速发展,以处理图形数据的复杂性。例如,图卷积可以从二维卷积推广而来。如图1所示,可以将图像视为图的特殊情况,其中像素由相邻像素连接。与二维卷积类似,可以通过取节点的邻域信息的加权平均来执行图卷积。

关于图神经网络(GNNs)这一主题,现有的评论数量有限。Bronstein等人利用几何深度学习这一术语,概述了非欧几里德域中的深度学习方法,包括图和流形。虽然这是第一次对GNNs的综述。Hamilton等人讨论了有限数量的GNN,重点是解决网络问题巴塔利亚等人将图形网络定位为从关系数据学习的构建块,在统一框架下审查GNNs的一部分。Lee等人对应用不同注意机制的GNN进行了部分调查。总之,现有的调查只包括一些全球导航卫星系统,并审查了数量有限的工作,因此错过了全球导航卫星系统的最新发展。

在[1]文中,作者揭示了发展深层GCNs主要面临两个障碍:过拟合和过平滑。过拟合问题削弱了小图的泛化能力,而过平滑问题则随着网络深度的增加,通过将输出表示与输入特征分离,阻碍了模型训练。因此,作者提出了DropEdge,一种新的技术来缓解这两个问题。DropEdge的核心是从输入图中随机删除一定数量的边,就像一个数据增强器和一个消息传递减速机。更重要的是,DropEdge使我们能够将更广泛的卷积神经网络(CNNs)从图像域重构到图域,特别是本文研究了DenseNet和InceptionNet。在多个基准上的大量实验表明,作者的方法可以使deep-GCN获得很好的性能,即使层数超过30层——这是迄今为止提出的最深的GCN。

在[2]文中,作者提出了一种自适应分层抽样方法,加快了GCNs的训练速度。在上下两层中,由于上下两层的采样节点大小不同,所以作者在上下两层中构造一个固定的采样节点。更重要的是,所提出的采样器是自适应的,适用于显式方差缩减,这反过来又增强了方法的训练。此外,作者提出了一种新颖且经济的方法,通过应用跳过连接来促进消息在远程节点上的传递。在多个测试平台上进行的大量实验验证了该方法在提高分类精度的同时具有更快的收敛速度。

在[3]文中,作者提出了一种可扩展的图结构数据半监督学习方法,该方法基于一种高效的直接操作于图的卷积神经网络。作者通过谱图卷积的局部一阶近似来激励卷积结构的选择。本文的模型在图的边数上线性伸缩,并且学习编码局部图结构和节点特征的隐藏层表示。在引文网络和知识图数据集的大量实验中,本文的方法比相关方法有很大的优势。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

发小红书推广免费获取该资料资格。点击链接进入获取推广文案即可: Ai一键组稿 | 降AI率 | 降重复率 | 论文一键排版