ICLR 2020丨克服“邻点爆炸式增长”,开启新视角下的通用训练框架_GraphSAINT
ICLR 2020丨战胜“邻点爆破式增加”,敞开新视角下的通用练习结构 ICLR 2020 系列论文解读公开课第十二期。 AI科技谈论出品 本次视频解读为【ICLR 2020 系列论文解读公开课】第十二期。 南加州大学的曾涵清博士在 ICLR 2020 上宣布了论文《 GraphSAINT: Graph Sampling Based Inductive Learning Method》,咱们约请曾博士为咱们带来 关于“根据子图采样,在大规模图数据上完成高效、精确的图神经网络练习”的共享。共享视频为英文。 跟着图表征学习的迅猛发展,图神经网络(GNN)在各类的实际使命中正得到广泛应用。根据图卷积算子的神经网络在引荐体系,核算机视觉,自然语言处理等范畴均已获得精确率上的打破。另一方面,核算杂乱度而言,图神经网络依然无法在不丢失精度的前提下高效地被拓宽到大于两层的模型。 因为GNN从规划上会不断地聚合图中相邻节点的信息,则L-层的GNN中每个方针节点都需求聚合原图中L-hop以内的一切节点信息 — 在大图中,邻节点的个数能够跟着L指数级增加!这种“邻点爆破式增加”使得GNN的minibatch练习极具挑战性。 大部分现有作业都在探究怎么经过对GNN每层的节点进行采样,以下降练习本钱。而咱们的作业(GraphSAINT)经过一种天壤之别的采样的视角,提出了适用于大图以及深层网络的,通用的练习结构。GraphSAINT根据极端轻量级的子图采样算法,一起完成了在精确率和杂乱度上的明显提高。在规范的Reddit数据集上,咱们以100倍的练习时刻提速,提高了1% 以上的精确率。 论文 论文地址: https://openreview.net/forum?id=BJe8pkHFwS 代码: https://github.com/GraphSAINT/GraphSAINT 讲师介绍 曾涵清 本科毕业于香港大学电子工程系,现为南加州大学核算机工程方向博士生。一般的科研爱好为深度学习的优化和加快,现在的首要重视点为大规模图表征学习。宣布的作业(ICLR 2020,ACM/FPGA 2020,IEEE/IPDPS 2019)从采样算法,并行核算以及硬件加快的不同视点明显提高了大图上神经网络的练习和推理的功能。前期的作业(ACM/FPGA 2018最佳论文提名,IEEE/FPL 2019最佳论文提名,IEEE/HiPC 2019)提出了卷积神经网络的模型紧缩和硬件加快的结构。 Poster展现 更多直播信息 扫码重视[ AI研习社顶会小帮手] 微信号,发送关键字(例如 “ICLR 2020+直播” 、 “CVPR 2020+直播”、“IJCAI 2020+直播”或 “ACL 2020+直播”),即可进相应直播群,观看直播和获取课程材料。

发表评论

电子邮件地址不会被公开。 必填项已用*标注