高手问答第 243 期 —— 理解图神经网络

xplanet 发布于 04/19 22:55
阅读 4K+
收藏 5

Linux基金会免费官方培训及考试申请即将截止,戳这里申请!>>>

从视觉推理到开放性地阅读理解问题,从药物分子的研发到 5G 芯片的设计,从交通流量预测到 3D 点云数据的学习,仅仅三年时间,图神经网络技术的相关应用研究已经拓展到了及其宽广的局面上,展示出了及其重要且极具渗透性的应用能力。

图神经网络(Graph Neural Networks,GNN的出现,很好地填补了将深度学习应用于关系数据建模的技术空白,实现了图数据与深度学习技术的有效结合,该项技术将成为未来 AI+ 的应用典范,并带来极高的产业价值。

OSCHINA 本期高手问答 (2020 年 04 月 20 日 - 2020 年 04 月 26 日)将围绕图神经网络展开讨论,可讨论的问题包括但不限于:

  • GNN 的原理理解
  • 属性图如何建模
  • GNN 在风控上的应用以及其他场景的探讨
  • GNN 实际应用的重难点

嘉宾简介

刘忠雨,毕业于华中科技大学,资深图神经网络技术专家,极验科技人工智能实验室主任和首席技术官。在机器学习、深度学习以及图学习领域有 年以上的算法架构和研发经验,主导研发了极验行为验证、深知业务风控、叠图等产品。

为了鼓励踊跃提问,华章图书会在问答结束后从提问者中抽取 5 名幸运读者赠予深入浅出图神经网络:GNN原理解析一书。 

购书地址:https://item.jd.com/12615065.html?dist=jd

OSCHINA 高手问答一贯的风格,不欢迎任何与主题无关的讨论和喷子。

下面欢迎大家向 @刘忠雨  积极提问,直接回帖提问即可。

加载中
0
xplanet
xplanet

高手问答第 243 期 —— 理解图神经网络
@crf1111 @梅开源 @myw31415926 @Li_Peng @鬼面书生灬  
恭喜以上五位网友分别获得深入浅出图神经网络:GNN原理解析图书一本。
请私信 @xplanet  告知快递信息(姓名+电话+地址)。

0
源码节点
源码节点

@刘忠雨   GNN 在风控上的应用 ,风控的恶意人流分析,应该怎么做?有相应的框架吗

刘忠雨
刘忠雨
回复 @多学习多思考 : 时序异常是另外一个关键视角,可以适当做一些特征工程,第二种情况,我给个论文你参考 https://www.kdd.org/kdd2016/subtopic/view/fraudar-bounding-graph-fraud-in-the-face-of-camouflage
源码节点
源码节点
回复 @刘忠雨 : 1.关于异常的时间登陆时间,如凌晨点登陆数据异常,;2.同个wifi下,有多个账号多个用户,怎么判断??怎么和人工智能都结合起来??
刘忠雨
刘忠雨
你好,目前的还没有专门的应用型框架可以直接使用,建议了解一下基本原理之后,使用 DGL https://github.com/dmlc/dgl 进行快速实验。 至于恶意人流分析,你可以说的再细致一些吗?咱们一起探讨下思路。
0
Li_Peng
Li_Peng

@刘忠雨 您好,请问2个问题:

1、GNN在风控和推荐系统这些场景中,如何进行工程化落地?是tensorflow,还是其他的一些深度学习的框架来实现?

2、GNN和传统的图数据库和Spark GraphX是否有结合应用的方式?

0
crf1111
crf1111

@刘忠雨 你好

想了解一下GNN在3D 点云数据中的分析原理,以及对应的应用场景有哪些?谢谢。

crf1111
crf1111
回复 @刘忠雨 : 谢谢,提供了一种新的思路
刘忠雨
刘忠雨
GNN 做点云,可以从PointNet相关的论文进行追踪。另外关于deep geometric learning,可以上这个网站,资料收集的非常全面 http://geometricdeeplearning.com/ 另外作为CV当下研究的重要方向,3D视觉的商业化应用应该会像之前的人脸识别一样快速到来
刘忠雨
刘忠雨
在3D视觉中,一般流行的是 geometry learning ,GNN 只是其中的一种数据学习思路。我们知道点云数据具有很强的局部性,这种局部性反应的就是宏观世界中物体结构的先验特性,这样就可以将基于领域信息不断进行聚合学习的思路迁移到点云数据中。由于 GNN 只是一种对点云数据的建模思路,因此上层可以对应各类应用场景,如点云的识别、分割,场景的识别等等
0
侠客张三
侠客张三
未来已来,膜拜大神
0
刘忠雨
刘忠雨

引用来自“Li_Peng”的评论

@刘忠雨 您好,请问2个问题:

1、GNN在风控和推荐系统这些场景中,如何进行工程化落地?是tensorflow,还是其他的一些深度学习的框架来实现?

2、GNN和传统的图数据库和Spark GraphX是否有结合应用的方式?

1 工程向目前推荐使用TensorFlow。目前GNN落地需要克服的主要问题在于分布式训练上,这一块需要投入一定的人力,进行定制开发。可以参考阿里新开源的GraphLearn框架
2 GNN 处理的是图数据,数据的存储能放到图数据库里面是非常好的,比较方便我们做数据的基本分析,另外结合上GraphX的话,可以对接上一些图计算的需求。所以,整个串起来的话,就成为了图数据的存储、分析、计算、建模一站式的图数据处理系统,当然这里面也需要进行一定的研发投入,主要是降低数据在不同组件中切换的序列化代价。

看得出来你在这一方面有自己的思考,期待你的二次互动

刘忠雨
刘忠雨
回复 @Li_Peng : 如果用GNN进行建模的话,主要面向的图数据是比较固定的,读多写少,而且讲究的是吞吐效率。基于此,我们改造底层图存储的话,要注意两点: 1 是要回避数据库的事务特性,完全当成数仓的场景去开发是合适的,会减少很多开发工作量 2 是要注意图里面的关系存储跟属性存储可以分开设计,因为在实际场景中,属性查询跟关系查询的嵌套不会太多,分开设计的话,在主查关系的时候,IO是有保障的
Li_Peng
Li_Peng
感谢您的专业的回答。传统的图数据库,例如neo4j存在单节点的一些瓶颈,目前也有很多开源的分布式图数据库,例如Janus、HugeGraph等。不知道结合GNN,您是否有其他开源的分布式图数据推荐?另外图数据这种存储,IO吞吐量必然会比大数据存储要慢一些,不知道这方面有什么可以优化的思路呢?
0
刘忠雨
刘忠雨

引用来自“多学习多思考”的评论

@刘忠雨   GNN 在风控上的应用 ,风控的恶意人流分析,应该怎么做?有相应的框架吗

GNN 应用在风控上面的逻辑基于以下两个出发点:

1. 风险的关联特性,黑产的资源实体(如账户、设备、卡号等)会存在各种关联,如共用设备、相互交易等,这是一种关系性风险

2.风险的结构特性,高阶的黑产为了更好的隐蔽自己,弱化显性风险,其在业务数据上的表现形式往往会呈现出团伙模式,业务人员在逐一分析数据时,不会察觉其异常,只有将所有数据聚合到一起,通观全局才能发现其中的团伙结构,这种称之为结构性风险

利用图,去找关联与结构化的社区,是最合适的,基于此,GNN 应用到风控领域将是一种趋势。

如何建立思路,可以从这两篇论文开始

Heterogeneous Graph Neural Networks for Malicious Account Detection

Spam Review Detection with Graph Convolutional Networks

建议吸收思路,结合自身场景,化繁为简

0
进步中的海绵
进步中的海绵

@刘忠雨您好,请教一下并行计算GNN都有哪些方法,谢谢

刘忠雨
刘忠雨
2 分区,即 Graph Partitioning,将大图运用算法分割成若干小图,然后进行分批训练,典型代表如 Cluster-GCN
刘忠雨
刘忠雨
1 采样,分为两类,层采样(Layer Sampling),这种方法类似随机森林的思路,每次将大图采样成小图进行若干次迭代训练,代表如 FastGCN; 子图采样,典型的代表是GraphSAGE,将每个节点的学习过程所涉及到的子图抽取出来,进行独立分批训练
刘忠雨
刘忠雨
GNN 并行目前主要在算法上面做文章,总体上分为采样和分区两种策略
0
开源中国首席罗纳尔多
开源中国首席罗纳尔多

@刘忠雨 您好,请问 GNN 在风控上 是要怎么建立模型做的?

刘忠雨
刘忠雨
请问有具体场景吗?前面我提到了两篇论文,里面有很好的思路
0
myw31415926
myw31415926

@刘忠雨 您好,打扰了。学习GNN的原理一定要细致到公式推导上吗?目前GNN的主要的应用场景有哪些?我目前从事金融量化软件,在金融领域,除了上面所说的风控外,还有其他应用吗?

刘忠雨
刘忠雨
回复 @myw31415926 : 你说的这个场景可以借鉴一些关键帧抓取的技术来降低数据量
myw31415926
myw31415926
回复 @刘忠雨 : 非常感谢您的回答。还有一个问题,如果我现在手中有大量的高清视频,需要先对这些视频中的图片进行采样,如果逐帧分割采样,效率会非常低。像您前面所说,除了在采样和分区上使用并行策略外,还有没有比较好的优化方法?
刘忠雨
刘忠雨
并不需要,如果仅仅是应用,你只需要知道图是如何构建的,GNN的每层是如何计算的即可。 GNN 擅长的是将多种存在关联的因素结合起来进行建模,然后进行推导预测,我这里随便想到一点,比如你做金融量化,是否可以将量化信号结合上板块或相关行业公司的相互关系进行联动建模? GNN 的应用场景非常广泛,比如用图作推荐、药研开发、交通网络流量预测等等,很多。
返回顶部
顶部