导读：千呼万唤始出来！阿里正式发布重磅消息开源项目——图深度学习框架Euler。它是中国首例在关键业务大量运用后开源的图深度学习框架。本次开源，Euler内嵌了很多的优化算法供普通用户直接采用，有关代码现已可在GitHub上开展免费下载。
图学习和深度学习全是人工智能技术的1个支系，做为阿里巴巴旗下的大数据营销平台，阿里妈妈开拓性地将图学习与深度学习实现融合，发布了Euler，可协助大幅度提高营销效率。Euler已在阿里妈妈核心内容业务场景开展了磨炼和检验，同时，在金融业、电信、医疗管理等涉及繁杂网络分析的场景中也具备很高的运用价值。比如，普通用户还可以运用Euler对基于用户交易等金融数据搭建的繁杂异构图开展学习与逻辑推理，从而应用于金融反欺诈等场景。
下边让我们一起来走入Euler的世界。
小编整理了一些java进阶学习资料和面试题，需要资料的请加JAVA高阶学习Q群：664389243 这是小编创建的java高阶学习交流群，加群一起交流学习深造。群里也有小编整理的2019年最新最全的java高阶学习资料！
1. 简述
以往两年随之数据规模和硬件计算力的快速提高，深度学习技术在学术界被广泛并造成了极大的技术性收益。当今应用现已相对成熟，下一阶段的技术性收益在哪儿还要不断创新之中。图神经网络将端到端学习与归纳推理紧密结合，即将化解深度学习不能解决的关联推理、可解释性等一连串难题。对构造专业知识的表述、测算和组合泛化是实现具有human-like AI的核心，图神经网络有期待在那些层面产生攻克，促使机器能力进一步加强提升，因而对图神经网络的深入运用有期望产生下一波技术性收益。
图做为表达能力较强的通用性的数据结构，还可以用于刻画实际世界中的许多难题，比如社交平台场景的客户网络、电子商务场景的用户和商品网络、电信场景的网络通信、金融业场景的买卖网络和诊疗场景的药品分子网络这些。对比文字、视频语音和图象方面的数据较为易于解决成欧式空间的Grid-like类型，合适目前的深度学习模型解决，图是一种非欧空间下的数据，并不可以立即运用目前方式，必须专业设计的图脑神经网络系统。
1.1Euler的核心能力
1）大规模图的分布式系统学习工业界的图往往具备数十亿连接点和数百亿边，一些情景以至于都可以到数百亿连接点和数千亿边，在那样规模的图上单机训练是不有用的。Euler适用图切分和高效平稳的分布式系统训练，还可以轻轻松松支柱数十亿点、数百亿边的测算规模。
2）支持繁杂异构图的表征工业界的图关系大多数盘根错节，突显在节点异构、边关系异构，另一个节点和边上将会有丰富的特性，这促使某些普遍的图神经网络没办法学到合理的表述。Euler在图结构储存和图计算的抽象上均优良的适用异构点、异构边类型的操作，并支持丰富多彩的异构属性，还可以很易于的在图学习算法中开展异构图的表征学习。
3）图学习与深度学习的结合工业界有许多经典情景，比如搜索／推荐／广告情景，传统式的深度学习方式有非常好效果，怎样把图学习和传统式方式融合起来，进一步加强提升模型能力是很值得探究的。Euler支持基于深度学习样本的mini-batch训练，把图表征立即输入到深度学习网络中联合训练。
4）分层抽象与灵活拓展Euler系统抽象为图模块层、图操作算子层、算法建立层3个层级，还可以迅速地在顶层拓展1个图学习算法。事实上，Euler也内置了很多的算法保持供大家立即采用。
1.2 Euler内置的算法实现
充分考虑框架的便捷性，我们内嵌了多种多样著名优化算法以及多种我们内部人员的自主创新优化算法。全部实现，我们细心开展了检测，确保了算法运作高效率，且优化算法效果与原论文对齐。普通用户无须开展开发设计，引入数据到服务平台后，还可以立即采用。我们内嵌的优化算法目录见下表。相关我们内部优化算法的详情请见2.3节。
2. 系统设计
Euler系统总体还可以分成三层：底层的分布式图引擎，中间层图语义的算子，顶层的图表示学习算法。
下面让我们单独叙述每个层次的关键作用。
2.1分布式图引擎
以便适用我们的业务，我们不但遭遇超大规模图储存与计算的挑战，还必须解决由多种不同种类的点，边及其特性组成异构图的复杂性。我们的分布式图引擎对于海量图储存，分布式并行图计算及异构图开展了优化设计，保证了工业情景下的合理运用。
最先以便储存超大规模图（数十亿点，数百亿边），Euler务必提升单机的限定，进而选用了分布式的储存架构。在图加载时，一整张图在引擎内部被切分成多条子图，每一计算节点被划分1个或好多个子图开展载入。
以便灵活运用每个计算节点的能力，在开展图的实际操作时，高层操作被细化为好几个对子图的实际操作由每个节点并行执行。那样随之大量节点的添加，我们还可以获得更强的服务能力。次之，我们引入了多replica的支持。进而普通用户还可以灵活均衡shard与replica的总数，获得更优的服务能力。最终，我们对于图表达学习提升了最底层的图储存数据结构与操作算法，单机的图操作性能得到了倍数的提高。
多种不同类型的边，点与属性所构成的异构图，对许多繁杂的业务情景不可或缺。以便适用异构图计算能力，最底层储存根据不同的节点与边的类型分别组织。那样我们还可以高效化支持异构的图操作。
2.2中间图操作算子
因为图学习算法的层次性及其业务的复杂，确定的某几类乃至十几种优化算法实现没法满足用户的全部要求。因此在Euler设计中，我们紧紧围绕最底层系统的核心能力突出设计了灵活强劲的图操作算子，且全部算子均支持异构图操作语义。普通用户还可以利用它来迅速建立自身的算法变体，满足与众不同的业务要求。
最先，Euler分布式图引擎提供了C++的API来提供全部图操作。基于这个API，我们可以方便的基于某个深度学习框架添加图操作的算子，从而利用Euler C++接口访问底层图引擎的能力。我们支持广泛使用的深度学习框架，比如阿里巴巴的X-DeepLearning与流行的TensorFlow。后继我们也会考虑支持其它的深度学习框架，比如PyTorch。
利用灵活的图操作算子，机器学习框架可以在每个mini-batch与Euler交互，动态扩充与组织训练样本。这样，Euler不仅支持传统的以图为中心的学习模式，且可以把图学习的能力注入传统的学习任务，实现端到端训练。
按照功能分类，我们的核心系统提供的API可以分类如下：
全局带权采样点和边的能力。主要用于mini-batch样本的随机生成以及Negative Sampling。
基于给定节点的邻居操作。这个是图计算的核心能力包括邻居带权采样，取Top权重的邻居等。
点/边的属性查找。这个能力使得算法可以使用更丰富的特征，而不仅限于点/边的ID特征。
2.3高层算法实现
如1.2节所述，除了LINE算法以外，我们实现的算法可以分为随机游走与邻居汇聚两大类算法。有关外部算法的详细信息，请参见1.2节提供的论文链接。下面我们详细介绍内部的三个创新算法，相关论文的链接我们会在github上给出。
Scalable-GCN
它是一种高效的GCN训练算法。GCN以及更一般的Graph Neural Network (GNN)类的方法由于能有效的提取图结构信息，在许多任务上均取得了超过以往方法的效果。但是GCN的模型会引入巨大的计算量，导致模型的训练时间不可接受。Scalable-GCN在保证优秀效果的前提下，把mini-batch GCN的计算复杂度从层数的指数函数压到线性。这使得在阿里妈妈的海量数据下应用三层GCN成为可能，广告匹配的效果获得了显著提升。
LsHNE
LsHNE是我们结合阿里妈妈搜索广告场景创新地提出一种无监督的大规模异构网络embedding学习方法。区别于DeepWalk类算法，LsHNE的特点包括：a) 采用深度神经网络学习表达，可以有效融合Attribute信息；b)考虑embedding表示的距离敏感需求，提出两个负采样原则：分布一致性原则和弱相关性原则；c)支持异构网络。
LasGNN
LasGNN是一种半监督的大规模异构图卷积神经网络学习方法, 它有效融合了图结构知识信息和海量用户行为信息，大幅提升了模型精度，是工业界广告场景下首次应用半监督图方法。该方法有多处创新，例如将metapath的思想应用于图卷积网络中，并提出了metapathGCN模型，有效解决了异构网络的卷积问题；提出了metapathSAGE模型，在模型中我们设计高效的邻居采样的方法，使得大规模的多层邻居卷积成为可能。
3. 应用实例
Euler平台已经在阿里妈妈搜索广告的多个场景下广泛实用，并取得了出色的业务效果，例如检索匹配场景、CTR预估场景、营销工具场景和反作弊场景等。我们以匹配场景的为例来看下Euler的应用。
广告匹配的任务是给定用户搜索请求，匹配模块通过理解用户意图，快速准确地从海量广告中找到高质量的小规模候选广告集，输送给下游的排序模块进行排序。
我们首先使用一些传统的挖掘算法，从用户行为日志、内容属性等维度挖掘出Query(查询词), Item(商品)和Ad(广告)的多种关系，然后利用Euler平台的LsHNE方法学习图中节点的embedding，这里节点embedding后的空间距离刻画了原来图中的关系，对于在线过来的请求通过计算用户查询词向量、前置行为中节点向量和广告节点向量之间的距离进行高效的向量化最近邻检索，可以快速匹配到符合用户意图的广告。图2展示了LsHNE方法的离线和在线流程。具体图3展示了样本构造和网络结构示意。
小编整理了一些java进阶学习资料和面试题，需要资料的请加JAVA高阶学习Q群：664389243 这是小编创建的java高阶学习交流群，加群一起交流学习深造。群里也有小编整理的2019年最新最全的java高阶学习资料！
网友评论