美文网首页
分布式图计算中的图分割方法

分布式图计算中的图分割方法

作者: 娃娃学软件 | 来源:发表于2018-11-06 13:48 被阅读0次

目的

在分布式计算框架中,首先要解决数据的分割,分割后的数据被输入到各个计算节点中进行并行计算。
分布式图计算框架中,如何将整个图的数据分割,通常有以下两种方法:基于顶点的分割基于边的分割

分布式图计算

边分割

边分割
如上图所示,边分割就是将图数据按照边进行分割,将分割后的子图数据输入到不同的运算节点上进行并行计算。
边分割过程中,需要将图中的边和节点进行镜像复制,各个运算节点在运算的时候,需要不断的通信和更新图的边的状态。
谷歌提出的Pregel分布式计算框架用的就是这种分割方式。

顶点分割

顶点分割
如上图所示,顶点分割就是将图数据按照顶点进行分割,分割后与顶点相邻的顶点会被在另外一个节点进行复制。
GraphLab分布式计算框架采用的就是顶点分割方式

对比分析

从上面分割实例中可以看出,边分割结果多了4个顶点副本和3个边的副本,而顶点分割结果只多了2个顶点副本,在数据量大的应用场景下,顶点分割有明显的优势。
边分割后的副本数量增多,导致分布式各计算节点进行状态更新的通信量会明显的增加,这样也带来了不小的资源开销。
目前,采用顶点分割方式的分布式图计算框架优势比较明显。

相关文章

  • 分布式图计算GAS模型

    目的 在分布式图计算中的图分割方法一文中介绍了分布式图计算中的顶点分割方法来对图数据来进行分割,从而使得一个数据量...

  • 分布式图计算中的图分割方法

    目的 在分布式计算框架中,首先要解决数据的分割,分割后的数据被输入到各个计算节点中进行并行计算。在分布式图计算框架...

  • 【计算机视觉必读干货】图像分类、定位、检测,语义分割和实例分割方

    本文旨在介绍深度学习在计算机视觉领域四大基本任务中的应用,包括分类(图a)、定位、检测(图b)、语义分割(图c)、...

  • 图像分割方法

    主流医学图像分割方法:[1] 基于图论的分割方法中心思想:将图像映射为一张无向图(带权的无向图),图像中的像素点相...

  • 疯狂的摘抄 —— 解谜计算机科学

    启发性的语句 抽象是计算机科学中至关重要的思维方法。 计算图(模型)是计算的本质,符号是对计算图的一种表示或编码。...

  • 图计算系统学习

    图计算系统简介 GeminiGraph 分布式、In Memory, 提供Vertex-centric编程模型。 ...

  • 2. Pregel 计算模型

    1. Pregel开发时, 图计算领域面对的问题 分布式图算法大部分是高度定制化的, 如果需要新的图算法, 就需要...

  • TensorFlow基本使用

    一、TensorFlow计算模型——计算图 TensorFlow中的所有计算都会被转化为计算图上的节点 计算图的概...

  • TensorFlow核心概念之计算图

    什么是计算图   什么计算图呢?计算图跟图计算不一样,图计算是对基于图数据的计算的统称。而计算图是对一系列计算和数...

  • TensorFlow入门

    1.TensorFlow计算模型--计算图 1.1 计算图概念 TensorFlow中的每一个计算都是计算图上的一...

网友评论

      本文标题:分布式图计算中的图分割方法

      本文链接:https://www.haomeiwen.com/subject/moyyxqtx.html