美文网首页区块链Nervos Fans
细聊分片背后的逻辑

细聊分片背后的逻辑

作者: 526ba0512193 | 来源:发表于2018-05-15 15:41 被阅读4次

由于比特币以及以太坊网络每秒处理的交易数量有限,亟需增加交易吞肚量,导致全网的系统亟需通过扩容实现。

扩容,本意是可以通过数据库拆开成小段,改变网络内部各步骤之间的验证方式实现分片,增加吞吐量。

由此可见,分片是一项复杂的工作,现在很多项目为了实现扩容,采用分片技术。

今天聊聊,分片技术的逻辑,若时间充裕情况下,分别聊聊各项目的分片技术逻辑。

分片是一种基于数据库分成若干片段的传统概念扩容技术,它将数据库分割成多个碎片并将这些碎片放置在不同的服务器上。在底层公有链的系统内,网络上的交易将被分成不同的碎片,其由网络上的不同节点组成。因此,每个节点只需处理一小部分输入的交易,并且通过与网络上的其他节点并行处理就能完成大量的验证工作,将网络分割为碎片会使得更多的交易同时被处理和验证。因此,随着网络的增长,区块链处理越来越多的交易将成为可能。

举个恰当的比喻,现有的区块链就像一条繁忙的高速公路,这条高速公路的收费站暂时只有一个收费出口。在这样的布局下,车辆稍微增加,交通很容易堵塞。印象最深的是Kitty猫的游戏,游戏玩家增多,导致网络拥堵。

若是减少高速拥堵的情况,而实现一个基于分片技术的区块链就像在高速公路上增加N个收费口。它将极大地提高汽车通过收费站的速度。因此,分片技术将带来巨大的差异,并显著提高区块链的交易速度。

基于分片技术的区块链的实现底层公链有很多好处。

一是区块链上处理交易的速度变成了每秒上千笔甚至更多,这可以改变人们对加密货币作为支付方式效率的看法;二是改善交易吞吐量将会给去中心化的系统带来使越来越多的用户和应用程序,而这将反过来促进区块链的进一步采用,也使挖矿变得更有利可图,同时也能吸引更多不同人士加入到公共网络上的节点,从而形成一个良性循环。

另一个额外的好处是,分片技术可以帮助降低交易费用,因为验证单笔交易的处理量减少了;节点盈利的同时减少收取的费用。在现实的区块链世界中,将降低节点费用与提高交易处理能力结合,底层公有链更具吸引力。这些积极的趋势所持续的时间越长,我们就会越能看到更多的主流的加密技术和区块链应用程序的出现。

分片技术如何实现呢?这其实是一个开放式的问题,问题的答案不是唯一正确的。

分片技术的本质是通过改变网络内部各步骤之间的验证方式来增加吞吐量。

各步骤之间验证方式可以采用链上验证,也可以采用链下验证的方式,没有统一。

对于未能领会真正要领以及擅长编码的我们来说,还是雾里看花,花非花。(持续学习,才是王道)

分片技术独特在于其他解决扩容的链上技术的关键特性,就是它可以进行水平扩容,也就是说,网络的吞吐量随着挖矿网络的扩展而增加。这种特殊的特性可能使它成为推动区块链技术被快速采用的理想技术。

现有区块链的扩容有哪些问题亟需解决?

每秒内交易数量有待大幅度增加,至少满足每秒能处理约8000笔交易;

由于底层公有链上建立大量及复杂的DApps,在原本迟缓的交易基础上,更是雪上加霜;

由于区块链是分布式网络,用户每产生一笔交易,需得到全网的节点全部验证,数据才能打包入块,无疑这是在增加链上承载的负担;

分片技术的核心是分而治之!

分片技术的策略有哪些

今天主要分享的是相关概念,但是我们有更细分的方法来实现分片策略,如网络分片和交易分片,以及状态分片等。通过网络和交易分片,区块链节点的网络被分割成不同的碎片,每个碎片都能形成独立的处理过程并在不同的交易子集上达成共识。通过这种方式,我们可以并行处理相互之间未建立连接的交易子集,通过提高数量级显著提高交易的吞吐量。

另一方面,在当今的主流底层公链上,所有公共节点都承担着存储交易、智能合约和各种状态的负担,这可能使其在为了获得更大的存储空间而进行巨大的花费,以维持其在区块链上的正常运转。

为了解决这一问题,有一种可被称为状态分片的可行方法已被提出。这一技术的关键是将整个存储区分开,让不同的碎片存储不同的部分;因此,每个节点只负责托管自己的分片数据,而不是存储完整的区块链状态。

因此,分片技术相当具有复杂性

尽管所有不同形式的分片技术都可能非常直观,但通过对技术逻辑的解读,我们可以看到这一方法的复杂性和潜在的挑战。从逻辑分析,分片技术的其中一些挑战是很容易克服的,而另一些则不然。一般来说,网络和交易分片更容易实现,而状态分片则要复杂得多。下面,对于不同的分片机制,我们会明确地讨论它们本身逻辑上所面临的一些挑战,以及它们的可行性。

网络分片是如何形成?

网络分的第一个也是最重要的挑战是创建碎片。开发者需要开发一种机制来确定哪些节点可以按照安全的方式保留在哪些碎片中,这样就能避免那些控制大量特定碎片的人所发起的攻击。

打败攻击者的最佳方法(至少在大多数情况下)就是建立随机性。通过利用随机性,网络可以随机抽取节点形成碎片。这样一种随机抽样的方式可以防止恶意节点过度填充单个碎片。

但是,我们如何建立随机性呢?最容易获得公共随机性的来源是区块,在区块中所提供的随机性是可被公开验证的,并且可以通过随机提取统一的随机比特。

然而,简单地使用随机机制将节点分配给碎片仍是不够的。我们还必须要确保网络的一个碎片中不同成员意见的一致性。这可以通过像工作量证明这样的共识协议来实现。

交易分片是如何形成?

交易分片听起来稍微简单一些,从每笔交易上拆分分片。假设,在一个类似于比特币的系统中引入交易分片(注意,比特币是采用账本机制),系统的状态是用UTXOs来进行交易。我们假设网络已经形成碎片,用户发送一笔交易,每一笔交易有两个输入和一个输出。那么,该笔交易将如何分配给一个碎片呢?

最直观的方法是根据交易哈希值的最后几位来决定碎片。举个例子,如果哈希值的最后一个比特是0的话,那么交易将被分配给第一个碎片,若不是0,否则它被分配给第二个碎片(假设我们只有两个碎片)。这允许我们在单个碎片中验证交易。但是,如果用户是恶意的,他可能会创建另一笔具有两个相同输入但不同输出的交易——是的,就是一个双花交易。第二笔交易将有一个不同的哈希值,因此,这两笔交易就可能形成不同的碎片。然后,每个碎片将分别验证接收到的交易,同时忽略在另一个碎片中验证的双花交易。

为了防止双花问题,在验证过程中,碎片将不得不进行相互通信。事实上,由于双花交易可能会在任何碎片中出现,因此特定碎片所接收到的交易将不得不与其它的碎片进行通信。而实际上,这种相互之间的通信可能会破坏交易分片的整个目的。

另一方面,当我们有一个基于账户的系统(没有智能合约)时,问题就简单得多了。每一笔交易将会有一个发送者的地址,然后系统可以根据发送者的地址分配一个碎片。这确保了两笔双花交易将在相同的碎片中得到验证,因此系统可以很容易地检测到双花交易,而不需要进行任何跨碎片的通信。

状态分片是如何形成?

状态分片带来了新的挑战。事实上,状态分片是迄今为止最具挑战性的分片技术提案。

继续使用我们的基于账户的模型(我们暂时不在我们的例子中引入智能合约),在一个状态分片的区块链中,一个特定的碎片只会保留一部分状态。例如,如果我们有两个碎片和两个用户帐户,分别为Alice和Bob,那么每个碎片将保留一个用户的余额。

假设Alice创建了一笔交易,她将支付Bob一笔钱。这笔交易将由第一个碎片进行处理,一旦该笔交易被验证,关于Bob的新余额的信息就必须与他所在的碎片进行共享。如果两个受欢迎的帐户由不同的碎片进行处理,那么这可能需要进行频繁的跨碎片通信和状态交换。确保跨碎片通信不会超过状态分片的性能收益仍然是一个值得公开的研究问题。

减少跨碎片通信开销的一种可能方法,是限制用户进行跨碎片交易。以我们上面的例子来说,这就意味着系统不允许Alice直接与Bob进行交易。如果Alice必须与Bob交易的话,她将不得不在那块碎片中占有一个帐户。虽然这确实消除了任何跨碎片通信,但它可能会限制平台的可用性。

状态分片的第二个挑战是数据的可用性。我们可以考虑这样一个场景,由于某种原因,一些特定的碎片遭到了攻击而导致其脱机。由于碎片并没有复制系统的全部状态,所以网络不能再验证那些依赖于脱机碎片的交易。因此,在这样的情况下区块链基本上是无法使用的。解决此问题的方法是维护存档或进行节点备份,这样就能帮助系统进行故障修复以及恢复那些不可用的数据。但是,这样就使得节点将不得不存储系统的整个状态,因此这还可能会引发一些中心化的风险。

我们在任何分片机制(当然不是特定于状态分片)中需要考虑的另一个要点是,确保碎片在抵御攻击和失败时是具有弹性的;  网络必须接受新的节点并以随机的方式将这些分配给不同的碎片。换句话说,网络必须在一段时间内进行节点的重新分配。

然而,在状态分片的情况下,重新分配节点是非常棘手的。由于每个碎片只保留了状态的一部分,所以在一次重新调整网络的过程中,在同步完成前可能会出现导致使整个系统失效的问题。为了防止系统的中断,我们必须对网络进行逐步调整,以确保每个碎片在所有节点被清空前仍有足够多的旧节点。

类似地,一旦一个新节点加入了一个碎片中,系统就必须确保该节点有足够的时间与碎片状态进行同步;否则,传入节点将完全拒绝每一笔交易。

结论

综上所述,分片技术是区块链的一个令人兴奋的技术,它让我们看到了希望,它可以在不影响去中心化和透明度的情况下解决扩容问题。然而,毫无疑问的是,分片技术,尤其是状态分片,在设计层面和实现层面都是非常困难的。而且,根据不同的逻辑,分片会有很多可能。

此外,我们应该小心的处理分析分片技术背后的,作为筛选项目的我们,需要了解到,分片技术可能不是解决储存问题的法宝,同时,在筛选很多同类分片扩容项目时,不要单独将分片技术剥离整体环境单独分析。

相关文章

  • 细聊分片背后的逻辑

    由于比特币以及以太坊网络每秒处理的交易数量有限,亟需增加交易吞肚量,导致全网的系统亟需通过扩容实现。 扩容,本意是...

  • 分片集群中的分片集合

    分片集群中的分片集合 MongoDB 中 分片集群有专门推荐的模式,例如 分片集合 它是一种基于分片键的逻辑对文档...

  • hash -> PartitionByLong

    这是先求模得到逻辑分片号,再根据逻辑分片号直接映射到物理分片的一种散列算法。 用户需要在rule.xml中定义pa...

  • patternrange -> PartitionByPa

    与hash算法的最终效果一样,这个算法也是先求模得到逻辑分片号,再根据逻辑分片号直接映射到物理分片的一种散列算法。...

  • 聊一聊Knowyourself和背后逻辑

    我们现在在网上看到有关心理学的知识、社群和爱好者等数量都非常多,而Knowyourself就是公众号领域一个很棒的...

  • 常来微聊背后的逻辑

    很多人都有自己的梦想! 很多人都有自己的使命! 很多人都想在某个领域尽情地释放自己,就像他一样:每天坚持着做一件常...

  • 阿里oss文件分片上传

    OSS文件分片上传 依赖 基础参数dto 具体上传方法 小文件上传 大文件上传,分片oss自己处理 处理逻辑:前段...

  • 全过程工程咨询——时间管理(51)

    本节主题:动脑想一想背后的逻辑,避免陷入以偏概全的逻辑谬误。 有段话这样写到: 灯泡何以发光?因为灯泡后面有一套细...

  • 公交事件背后的逻辑,细思极恐

    非婚同居➡️非婚生育➡️同居暴力 一方协商“离婚”,一方不同意,结果再遭暴力。 被施暴方报警,按照婚内暴力来处理所...

  • 细聊曹丕

    曹丕这个人可不是一两句说得清楚的,在世说新语中,假如不仔细了解他,一定会说他是很邪恶残忍的一个人。没错,在世...

网友评论

    本文标题:细聊分片背后的逻辑

    本文链接:https://www.haomeiwen.com/subject/aozedftx.html