美文网首页
java版spring cloud 多租户社交电子商务平台-St

java版spring cloud 多租户社交电子商务平台-St

作者: IT小跑兵 | 来源:发表于2019-07-10 09:39 被阅读0次

    首先,你要放空你之前kafka分区的相关知识,从零开始去领会Stream分区,以免造成理解上的困扰。

    Stream提供了一个通用的抽象,用于统一方式进行分区处理,和具体使用的中间件无关,因此分区可以用于自带分区的代理(如kafka)或者不带分区的代理(如rabbiemq),这句话要反复读几遍。

    Stream支持在一个应用程序的多个实例之间数据分区,N个生产者的数据会发送给M个消费者,并保证共同的特性的数据由相同的消费者实例处理,这会提升你处理能力。

    Stream使用多实例进行分区数据处理是一个复杂设置,分区功能需要在生产者与消费者两端配置,SpringCloudDataFlow可以显著的简化过程,而且当你没有用SpringCloudDataFlow时,会给你的配置带来一些不便,需要你提前规划好,而不能再应用启动后动态追加。

    下面是生产者有效的和典型的配置(Output Bindings)

    spring.cloud.stream.bindings.<channelName>.producer.partitionKeyExpression=payload.id
    spring.cloud.stream.bindings.<channelName>.producer.partitionCount=5
    

    分区key的值是基于partitionKeyExpression计算得出的,用于每个消息被发送至对应分区的输出channel,partitionKeyExpression是spirng EL表达式用以提取分区键

    下面是消费者有效的和典型的配置(Input Bindings)

    spring.cloud.stream.bindings.input.consumer.partitioned=true
    spring.cloud.stream.instanceIndex=3
    spring.cloud.stream.instanceCount=5
    

    instanceCount表示应用实例的总数,instanceIndex在多个实例中必须唯一,并介于0~(instanceCount-1)之间。实例的索引可以帮助每个实例确定唯一的接收数据的分区,正确的设置这两个值十分重要,用来确保所有的数据被消费,以及应用实例接收相互排斥不重复消费。

    相关文章

      网友评论

          本文标题:java版spring cloud 多租户社交电子商务平台-St

          本文链接:https://www.haomeiwen.com/subject/zckckctx.html