美文网首页
物联网平台规则引擎流转到S3对比

物联网平台规则引擎流转到S3对比

作者: ShootHzj | 来源:发表于2021-06-14 18:48 被阅读0次

对于物联网平台来说,规则引擎是其中一个很重要的功能,也叫消息流转功能,将消息流转到各类中间件、云产品中。在华为、AWS、Azure、阿里这四个物联网平台中,阿里不支持流转到S3/类S3存储中。本文对比一下华为云、AWS、Azure把设备消息流转到S3/类S3存储的功能

参考资料

华为云

规则粒度和限制

  • 规则配置粒度到OBS

  • 限制单用户配置100条规则,每个规则10个Action

功能实现

针对华为云,我测试了设备的消息上报转发到华为云OBS的功能。

流转规则需要指定obs桶,随后运行之后,华为云OBS体现为

  • 设备的每条消息都会在obs中存储为一个文件
  • 名称采用deviceId+毫秒级时间戳+后面4位数字

关键路径截图

配置规则时指定到obs桶

image-20210614184348066

单条消息单个文件

image-20210614184522958

优势

可以非常轻易地查询出单个设备的消息,因为文件名携带有毫秒级时间戳,还可以指定具体

劣势

用来做MapReduce的话,文件数目太多,由于S3云厂商往往通过API调用次数收费,不仅是速度,成本也会很高。

AWS

规则粒度和限制

  • 规则配置粒度到桶及Key,相当于华为云OBS桶+文件名
  • 限制规则每秒进行20k次运算
  • 限制最多拥有1000条规则
  • 限制每个规则最多10个action

功能实现

再次上报数据触发规则会把obs中的数据替换。(通过版本控制可以获取到老的数据)

关键路径截图

配置规则指定粒度到Key

image-20210614165708645

仅有一个Key,新值覆盖旧值

image-20210614170447237

优劣势

AWS的这个模式很适合存储每个设备的最新数据。不过由于规则数量上的限制,最多只能在S3上存储1000个键值对。可用性较低。可用于数量小于1000的设备,存储、查询最新数据。

Azure转发

规则粒度限制

  • 规则配置粒度到存储容器
  • Azure可配置存储入存储容器的批量频率和大小限制
  • 编码支持Avro和Json两种格式
  • 最多100条路由

功能实现

自上报事件,到存储中出现数据,azure是最慢的,azure做了批量的缓冲,达到batch的大小和时间要求后才会写入存储。

关键路径截图

配置路由规则

image-20210614181514437

存储中批量数据

因为选择了avro格式,所以vim打开是乱码,不过明显可以看到是多条数据

image-20210614181738380

优势

Azure的这种方式,比较适合做MapReduce类操作,相对华为云来说,Azure的文件数量大大减少,如果用于做MapReduce这类操作,因为文件碎片小,作业速度会比华为云快,而且由于云厂商对存储,通常以api调用次数收费,价格也会比华为云低。

劣势

不易针对单个设备进行查询。

相关文章

  • 物联网平台规则引擎流转到S3对比

    对于物联网平台来说,规则引擎是其中一个很重要的功能,也叫消息流转功能,将消息流转到各类中间件、云产品中。在华为、A...

  • 从产品角度看物联网平台的规则引擎

    大型物联网平台都有规划规则引擎,而规则引擎到底是什么,这个组件有什么意义,具体该怎么做,这些是我在做的过程中不断问...

  • 物联网平台功能介绍之二:规则引擎

    规则引擎是物联网平台的一个重要功能模块,是处理复杂逻辑的引擎,主要对感知层搜集的数据进行筛选、变型(物解析)、转发...

  • 物联网规则引擎设计

    规则引擎是要用来解决设备联动,数据监控,消息通知等。 这里面的逻辑有些复杂,并且有很多未知情况。 我设计的时候考虑...

  • 各大物联网平台对比

    前言 本文主要针对目前比较流行的物联网平台,进行功能的简单总结与对比。目前来说,有以下几种物联网平台比较流行,他们...

  • 快速了解IOT产品架构

    设备连接物联网平台,与物联网平台进行数据通信。物联网平台可将设备数据流转到其他阿里云产品中进行存储和处理。这是构建...

  • 阿里云物联网平台产品架构与优势

    产品架构: 设备连接物联网平台,与物联网平台进行数据通信。物联网平台可将设备数据流转到其他阿里云产品中进行存储和处...

  • 工作流引擎/规则引擎

    工作流引擎/规则引擎 针对工作流引擎和规则引擎,这个两个问题是我在求职的道路上遇到的。 工作流引擎 工作流就是某一...

  • 谈一谈规则引擎在活动系统中的落地

    本文从 “为什么需要规则引擎” “规则引擎的定义” “规则引擎在营销活动系统中的落地” “规则引擎平台内部架构” ...

  • 读书笔记9-《小米生态链》

    在网商平台、搜索引擎之后,是物联网(IOT)的广阔空间。物联网应该也会产生一家巨无霸的企业。 小米从智...

网友评论

      本文标题:物联网平台规则引擎流转到S3对比

      本文链接:https://www.haomeiwen.com/subject/wtpoeltx.html