● TDengine - 高吞吐时序数据库
传统解决方案层级多,维护困难。
工业互联网数据特点:
时序空间数据、按照时间戳顺序
结构化的数据
数据源是唯一的:一种数据由一个确定的机器产生
一般不能更新,像日志一样
以写为主,读为辅
流量稳定,机器采集频率可预测、稳定
都需要统计、聚合等[实时]反馈操作
对单个数据不看重,看重一个时间段、区域内的结果
数据量巨大
特点:
一个节点里有多个虚拟节点。 系统有虚拟节点组,虚拟节组分布在多个不同节点中,保持一致(mast-salve)。
虚拟节组遵循弱一致验证(和Ridis一样),换取高吞吐性能。--这样这个软件适合于日志型丢失单条数据严重性低的场景。
严谨交互场景还需传统数据库。
管理节点强一致(同步更新)。
TDengine是非关系型数据库+时序内存
压缩效率高:利用物联网数据变化波动不大的特性、dif插值后压缩,然后二阶压缩,效率很高。
★ 一个设备一张表:一个设备的数据在一个块(可设定块大小)里是连续的,BlockRangeIndex快速定位数据。所以要找单个设备的数据,查找性能快。
★ 超级表,多个采集节点进行数据聚合。
★ 文件压缩效率高,每个文件内内容连续,导致读盘速度大大提升,而解压消耗时间并不大。这样解决了落盘存盘的瓶颈。
全栈时序数据处理引擎:将数据库、消息队列、缓存、流式计算等功能融合,应用无需再集成Kafka/Redis/HBase/Spark/HDFS 等软件,大幅降低应 用开发和维护的复杂度成本。
与第三方工具无缝连接:不用一行代码,即可与 Telegraf, Grafana, Matlab, R 集成。后续将支持 MQTT, OPC, Hadoop,Spark 等, BI 工具也将无缝连接。
网友评论