influx1.X的下采样数据和数据存留
大量参考翻译自 https://docs.influxdata.com/influxdb/v1.8/guides/downsample_and_retain/
InfluxDB 每秒可以处理数十万个数据点。 长时间处理这么多数据可能会引起存储问题。 一个自然的解决方案是对数据进行下采样； 将高精度原始数据仅保留有限的时间，并将较低精度的汇总数据存储更长时间。 本指南描述了如何使用 InfluxQL 自动化下采样数据和过期旧数据的过程。
influxdb 1.X有CQ和RP的概念，不过在influx2中，这两个概念都被替换掉了，不过还是很有必要学习了解一下这两个概念并感悟一下为什么在influx2替换掉了这两个概念
定义
-
Continuous query CQ 是
influxQL中的一种查询语句，它自动地周期性地运行在数据库中。CQs 需要在select语句上执行聚合函数， 并且一定需要GROUP BY time()语句 -
Retention policy RP 是
influxDB中地一部分数据结构，描述了数据在influxDB中存留的时间。InfluxDB根据服务器上的时间和数据上的时间，删除比RP的DURATION更老的数据。一个数据库可以拥有多个RP，RP不能扩数据库。
样本数据
本部分使用虚构的实时数据以 10 秒的间隔跟踪通过电话和网站向餐厅订购的食品数量。 我们将此数据存储在名为 food_data 的数据库中、在measurement orders中的字段phone和website。
样本
name: orders
------------
time phone website
2016-05-10T23:18:00Z 10 30
2016-05-10T23:18:10Z 12 39
2016-05-10T23:18:20Z 11 56
目标
假设在长期运行中，我们只对以30分钟为周期的通过电话和网站的订单数感兴趣，在接下来，我们通过CQ和RP来
- 自动地将10秒为周期的解决方案数据聚合为30分钟为周期的数据
- 自动地将2小时之前的10秒为周期的数据行删除
- 自动地删除52周前地30分钟为周期地数据
数据库准备
我们在向food_data插入数据之前先做一些准备工作。原因是因为CQ只对最近的数据进行操作。
创建数据库
CREATE DATABASE "food_data"
创建2小时的RP
如果在写入数据的时候不指定RP，那么InfluxDB会使用默认的RP。由于我们想把每十秒写进来的数据自动使用2小时的RP（而不需要手动指定），我们将默认的RP修改成2h。
CREATE RETENTION POLICY "two_hours" ON "food_data" DURATION 2h REPLICATION 1 DEFAULT
这个语句在food_data中创建了一个名叫two_hours的RP。two_hours默认保留2小时的数据，并且是food_data数据库的默认RP
创建52周的RP
接下来我们创建一个52周的RP，用来存储每30分钟的数据。
CREATE RETENTION POLICY "a_year" ON "food_data" DURATION 52w REPLICATION 1
注意，这个RP并不是默认RP
创建CQ
现在我们已经设置了我们的 RP，我们想要创建一个连续查询 (CQ)，它会自动定期将 10 秒采样数据下采样到 30 分钟采样，然后将这些结果存储在不同的measurement和不同的RP中
使用CREATE CONTINUOUS QUERY语句来创建CQ
CREATE CONTINUOUS QUERY "cq_30m" ON "food_data" BEGIN
SELECT mean("website") AS "mean_website",mean("phone") AS "mean_phone"
INTO "a_year"."downsampled_orders"
FROM "orders"
GROUP BY time(30m)
END
不换行，用于复制
CREATE CONTINUOUS QUERY "cq_30m" ON "food_data" BEGIN SELECT mean("website") AS "mean_website",mean("phone") AS "mean_phone" INTO "a_year"."downsampled_orders" FROM "orders" GROUP BY time(30m) END
这个语句在food_data中创建了一个名为cq_30m的CQ。cq_30m告诉influxdb计算在measurement orders中在DEFAULT RP two hours下的30分钟内的website和phone的平均值。并且还让influxdb将这些结果写到measurement downsampled_orders，并使用a_year的老化策略，字段名分别为mean_website和mean_phone。Influxdb每30分钟运行一次前30分钟的数据
结果
有了CQ和RP，之后，我们就可以往数据库中写入数据了，让我们插入几条数据
INSERT orders phone=5,website=20
INSERT orders phone=5,website=21
INSERT orders phone=5,website=20
INSERT orders phone=2,website=4
image-20210814232112368
这个时候downsampled_orders还没有数据，我们需要等待它运行一段时间（半小时起步）
image-20210814231859435
image-20210814233440783
网友评论