美文网首页webGIS开源
ClickHouse亿点抽样展示

ClickHouse亿点抽样展示

作者: polong | 来源:发表于2021-01-07 10:01 被阅读0次

数据准备

    数据源 (点数据使用之前导入的数据120038310条,https://juejin.cn/post/6903100159484395534)

 CREATE TABLE default.points
(
    `id` UInt32,
    `Lon` Float32,
    `Lat` Float32
)
ENGINE = MergeTree()
ORDER BY (intHash64(id), Lon, Lat)
SAMPLE BY intHash64(id)
SETTINGS index_granularity = 8192
insert into points SELECT id,Lon,Lat FROM pnts

采样功能和Hash函数

SAMPLE 子句特点

该 SAMPLE 子句允许近似于 SELECT 查询处理。

启用数据采样时,不会对所有数据执行查询,而只对特定部分数据(样本)执行查询。 例如,如果您需要计算所有访问的统计信息,只需对所有访问的1/10分数执行查询,然后将结果乘以10即可。

近似查询处理在以下情况下可能很有用:

当你有严格的时间需求(如<100ms),但你不能通过额外的硬件资源来满足他们的成本。
当您的原始数据不准确时,所以近似不会明显降低质量。
业务需求的目标是近似结果(为了成本效益,或者向高级用户推销确切结果)。

    Hash函数intHash64可以用于将元素不可逆的伪随机打乱。经过测试一亿多个点得抽样性能比较满意,可以为页面提供比较满意得展示。注意事项:sample的字段必须是int类型,必须在主键或者排序中。

抽样sql,0.01为示例,可根据实际修改

SELECT id,Lon,Lat FROM points SAMPLE 0.01

增加服务端和网页

    使用Express作为服务端,请求数据并且在网页中使用Maptalks展示,本地测试
[图片上传失败...(image-4abeef-1609984875573)]


image

参考资料:

https://clickhouse.tech/docs/zh/sql-reference/functions/hash-functions/#md5

https://clickhouse.tech/docs/zh/sql-reference/statements/select/sample/

相关文章

  • ClickHouse亿点抽样展示

    数据准备     数据源 (点数据使用之前导入的数据120038310条,https://juejin.cn/po...

  • 确定抽样方法和收集资料

    抽样方法 概率抽样 单纯随机抽样、系统抽样、分层抽样、整群抽样。 非概率抽样 便利抽样(用的比较多)、主观抽样、配...

  • clickhouse入门

    clickhouse使用 clickhouse介绍 启动方式 clickhouse-server --daemon...

  • 统计学基础2

    目录 抽样和抽样分布 区间估计 假设检验 抽样和抽样分布 抽样是为了估计总体的参数 样本比率: 样本均值的抽样分布...

  • 四、ClickHouse表引擎详解

    ClickHouse引擎 4.2 ClickHouse数据库引擎 4.3 ClickHouse表引擎 4.3.1 ...

  • 2019-08-05丨《市场调查与预测》丨抽样程序

    抽样程序: 定义总体—确定抽样框架—确定抽样单位—确定抽样方法—确定样本容量—制定抽样计划—选择样本。 定义总体就...

  • ClickHouse——表引擎详解

    前言 ClickHouse 的表引擎是 ClickHouse 服务的核心,它们决定了 ClickHouse 的以下...

  • R和python 随机抽取N个细胞

    Seurat抽样 scanpy抽样

  • 统计

    抽样采集数据:概率抽样和非概率抽样概率抽样也称为随机抽样,是指遵守随机原则进行的抽样,总体中每个单位都有一定的机会...

  • ClickHouse集群搭建(一)

    满目山河空念远,落花风雨更伤春。 ClickHouse概述 什么是ClickHouse? ClickHouse 是...

网友评论

    本文标题:ClickHouse亿点抽样展示

    本文链接:https://www.haomeiwen.com/subject/zqoaoktx.html