美文网首页
基于Elasticsearch的大数据测试方式以及原理简单介绍

基于Elasticsearch的大数据测试方式以及原理简单介绍

作者: 是萌萌哎 | 来源:发表于2019-06-05 17:15 被阅读0次

    最近一直在封闭进行测试,关于一些大数据的测试,了解到Elasticsearch这一数据框架的原理以及一系列测试方法。初步了解,后序会继续更新的,巴啦lalala。

    搬运了部分可以参考一下:https://www.cnblogs.com/dreamroute/p/8484457.html

    一.Elasticsearch简单的介绍:

    Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.

    至于Lucene是啥大家可以自行百度,以为我也在了解中,不再给不确定的东西做过多解释。

    1.分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索。

    2.实时分析的分布式搜索引擎。

    3.可以扩展到上百台服务器,处理PB级别的结构化或非结构化数据

    其实简单来说,个人可以理解为是一个庞大的数据库。

    1.Elasticsearch的索引其实就是相当于数据库对应的表

    2.而Elasticsearch是统计了数据库的数据,进行汇总。

    先说Elasticsearch的文件存储,Elasticsearch是面向文档型数据库,一条数据在这里就是一个文档,用JSON作为文档序列化的格式:

    如下:

    有些数据哈哈哈哈保密

    一个 Elasticsearch 集群可以包含多个索引(数据库),也就是说其中包含了很多类型(表)。这些类型中包含了很多的文档(行),然后每个文档中又包含了很多的字段(列)。Elasticsearch的交互,可以使用Java API,也可以直接使用HTTP的Restful API方式,比如我们打算插入一条记录,可以简单发送一个HTTP的请求。

    具体的操作指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/data-in-data-out.html

    二.那么他是如何做到快速搜索的呢

    我们都知道二叉树,B+树,B-树这些算法可以做到关系型数据库的快速查询,而Elasticsearch运用了倒排索引,具体暂时不做解释

    三.大数据开发同学统计所有的数据集成到Elasticsearch我们如何去调用sum,计算,取数呢

    有具体的javaAPI调用也支持其他语言,需要插件官方文档:https://www.elastic.co/guide/en/elasticsearch/client/java-api/7.2/index.html

    也会有可视化的平台 

    而我们需要些json语句进行计算:

    看着是不是很简单,但是花费了我很多精力5555555

    相关文章

      网友评论

          本文标题:基于Elasticsearch的大数据测试方式以及原理简单介绍

          本文链接:https://www.haomeiwen.com/subject/kgjsxctx.html