ES|QL — 一种用于灵活、迭代分析的新查询语言，目前处于技术预览编辑状态
随着Elastic平台在搜索、安全、可观测性和通用分析领域的广泛应用，分析用户需要能够获取按照数据摄入的原始形式，对其进行转换以满足其调查需求，并从底层的Elasticsearch索引数据中提取见解。他们需要一个简明、集成和高效的工作流程，通过富有表达力的查询进行搜索、过滤、聚合和转换，减少或避免UI上下文切换。
为解决这些挑战，Elastic团队正在开发Elasticsearch查询语言（ES|QL）。ES|QL为Elastic用户提供了一种灵活、强大且健壮的查询表达语言，用于对数据进行查询。ES|QL还通过摄入后处理功能提供卓越的查询用户体验，从根本上改变和扩展了Elasticsearch的分析和数据处理能力。
ES|QL向不同角色和不同技能水平的用户引入了分布式计算功能。这些计算功能使ES|QL能够以几种关键方式简化用户工作流程。
- 利用卓越的查询用户体验：ES|QL查询表达式支持复杂的分析和数据处理，易于学习、阅读和共享。
- 利用Elasticsearch的过滤、聚合和转换能力，通过新的Elasticsearch计算和数据处理能力实现子查询和查找。
- 在Kibana的Discover、Kibana Lens和Elastic Solutions中使用ES|QL，实现无缝工作流。您将能够可视化ES|QL查询，通过仪表板或查询与团队共享，并使用查询创建自定义警报。
- 在Elastic Security中，创建一个ES|QL规则并使用ES|QL在Timeline中调查事件。使用AI助手编写查询，或回答有关ES|QL查询语言的问题。
数据流生命周期现已进入技术预览编辑状态
这标志着数据流生命周期已在技术预览中可用。数据流将能够利用内置的简化和弹性的生命周期实现。配置了生命周期的数据流将自动进行滚动和尾部合并（一种轻量级的forcemerge实现，仅合并小段的尾部而不是整个分片）。通过自动处理分片和索引维护任务，以确保最佳性能和在索引和搜索之间进行权衡，您将能够专注于与业务相关的生命周期方面，如数据保留。
使用IndexWriter.flushNextBuffer()来从索引缓冲区中回收内存
与强制刷新以从索引缓冲区中回收内存（刷新所有段，无论大小）不同，Elasticsearch现在利用IndexWriter#flushNextBuffer，它只刷新最大的待处理段。这应该使索引平滑进行，允许更大的段大小，减少合并次数，提高吞吐量。
此外，从下一个要回收内存的分片的选择算法已更改，不再选择使用最多RAM的分片，而是以循环方式遍历分片。在实践中，这种方法已被证明显著更有效。
网友评论