功能概述

作者: 乐言笔记 | 来源:发表于2018-03-21 16:46 被阅读258次

Lenses是 Apache Kafka的流式数据管理平台。它提供了Kafka的核心元素以及 web 用户界面和企业功能。这将在使用 Apache Kafka时为工程团队、业务用户、数据科学家和管理员带来更好的用户体验。

特性 说明
灵活性 查看和存储任何类型的数据。 使用批处理或交互式SQL对其进行操作
集成 有25多个(开源的流响应式)Kafka连接器,用于连接到流行的数据存储
安全 使用SSL,LDAP和Kerberos处理和控制敏感数据
可扩展性 提供SQL处理器并通过Kubernetes和其他可扩展模式对其进行扩展以适应您的需求
高可用性 有信心执行实时的操作业务任务
监控 提供基础架构和应用拓扑KPI
兼容性 可利用你现有的IT基础架构
审计 基于角色的访问和审计

浏览运行中的数据

Lenses提供了丰富的Web界面以及相关的REST和WebSocket端点,它们协同工作使你能够实时浏览Kafka主题,或者通过完全访问partition/offset/timestamp信息来浏览、搜索和过滤历史数据。


SQL处理器

使用 SQL 处理器创建无限数据查询以聚合、联接和/或转换流。通过 UI, 你可以可视化监视拓扑结构甚至扩展。此外, 执行计划查看器允许你优化性能。


流拓扑

使用Lenses, 你可以现在构建和操作复杂的流式拓扑结构,如ETL数据管道,流处理,以及将多个Connectors,Processors和Topics相结合的完整数据沿袭分析。

Lenses不仅能够可视化LSQL处理器的拓扑结构,还能够显示全局,高层次的景观视图,包括构成企业管线的主题,连接器和处理器。


Avro支持

完全支持Avro消息,包括十进制类型(适用于金融机构),在Lenses SQL Engine中可用。 Lenses平台与你的模式注册集成,并提供丰富的用户界面来创建、编辑和跟踪模式。


Kafka连接

通过Lenses,你可以管理多个“Kafka连接”集群,轻松构建流式ETL数据管道,同时监控连接器及其任务。 Lenses包含最大数量的Apache Kafka连接器(并支持Lenses SQL),适用于包括Cassandra、Elastic、InfluxDB、Azure CosmosDB、MQTT、JMS等在内的所有主要数据sources和sinks。


消费滞后

实时监控Kafka消费滞后并管理消费offset。 设置警报以确保你可以扩展或采取适当的操作。


监控服务

通过JMX为Kafka Brokers,Zookeeper,Schema Registry和Connect监控核心服务和基础设施。 预防潜在问题并对其做出响应,并深入了解集群的性能。



警报

设置警报并预防问题。


审计

跟踪Kafka集群的所有更改:主题创建,配置修改,删除(针对模式,连接器和处理器)。


安全

Lenses支持基本认证和LDAP。 此外,还提供了不同的操作员角色来限制用户操作,为操作员提供了一种在Kafka上提供安全性的方法。 用户可以管理主题ACL(访问控制列表)来限制reader和writer的数据。


Hadoop集成

使用CSD包(Cloudera自定义服务描述符)来升级你的数据流功能的Cloudera CDH集群,来部署、配置、扩展和管理你的Apache Kafka集群。 完全支持Kafka Connect,并允许利用Cloudera Manager集成进行监控。


Lenses SQL引擎

Lenses SQL是一个多用途引擎,它完全支持Avro和Json负载类型,并且可以执行批处理和实时流SQL。

相关文章

  • 功能概述

    币种在各家交易所的K线数据 涨幅榜,跌幅榜(24h,1周) 成交排行榜(交易所,币种) 新上市币种 币种详细信息c...

  • 功能概述

    Lenses是 Apache Kafka的流式数据管理平台。它提供了Kafka的核心元素以及 web 用户界面和企...

  • Nginx功能概述

    处理静态文件,索引文件及自动索引。 反向代理加速(无缓存),简单的负载均衡和容错。 FastCGI,简单的负载均衡...

  • 1 功能概述

    Polymer库提供了一套功能来创建自定义标签。这些功能设计能够简单、迅速地让自定义标签象标准DOM标签一样使用。...

  • jQuery功能概述

    jQuery 如何获取元素 jQuery的基本设计思想和主要用法,就是"选择某个网页元素,然后对其进行某种操作"。...

  • 计网链路层

    功能概述

  • 族谱网站产品简单规划

    目录 整体功能需求概述 域名服务器 权限 前端 后台逻辑 成本投入与维护 整体功能需求概述 现实情况概述 目前族谱...

  • smarty 购物车功能概述

    购物车功能概述

  • 功能富集分析概述

    基因功能的富集分析已成为高通量组学数据分析的常规手段,对于揭示生物医学分子机制具有重要意义。关于GO、KEGG、G...

  • iOS 支付功能概述

    常见的支付方案 第三方支付SDK 苹果官方支付方案 web支付方案 常见的支付方案 支付宝支付 https://d...

网友评论

    本文标题:功能概述

    本文链接:https://www.haomeiwen.com/subject/qnegqftx.html