Lenses是 Apache Kafka的流式数据管理平台。它提供了Kafka的核心元素以及 web 用户界面和企业功能。这将在使用 Apache Kafka时为工程团队、业务用户、数据科学家和管理员带来更好的用户体验。
特性 | 说明 |
---|---|
灵活性 | 查看和存储任何类型的数据。 使用批处理或交互式SQL对其进行操作 |
集成 | 有25多个(开源的流响应式)Kafka连接器,用于连接到流行的数据存储 |
安全 | 使用SSL,LDAP和Kerberos处理和控制敏感数据 |
可扩展性 | 提供SQL处理器并通过Kubernetes和其他可扩展模式对其进行扩展以适应您的需求 |
高可用性 | 有信心执行实时的操作业务任务 |
监控 | 提供基础架构和应用拓扑KPI |
兼容性 | 可利用你现有的IT基础架构 |
审计 | 基于角色的访问和审计 |
浏览运行中的数据
Lenses提供了丰富的Web界面以及相关的REST和WebSocket端点,它们协同工作使你能够实时浏览Kafka主题,或者通过完全访问partition/offset/timestamp信息来浏览、搜索和过滤历史数据。
SQL处理器
使用 SQL 处理器创建无限数据查询以聚合、联接和/或转换流。通过 UI, 你可以可视化监视拓扑结构甚至扩展。此外, 执行计划查看器允许你优化性能。
流拓扑
使用Lenses, 你可以现在构建和操作复杂的流式拓扑结构,如ETL数据管道,流处理,以及将多个Connectors,Processors和Topics相结合的完整数据沿袭分析。
Lenses不仅能够可视化LSQL处理器的拓扑结构,还能够显示全局,高层次的景观视图,包括构成企业管线的主题,连接器和处理器。
Avro支持
完全支持Avro消息,包括十进制类型(适用于金融机构),在Lenses SQL Engine中可用。 Lenses平台与你的模式注册集成,并提供丰富的用户界面来创建、编辑和跟踪模式。
Kafka连接
通过Lenses,你可以管理多个“Kafka连接”集群,轻松构建流式ETL数据管道,同时监控连接器及其任务。 Lenses包含最大数量的Apache Kafka连接器(并支持Lenses SQL),适用于包括Cassandra、Elastic、InfluxDB、Azure CosmosDB、MQTT、JMS等在内的所有主要数据sources和sinks。
消费滞后
实时监控Kafka消费滞后并管理消费offset。 设置警报以确保你可以扩展或采取适当的操作。
监控服务
通过JMX为Kafka Brokers,Zookeeper,Schema Registry和Connect监控核心服务和基础设施。 预防潜在问题并对其做出响应,并深入了解集群的性能。
警报
设置警报并预防问题。
审计
跟踪Kafka集群的所有更改:主题创建,配置修改,删除(针对模式,连接器和处理器)。
安全
Lenses支持基本认证和LDAP。 此外,还提供了不同的操作员角色来限制用户操作,为操作员提供了一种在Kafka上提供安全性的方法。 用户可以管理主题ACL(访问控制列表)来限制reader和writer的数据。
Hadoop集成
使用CSD包(Cloudera自定义服务描述符)来升级你的数据流功能的Cloudera CDH集群,来部署、配置、扩展和管理你的Apache Kafka集群。 完全支持Kafka Connect,并允许利用Cloudera Manager集成进行监控。
Lenses SQL引擎
Lenses SQL是一个多用途引擎,它完全支持Avro和Json负载类型,并且可以执行批处理和实时流SQL。
网友评论