Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本，提供了超 60 个新特性和功能增强， 标志着 Linkis 正式进入1.0版本时代。
Linkis 是什么？
Linkis
在上层应用和底层引擎之间构建了一层计算中间件，上层应用只需对接 Linkis 提供的 REST/WS/JDBC 等标准接口，就能连接到
MySQL/Spark/Hive/Presto/Flink 等各种底层计算存储引擎，并实现上层应用间的互通。
Linkis1.0.0-RC1 带来了“计算治理”理念的全新架构实现，提供了全栈计算/存储引擎的架构支持，包括离线批量型、交互式型、实时流式型和存储型，并新增了多种新特性，向下兼容 Linkis0.X 版本的所有接口。
开源地址
https://github.com/WeBankFinTech/Linkis
https://gitee.com/WeBankFinTech/Linkis
新版简介
丰富的底层计算存储引擎支持度
已支持的计算存储引擎：Spark、Hive、Python、Presto、ElasticSearch、MLSQL、TiSpark、JDBC和Shell等；
集成中的计算存储引擎：Flink、Impala和Clickhouse等；
已支持的脚本语言：SparkSQL、Scala、Pyspark、R、Python、JDBC、HiveQL和Shell等。
强大的计算治理能力
Linkis 1.0总体分为三大模块：公共增强服务、计算治理服务、微服务治理服务。三大模块简介如下：
公共增强服务为Linkis 0.X已经提供的物料库服务、上下文服务、数据源服务和公共服务等；
微服务治理服务为Linkis 0.X已经提供Spring Cloud Gateway、Eureka和Open Feign，同时 Linkis1.0还会提供对Nacos的支持；
计算治理服务是Linkis 1.0的核心重点，从 提交 —> 准备 —> 执行三个阶段，来全面升级Linkis 对 用户任务的执行管控能力。
全栈计算存储引擎架构支持
作为计算中间件，将接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量型、交互式型、实时流式型和存储型任务，并提供强大的复用、预热、限流、切换、全生命周期管理等计算治理能力；
更强大的资源管理能力
ResourceManager不仅具备Linkis0.X对Yarn和Linkis EngineManager的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让ResourceManager具备跨集群、跨计算资源类型的强大资源管理能力；
全流程标签化
基于多级组合标签，提供跨IDC、跨集群的计算任务路由管控能力，和EngineConnManager, EngineConn的多租户隔离能力；
统一上下文服务
统一用户和系统资源文件（JAR、ZIP、Properties等），跨用户、系统、计算引擎的参数和变量统一管理，一处设置，处处自动引用；
统一物料
系统和用户级物料管理，可分享和流转，跨用户、系统共享物料，支持全生命周期自动管理。
全新特性
[Linkis-572] 在“Entrance”模块中新增了EngineConn管理插件。
[Linkis-576] 新增EngineConnPlugin模块，简化用户实现Linkis新计算存储引擎。
[Linkis-579] 新增EngineConn的交互式类型顶层设计，让用户实现交互式引擎更加简单容易。
[Linkis-584]新增LinkisManager Common模块，为LinkisManager提供常用工具类。
[Linkis-585]新增LinkisManager Monitor模块，用于LinkisManager实时监控EngineConn和EngineConnManager的健康状态。
[Linkis-587] 新增EngineConn Common模块，为EngineConn提供常用工具类。
[Linkis-590] 新增EngineConn的核心模块，提供了EngineConn核心接口的定义。
[Linkis-591] 新增Computation Governance Common模块，为计算治理的所有服务提供常用工具类。
[Linkis-599] 新增Linkis ResourceManager Common模块，提供常用工具类。
[Linkis-600] 新增LinkisManager Service Common模块，为AppManager和ResourceManager提供常用工具类。
[Linkis-602] 新增LinkisManager Persistence模块，用于持久化EngineConn和EngineConnManager的信息。
[Linkis-604] 新增微服务标签功能，并支持为每个微服务添加标签。
[Linkis-609] 新增Linkis Label模块，为Linkis全流程的标签化能力 提供基础支撑。
[Linkis-611] 强化Linkis的管控能力，全新抽象Linkis AppManager模块，用于管理EC和ECM的全生命周期。
[Linkis-630] 新增EngineConn Launch模块，提供EngineConn的main class入口。
功能增强
[Linkis-569] 增强Linkis RPC的处理能力，并向下兼容Linkis0.X的 RPC。
[Linkis-574] 增强Linkis的标签管理功能，支持对EngineConnManager和EngineConn进行标签管理。
[Linkis-575] 增强ResourceManager的能力，并将其集成到LinkisManager中。
[Linkis-578] 增强EngineManager，全新定义实现EngineConnManager模块。
[Linkis-580] 增强SparkEngineConn，以适配Linkis1.0新架构。
[Linkis-583] 增强ShellEngine，以适配Linkis1.0新架构。
[Linkis-592] 增强JDBCEngine，以适配Linkis1.0新架构。
[Linkis-594] 增强IOEngine，以适配Linkis1.0新架构。
[Linkis-596] 增强HiveEngine，以适配Linkis1.0新架构。
[Linkis-597] 增强PipelineEngine，以适配Linkis1.0新架构。
[Linkis-606] 拆分Linkis0.X的EngineReceiver为多种Service，封装到Executor模块。
[Linkis-608] 增强Linkis启动和关闭服务的脚本，优化启动步骤。
[Linkis-618] 增强PublicService和ContextService模块，以适配Linkis1.0新架构。
[Linkis-638] 增强Linkis Common的加密功能。
[Linkis-643] 增强DataSource模块，以适配Linkis1.0新架构。
[Linkis-645] 增强Linkis Hadoop模块，使Linkis支持多套Hadoop 集群。
[Linkis-648] 增强Linkis httpclient模块以支持PUT和Delete请求。
[Linkis-650] 优化Linkis mybatis模块,以与mybatis-plus集成。
[Linkis-652] 增强Linkis protocol模块，以适配Linkis1.0新架构。
[Linkis-654] 增强Linkis Gateway模块，支持通过标签路由转发前端请求。
[Linkis-655] 增强Linkis JobHistory模块，支持缓存Job的结果集，强化Job标签的管理功能。
[Linkis-656] 优化Linkis RPC模块序列化器的底层实现。
[Linkis-660] 增强Linkis Scheduler模块，支持自动清除空闲的Consumer。
[Linkis-662] 增强Linkis user control模块，以适配Linkis1.0新架构。
[Linkis-663] 增强Linkis Entrance模块，以适配Linkis1.0新架构。
[Linkis-666] 优化目录层次结构并删除无用的目录。
[Linkis-668] 增强Linkis storage模块，以支持viewFS和多hadoop集群。
[Linkis-674] 增强PythonEngineConn，以适配Linkis1.0新架构。
[Linkis-675] 优化目录，更新所有pom文件的版本信息。
社区贡献
Linkis 1.0.0-RC1的发布与WeDataSphere社区的贡献者密不可分。他们无私奉献自己的时间，并为文档的构建、简化部署和完善用户体验提出了许多有价值的建议。没有他们的帮助，Linkis 1.0.0-RC1不能如此顺利地发布。
谢谢社区的所有贡献者！
升级向导
原则上，Linkis 1.0.0-RC1的所有接口都向下兼容，因此升级对上层应用无感。
作为计算中间件，除了PublicService的用户配置数据外，Linkis数据库中的其他数据无需迁移。
有关PublicService用户配置数据的迁移，请参阅Linkis Wiki：Linkis1.0.0-RC1升级文档。
WeDataSphere，BIG DATA MADE EASY.
用心做一个有温度的开源社区
网友评论