WeDataSphere 公众号回复“2022WDS年中大会“获取讲师分享材料
点击“阅读原文”可查看完整视频
8月27日下午，2022 WeDataSphere社区年中大会通过线上直播顺利举行。本次大会持续3小时，干货满满，讲师们对八大开源组件进行了全面解读。有超过8000名开发者参与观看，300+开发者参与社区问卷调查，大家积极参与提问互动。
我们邀请了9位社区分享嘉宾进行分享，包括WeDataSphere发起人/微众银行大数据平台负责人邸帅、前阿里大数据专家/Apache Linkis PPMC 陶克路、仙翁科技大数据工程师李孟、天翼云大数据工程师/Apache Linkis Committer 陆小龙、萨摩耶科技大数据工程师陈文东、微众银行4位大数据工程师-王哲、周玉壮、饶进阳、吴梓煜。
下面我们来回顾一下本次大会的精华内容。
主题一：《WeDataSphere总体介绍与社区新晋突出贡献者致谢》
嘉宾：邸帅 WeDataSphere发起人/Apache Linkis发起人/微众银行大数据平台负责人
分享精华：
从2019年WeDataSphere进行开源，到目前为止已覆盖多个行业，收到反馈并且投产的企业有103家，生产中管理的数据量超过410PB，社区用户有7000+，以及251名贡献者。
社区的发展离不开大家的积极参与和贡献，在今年以来社区涌现出18位优秀的贡献者，分别为孙顺、许灵、鲍洋、陶时、陶志强、林武康、李孟、杜函敏、pjfanning、周新明、高赛、李凡聪、杨云、汤佳斌、张燕妮、谢军、资飞、范俊甫。在此社区向大家表达感谢，同时鼓励有兴趣参与社区建设的开发，可以主动联系我们，一起共建WeDataSphere社区。
主题二：《计算中间件 Apache Linkis 1.1.2和1.3.0版本介绍》
嘉宾：陶克路 前阿里大数据专家/Apache Linkis PPMC
分享精华：
Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件，以标准化可重用的方式解 决“计算治理”问题，提供了强大的连通、管控、编排、扩展和复用能力。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口，上层应用可以方便地连接 访问MySQL/Spark/Hive/Presto/Flink 等底层引擎，同时实现了变量、 函数、脚本文件等 用户资源的跨上层应用横向互通。通过将上层应用和底层引擎解耦，Linkis 简化了数据平台复杂的网状调用关系，降低了整 体复杂度，节约了开发和运维成本，让数据平台变得更加灵活柔性可控。
1.1.2版本主要功能包括无HDFS模式的精简化部署，支持Sqoop引擎、支持Scriptis单独集成Linkis、用TaskId作为TraceId等。
未来在1.3.0版本中逐步实现云原生化，能够使用容器和k8s简化生产部署、微服务之间资源隔离、多版本支持、复用k8s环境资源等优点。
主题三：《工作流任务调度系统 Schedulis 0.7.0版本发布》
嘉宾：王哲 微众银行大数据工程师
分享精华：
Schedulis是一个基于LinkedIn的开源项目Azkaban开发的工作流任务调度系统。该调度系统具备高性能，高可用（去中心化多调度中心和多执行器）和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio。
Schedulis支持常规的CommandShell和Linkis（HadoopMR、Hive、Spark、Sqoop、Python）大数据任务；同时还支持特色的数据检查和工作流之间的依赖任务；支持完善的告警和工作流执行策略;提供多种类型的参数设置，动态全局变量和简单易用的UI。
新版本Schedulis 0.7.0 全面适配DSS1.1.0和Linkis 1.1.1版本，修复了用户在使用过程中的问题以及安全漏洞和合并社区贡献者在GitHub上的PR。
主题四：《数据交换平台 Exchangis 1.0.0 版本介绍》
嘉宾：李孟 仙翁科技大数据工程师
分享精华：
Exchangis 1.0.0 是微众银行大数据平台 WeDataSphere 与社区用户共同研发的新版数据交换工具，支持异构数据源之间的结构化和非结构化数据传输同步。Exchangis核心特点在于数据同步的稳定性高、响应快，数据源管理轻量化、与DSS工作流打通，实现一站式大数据开发。
在本次新版本中对任务执行和配置模块进行了重构、支持AOOCONN工作流节点模块、支持引擎模块等新功能。
主题五：《数据质量管理平台 Qualitis 0.9.2 版本介绍》
嘉宾：周玉壮 微众银行大数据工程师
分享精华：
Qualitis是一个支持多种异构数据源的质量校验、通知、管理服务的数据质量管理平台，用于解决业务系统运行、 数据中心建设及数据治理过程中的各种数据质量问题。
Qualitis v0.9.2版本主要 Appconn 的重构以及页面功能的优化，包括文件校验、库级一致性比对配置优化、Dss Qualitis Appconn 新架构适配;安全执行改造（沙箱部署优化）。
主题六：《一站式数据应用开发管理门户 DataSphere Studio 1.1.0 版本介绍》
嘉宾：陆小龙 天翼云大数据工程师 / Apache Linkis Committer
分享精华：
天翼云在政府和企事业单位领域有比较大的优势，我们刚好负责的是面向客户的，为了快速响应客户需求，我们需要有一套一站式的大数据平台，并且是完全可以自主可控的。因此经过选型后，发现WDS非常符合我们的需求，最终选择了WDS，并且参与了DSS和Linkis的开源项目，成为社区的贡献者。
在新版本DSS 1.1.0中，集成了DolphinScheduler 1.3.X版本、更友好的新手引导、换肤、帮助手册等前端体验的优化；简化了DSS&Linkis的全家桶安装部署流程、支持老版本升级和AppConn的架构优化。
主题七：《可视化BI工具 Visualis 1.1.0 版本介绍》
嘉宾：饶进阳 微众银行大数据工程师
分享精华：
Visualis是一个基于宜信开源项目Davinci开发的数据可视化BI工具。现已集成到一 站式数据应用开发门户DataSphere Studio中。Visualis支持拖拽式报表定义、图 表联动、钻取、全局筛选、多维分析、实时查询等数据开发探索的分析模式，并提供水印、数据质量校验等金融级增强功能。
本次发布的1.0.0版本，完成了针对DSS1.1.0和Linkis1.x的适配，对接了DSS的结 果集可视化分析、工作流报表开发、邮件发送等多个功能，通过实现AppConn规范，接入DSS1.0和Linkis1.0，支持View、Widget、Display、DashBoard工作流 节点工作开发，报表制作和报表 定时调度功能。
主题八：《流式应用开发管理系统 Streamis 0.2.0 版本介绍》
嘉宾：陈文东 萨摩耶科技大数据工程师
分享精华：
Streamis初期是微众银行联合天翼云、仙翁科技和萨摩耶云联合共建的一个流式应用开发管理系统。以DSS&Linkis底座，打造领先的流式应用管理系统；以 Flink为底层计算引擎，应用开发层与DSS的数据应用开发流程整合，提供极简的用户体验;应用执行；集成Linkis计算中间件，打造具备高并发、高可用、多租户隔离和资源管控等能力的流式应用管理能力。• 流式应用开发调试能力；支持流式作业的多版本管理、全生命周期管理、监控告警、checkpoint 和 savepoint 管理能力。
基于Streamis部署简单、第三方依赖少、轻松集成DSS、流式应用的多版本管理能力等优点，萨摩耶科技选择采用Streamis的解决方案并且参与了后续的社区共建。
主题九：《机器学习平台 Prophecis 0.3.2 版本介绍》
嘉宾：吴梓煜 微众银行大数据工程师
分享精华：
Prophecis 是WeDataSphere社区开源的一站式机器学习平台，集成多种开源机器学习框架，具备机器学习计 算集群的多租户管理能力，提供生产环境全栈化容器部署与管理服务。
Prophecis v0.3.2版本主要发布MLFlow实验及模型工厂模块，同时更新MLLbais部分功能；更新 MLFlow Appconn 模块，MLFlow实验工作流适配DSS新版本；更新 MLSS(Prophecis) Appconn 模块，Prophecis Appconn适配DSS新版。
公众号回复“2022WDS年中大会“获取讲师分享材料
点击“阅读原文”可查看完整视频
— END —
如何成为社区贡献者
1 ► 官方文档贡献。发现文档的不足、优化文档，持续更新文档等方式参与社区贡献。通过文档贡献，让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略：保姆级教程：如何成为Apache Linkis文档贡献者
2 ►代码贡献。我们梳理了社区中简单并且容易入门的的任务，非常适合新人做代码贡献。请查阅新手任务列表：https://github.com/apache/incubator-linkis/issues/1161
3 ►内容贡献：发布WeDataSphere开源组件相关的内容，包括但不限于安装部署教程、使用经验、案例实践等，形式不限，请投稿给小助手。例如：
社区开发者专栏 | MariaCarrie：Linkis1.0.2安装及使用指南
4 ►社区答疑：积极在社区中进行答疑、分享技术、帮助开发者解决问题等；
5 ►其他：积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等；
网友评论