概述
通过给visual studio code安装插件的形式为公司提供一站式基于数据的解决方案，包括不限于数据采集，数据计算，数据抽取，数据展现等，平台提供javascript(支持es6语法),python3,ss(原创数据处理领域语言)三种开发语言，让您可以轻松编写数据处理脚本。该脚本的执行触发形式支持以下方式：
- 手动任务：需要用户手动触发
- 定时任务：基于cron表达式的定时任务触发；
- 表触发任务：基于mysql表数据实时变动时触发，可灵活定义表/字段触发范围和数据合并滑动窗口（秒）触发；
- 流数据订阅任务：基于其他流数据形式变动的触发，流数据来源包括但不限于
kafka，rabbitmq,rocketmq,redis等
脚本可以被发布成RestAPI，这样您提取的数据被其他人引用或做成UI界面供其他用户浏览。
image.png
技术要点
vscode插件开发可参考：https://code.visualstudio.com/api/get-started/your-first-extension
-
语言服务：包括如何定义自定义领域语言语法高亮，Hints，自定义类调用的代码提示，代码模板等；
image.png
-
websocket通信：用于将代码中的打印信息推送到vscode的output区域，输出区文字颜色区分
image.png
-
restapi：所有与后台交互的请求服务都依赖于它，UI中几乎所有数据都基于该接口请求数据
-
外部页面引用：目前看只能基于WebView，并发布在插件本地
image.png
-
自定义面板：树的动态加载与渲染，按需加载不同右键菜单，树节点图标和样式
image.png
-
工具栏按钮扩展：整合运行按钮，自定义工具按钮等
image.png
-
事件底层联动交互
image.png
亮点功能
运行环境隔离
数据开发是一项非常严谨的工作，需要严格的上线流程，否则针对数据的物理修改和删除会引起致命性生产问题，所以，针对数据开发的流程，首先就要做到环境隔离，写脚本的工程师需要在测试环境调测脚本（包括危险的DML操作），测试环境验证通过后，提交脚本上线申请，由专员审核脚本，确保没有危险操作，在兼顾开发效率的同时，也确保脚本安全。
规范上线流程
vscode提供了体验友好的编程环境，插件提供了脚本上线统一的流程，包括：代码编写 -> 测试环境调测 -> 申请发布 -> 脚本上线/拒绝。
多种执行方式
提供了脚本四种模式的触发执行，几乎涵盖所有数据业务处理场景：
- 手动任务：跑批或一次性数据处理任务。
- 定时任务：定时触发的数据任务，如每日数据清盘，爬虫抓取等。
- 表触发任务：可用于数据实时计算，复杂触发器的编写，缓存更新等
- 流数据订阅任务：异步分步数据处理任务，流数据来源包括但不限于
kafka，rabbitmq,rocketmq,redis等，通过侦听相关队列实现数据的实时计算。
sqlone语言
为进一步降低提取数据的使用门槛，我们在平台中统一使用sqlone语言（标准SQL语句）来提取包括kafka，rabbitmq,rocketmq,redis等的流数据和mysql,oracle,clickhouse,ElasticSearch等的数据库数据。
image.png
代码提示与模板
数据开发平台提供了一系列内置API库，详见文档：https://sdp-ui.idbhost.com/apidoc2/#/
平台除了对指定语言进行语法提示外，还支持对内置类/函数调用的语法提示，如下图：
image.png
关于ss语言
有了js和python脚本语言，为什么我们还需要原创ss数据处理领域语言，这是一门语法更简单、灵活、智能的数据处理语言，主要面向产品部和数据部人员，可方便他们快速更面向可视化的提取数据，大大降低编程门槛。如它可以采用混编语言更快速提取数据，利用??操作符可更安全处理空值，内置死循环判定等。如果要体验ss语言可访问：http://coding.sumslack.com
image.png
对外接口发布
调测好的脚本通过发布API操作可将接口返回的数据提供对外服务，在后续制作表单和自定义报表时提供服务，这样就可以开发自定义UI页面供外部使用。
可视化动态页面开发
通过简单的拖拉服务开发属于自己的UI页面，页面中的动态内容可由本平台开发的脚本语言通过发布API提供。
image.png
网友评论