桌面版介绍
白泽桌面版集成了白泽所有组件，安装后可完成各类数据需求。Linux MacOS 版提供完整功能；Windows 版不建议使用，因 Windows 对 HDFS API 支持不完善。请从官网下载 白泽桌面版2.2.1 Linux 版 和 MacOS 版 ， 并根据 官方文档 安装。
这篇文章介绍桌面版构建过程。
桌面版组成
桌面版组成
这里 VS Code Plugin 以 TypeScript 开发，是桌面版的前端部分 ；Language Server 桥接前端和白泽引擎；Spark 是白泽桌面版的底层计算引擎。
构建流程
理解桌面版组成后，就容易理解以下步骤。下面详细介绍各个步骤。
桌面版构建流程
构建 Byzer-lang
这一部分，参考 官方文档 适配 Spark 3.1.1 。
git clone https://github.com/byzer-org/byzer-lang#building-a-distribution
export MLSQL_SPARK_VERSION=3.0
./dev/make-distribution.sh
完成后，得到 mlsql-engine_3.0-<version>.tar.gz 解压得到 mlsql-engine_3.0-<version>.jar 这是 Byzer-lang 的 jar 。
构建 Language Server
Language Server 是 Byzer-lang 的一个插件。这一步，我们也构建 3 个实用插件
- mlsql-excel 读写 Excel 文件
- mlsql-shell 执行 Shell 脚本
- mlsql-mllib 常用机器学习库
git clone https://github.com/byzer-org/byzer-extension
pip install mlsql_plugin_tool
mlsql_plugin_tool build --module_name mlsql-language-server --spark spark311
mlsql_plugin_tool build --module_name mlsql-mllib --spark spark311
mlsql_plugin_tool build --module_name mlsql-excel --spark spark311
mlsql_plugin_tool build --module_name mlsql-shell --spark spark311
上述命令在 mlsql-language-server mlsql-mllib mlsql-excel mlsql-shell 子目录的 target 子目录生成 jar 包。
例如, 对于 mlsql-language-server
total 4.2M
-rw-rw-r-- 1 hadoop hadoop 1 Feb 26 14:54 classes.timestamp
drwxrwxr-x 3 hadoop hadoop 4.0K Feb 26 14:54 classes
drwxrwxr-x 3 hadoop hadoop 4.0K Feb 26 14:54 generated-sources
-rw-rw-r-- 1 hadoop hadoop 11K Feb 26 14:54 mlsql-language-server-3.0_2.12-0.1.0-SNAPSHOT-sources.jar
drwxrwxr-x 2 hadoop hadoop 4.0K Feb 26 14:54 test-classes
drwxrwxr-x 2 hadoop hadoop 4.0K Feb 26 14:54 maven-archiver
-rw-rw-r-- 1 hadoop hadoop 25K Feb 26 14:54 original-mlsql-language-server-3.0_2.12-0.1.0-SNAPSHOT.jar
drwxrwxr-x 2 hadoop hadoop 4.0K Feb 26 14:54 javadoc-bundle-options
-rw-rw-r-- 1 hadoop hadoop 62K Feb 26 14:54 maven-javadoc-plugin-stale-data.txt
drwxrwxr-x 3 hadoop hadoop 4.0K Feb 26 14:54 apidocs
-rw-rw-r-- 1 hadoop hadoop 72K Feb 26 14:54 mlsql-language-server-3.0_2.12-0.1.0-SNAPSHOT-javadoc.jar
-rw-rw-r-- 1 hadoop hadoop 4.0M Feb 26 14:54 mlsql-language-server-3.0_2.12-0.1.0-SNAPSHOT.jar
下载 JDK Spark
下载 Spark 3.1.1 ，请勿选择其他版本。Spark 3.1.1 通过了白泽团队兼容性测试。
wget --no-check-certificate --no-verbose \
https://archive.apache.org/dist/spark/spark-3.1.1/spark-3.1.1-bin-hadoop3.2.tgz
国内从华为云下载 Linux jdk8u151，速度飞快。
wget --no-check-certificate --no-verbose "https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz"
从白泽官网下载 Mac JDK8
wget --no-check-certificate --no-verbose https://download.byzer.org/byzer/misc/jdk8_mac.zip
生成 VS Code Plugin
一个 VS Code Plugin 即 vsix 文件，也是 zip 压缩包，它由 vsce 工具生成。vsce 安装参考 vsce 。下面开始：
首先，我们看下压缩包结构:
└── extension.vsixmanifest
└── '[Content_Types].xml'
└── extension
├── dist
│ └── mlsql-lang // byzer-lang
│ ├── bin
│ ├── jdk8 // JDK
│ ├── libs
│ ├── main // streamingpro-mlsql-spark jar
│ ├── plugin // excel shell mllib language-server jar
│ └── spark
├── docs
├── node_modules
├── out
└── syntaxes
└── language-configuration.json
└── LICENSE.txt
└── package.json
└── README.md
CHANGELOG.md
所以，按图索骥构造目录结构。
git clone https://github.com/byzer-org/byzer-desktop.git
cd byzer-desktop
# 创建子目录
mkdir -p dist/mlsql-lang/bin
mkdir -p dist/mlsql-lang/libs
mkdir -p dist/mlsql-lang/main
mkdir -p dist/mlsql-lang/plugin
# 拷贝 Byzer-lang
cp <byzer-lang-main-jar> dist/mlsql-lang/main/
# 拷贝language-server 及其他
cp <language-server-plugin> dist/mlsql-lang/plugin/
cp <shell-plugin> dist/mlsql-lang/plugin/
cp <excel-plugin> dist/mlsql-lang/plugin/
cp <mllib-plugin> dist/mlsql-lang/plugin/
# 拷贝 Spark
tar -xf <spark_download_path>/spark-3.1.1-bin-hadoop3.2.tgz -C dist/mlsql-lang/
mv dist/mlsql-lang/spark-3.1.1-bin-hadoop3.2 dist/mlsql-lang/spark
# 拷贝 JDK8
tar -xf <jdk8_path>/jdk-8u151-linux-x64.tar.gz -C dist/mlsql-lang/
mv dist/mlsql-lang/jdk1.8.0_151 dist/mlsql-lang/jdk8
# 构建 VS Code Plugin 前端代码
npm install
再调用 vsce 命令生成 VS Code Plugin 文件，例如 mlsql-0.0.6.vsix
cd byzer-desktop
vsce package
安装后就可以愉快玩耍了。
网友评论