通常业务中对计算性能有要求时，通常不使用GPU跑tf，会使用xgboost on Spark来解决，既保证速度，准确率也能接受。
LightGBM是使用基于树的学习算法的梯度增强框架。它被设计为分布式且高效的，具有以下优点：
根据官网的介绍：
LigthGBM训练速度更快，效率更高。LightGBM比XGBoost快将近10倍。
降低内存使用率。内存占用率大约为XGBoost的1/6。
准确性有相应提升。
支持并行和GPU学习。
能够处理大规模数据。
大部分使用和分析LigthGBM的都是在python单机版本上。要在spark上使用LigthGBM，需要安装微软的MMLSpark包。
MMLSpark可以通--packages安装。
spark --packages参数
根据jar包的maven地址，使用该包，该参数不常用，因为公司内部的数据平台的集群不一定能联网。
如下示例：
$ bin/spark-shell --packages com.microsoft.ml.spark:mmlspark_2.11:1.0.0-rc1 http://maven.aliyun.com/nexus/content/groups/public/
--repositories 为该包的maven地址，建议给定，不写则使用默认源。
若依赖多个包，则中间以逗号分隔，类似--jars
默认下载的包位于当前用户根目录下的.ivy/jars文件夹中
应用场景：本地没有编译好的jar包，集群中服务需要该包的的时候，都是从给定的maven地址，直接下载
MMLSpark用法
1 .MMLSpark可以通--packages选项方便地安装在现有的Spark集群上，例如:
spark-shell --packages com.microsoft.ml.spark:mmlspark_2.11:1.0.0-rc1
pyspark --packages com.microsoft.ml.spark:mmlspark_2.11:1.0.0-rc1
spark-submit --packages com.microsoft.ml.spark:mmlspark_2.11:1.0.0-rc1 MyApp.jar
这也可以在其他Spark contexts中使用，例如，可以通过将MMLSpark添加到.aztk/spark-default.conf文件中来在AZTK中使用MMLSpark。
2 .要在Python(或Conda)安装上尝试MMLSpark，首先通过pip安装PySpark, pip安装PySpark。接下来，使用--package或在运行时添加包来获取scala源代码
import pyspark
spark = pyspark.sql.SparkSession.builder.appName("MyApp")\
.config("spark.jars.packages", "com.microsoft.ml.spark:mmlspark_2.11:1.0.0-rc1")\
.getOrCreate()
import mmlspark
3 .xgboost比较麻烦，通常是自己编译打包使用，mmlspark中的lightGBM可以直接写Maven依赖或者直接下载jar包添加到项目中使用。
<dependency>
<groupId>com.microsoft.ml.spark</groupId>
<artifactId>mmlspark_2.11</artifactId>
<version>0.18.0</version>
</dependency>
<dependency>
<groupId>com.microsoft.ml.lightgbm</groupId>
<artifactId>lightgbmlib</artifactId>
<version>2.2.350</version>
</dependency>
mmlspark:https://repo1.maven.org/maven2/com/microsoft/ml/spark/mmlspark_2.11/
lightgbmlib:https://repo1.maven.org/maven2/com/microsoft/ml/lightgbm/lightgbmlib/
- 使用
python
分类
from mmlspark.lightgbm import LightGBMClassifier
model = LightGBMClassifier(learningRate=0.3,
numIterations=100,
numLeaves=31).fit(train)
回归
from mmlspark.lightgbm import LightGBMRegressor
model = LightGBMRegressor(application='quantile',
alpha=0.3,
learningRate=0.3,
numIterations=100,
numLeaves=31).fit(train)
scala
Architecture
Spark上的LightGBM使用简单的包装器和接口生成器(SWIG)为LightGBM添加Java支持。这些Java绑定使用Java本地接口调用到分布式c++ API。
我们通过在MapPartitions调用中使用Spark执行器调用LGBM_NetworkInit来初始化LightGBM。然后，我们将每个工作分区传递到LightGBM，以为LightGBM创建内存中的分布式数据集。然后，我们可以训练LightGBM来生成一个可以用于预测的模型。
LightGBMClassifier和LightGBMRegressor使用SparkML API，从相同的基类继承，与SparkML管道集成，并且可以使用SparkML的交叉验证器进行优化。
可以使用saveNativeModel()将构建的模型保存为使用本机LightGBM模型的SparkML管道。此外，它们与PMML完全兼容，并且可以通过JPMML-SparkML-LightGBM插件转换为PMML格式。
Barrier Execution Mode
默认情况下，LightGBM使用常规的spark范式启动任务，并与驱动程序通信以协调任务执行。驱动线程聚合所有任务主机:端口信息，然后将完整的列表传递给worker，以便NetworkInit被调用。这要求驱动程序知道有多少任务，如果预期的任务数量与实际不同，这将导致初始化死锁。
有一个新的UseBarrierExecutionMode标志，它在激活时使用barrier()阶段阻止所有任务。barrier执行模式简化了聚合所有任务的主机:端口信息的逻辑。要在scala中使用它，你可以调用
val lgbm = new LightGBMClassifier()
.setLabelCol(labelColumn)
.setObjective(binaryObjective)
.setUseBarrierExecutionMode(true)
...
<train classifier>
完整案例查找https://github.com/jpmml/jpmml-sparkml
Reference:
https://github.com/Azure/mmlspark
https://mmlspark.blob.core.windows.net/website/index.html
https://github.com/alipay/jpmml-sparkml-lightgbm
https://github.com/jpmml/jpmml-sparkml
网友评论