多种model serving 的调研比较

image.png

github
office site
框架语言
依赖项
服务端开发语言
客户端调用语言
是否支持restful
支持算法
是否支持 hdfs 大规模
是否支持同时部署多个模型服务
是否支持模型切换
是否支持模型跟踪
是否支持 pmml

predictionio
https://github.com/apache/predictionio
http://predictionio.apache.org
scala
mysql spark 【hbase elastic search postgresql】
scala java
scala java、 python
yes
spark xgboost dl4j …
支持
暂时未知
支持 新模型切换
支持

seldon
https://github.com/SeldonIO/seldon-core
https://www.seldon.io/
java
kubernate docker

yes
sklearn xgboost tensorflow spark
支持
支持

支持
支持

ml lambda Hydro
https://github.com/Hydrospheredata/hydro-serving
https://hydrosphere.io/ml-lambda/
scala
spark [docker]
scala python

yes
sklearn xgboost tensorflow spark
支持
支持

支持

lore
https://github.com/instacart/lore

python

python

yes
sklearn xgboost keras pyspark

modeldb
https://github.com/mitdbg/modeldb

python scala
spark sklearn mongodb
python scala
python scala

mlflow
https://github.com/databricks/mlflow

scala
spark
scala python

yes
spark
支持
未知

支持

TensorFlow serving

python
tensorflow
python

yes
tensorflow
支持
未知

支持

Aerosolve
https://github.com/airbnb/aerosolve
https://airbnb.io/aerosolve/
java

mmlspark
https://github.com/Azure/mmlspark
https://mmlspark.blob.core.windows.net/website/index.html
scala
spark