嵌入式SKIL
除了提供几乎所有用于创建高效机器学习管道的工具之外，SKIL还可以非常方便地作为嵌入式应用程序。这对于一个DevOps团队来说是非常有用的，可以让他们的模型在最短的时间内运行起来，并且可以减少麻烦。通过不同的工具和SKIL脚本的组合，你 可以轻松地将SKIL嵌入到应用程序管道中。
用例
此文档将显示许多可以嵌入SKIL的用例。
1. 服务于单一模式
让我们通过Docker文件来查看SKIL部署的用例，它为在TensorFlow中训练的单个模型提供服务。此方案的源代码在此处可用。
让我们看看这个场景的“Dockerfile”源代码：
FROM skymindops/skil-ce
USER root
ADD deploy_model.py /deploy_model.py
ADD data_directory/output_graph.pb /model.pb
ADD deploy_model.sh /deploy_model.sh
RUN chmod 755 /deploy_model.sh
RUN yum install -y epel-release
RUN yum install -y python-pip
RUN pip install numpy skil-client
# PLD
EXPOSE 9008
# File Server
EXPOSE 9508
# Zeppelin
EXPOSE 8080
# DL4J UI first port
EXPOSE 9002
# ModelHistoryServer port
EXPOSE 9100
CMD ["/deploy_model.sh"]
image.gif
在添加的文件中，有一个python脚本（deploy_model.py），它将与“skil-clientt”（skil的rest client api）交互以部署模型文件（model.pb）。另外，还有一个shell脚本（deploy_model.sh）来启动SKIL并执行python脚本并部署模型。
在这个用例中，SKIL嵌入到管道中，以部署Dockerfile旁边的data_directory中存在的经过训练的TensorFlow模型（名为output_graph.pb）。如果你没有一个冻结的TensorFlow模型，那么可以通过运行freeze_model.py脚本来训练MNIST模型。它将自动下载mnist数据集，训练模型并将其冻结到data_directory/output_graph.pbfile路径。
python freeze_model.py
image.gif
之后，你可以运行以下脚本来构建Docker镜像，以便SKIL部署和服务所需的模型。只需确保根据要部署的模型的配置更改输入和输出名称（如果使用的是其他模型）。你可以在这里更换。
docker build -t skymindops/skil-ce:mnist .
docker run --rm -it -p 9008:9008 -p 8080:8080 -p9100:9100 -p8888:8888 skymindops/skil-ce:mnist
image.gif
测试
现在，在日志显示“Model server started successfully!”，你可以请求部署在SKIL模型服务器上的模型。
测试前，确保安装了TensorFlow和skil-clients。你可以通过运行：
# Install pip if you don't have it (Uncomment the following two lines)
# curl "https://bootstrap.pypa.io/get-pip.py" -o "get-pip.py"
# python get-pip.py
# Install the libraries now
pip install --upgrade tensorflow
pip install skil-client
image.gif
如果部署的模型是来自freeze_graph.py脚本的模型，那么请求模式将如下所示：
from tensorflow.examples.tutorials.mnist import input_data
import pprint
import unittest
import numpy
import skil_client
from skil_client import *
from skil_client.rest import ApiException
work_directory = 'data_directory'
mnist = input_data.read_data_sets(work_directory, one_hot=True)
example_index = 10
input = mnist.test.images[example_index]
label = mnist.test.labels[example_index]
debug = False
host = "localhost" # 重命名这个为你正在使用的主机
config = Configuration()
config.host = "{}:9008".format(host) # 如果你使用一个不同的端口则修改这里
config.debug = debug
api_client = ApiClient(configuration=config)
# create an instance of the API class
api_instance = skil_client.DefaultApi(api_client=api_client)
# authenticate
pp = pprint.PrettyPrinter(indent=4)
try:
print("Authenticating with SKIL API...")
credentials = skil_client.Credentials(user_id="admin", password="admin") # 用你的skil服务器使用的ID和密码更新此文件
token = api_instance.login(credentials)
pp.pprint(token)
# add credentials to config
config.api_key['authorization'] = token.token
config.api_key_prefix['authorization'] = "Bearer"
except ApiException as e:
print("Exception when calling DefaultApi->login: %s\n" % e)
deployment_name = "mnist"
model_name = "tf_model_mnist"
# Making the request
classification_response = api_instance.multipredict(
deployment_name=deployment_name,
model_name=model_name,
body=MultiPredictRequest(
id="12345",
needs_pre_processing=False,
inputs=[
# This is the actual image data
INDArray(
ordering='c',
shape=[int(len(input))],
data=input.tolist()
),
# This is the keep_prob placeholder data
INDArray(
ordering='c',
shape=[1],
data=[1.0]
)
]
)
)
pp.pprint(classification_response)
print('Actual Label: {}'.format(label))
image.gif
2. 多Zeppelin服务器
当SKIL启动时，它将在默认情况下创建一个zeppelin服务器。笔记本在zeppelin服务器内部运行。当zeppelin服务器执行笔记本时，它实际上不能做任何其他事情。此外，由于笔记本是全局的，因此，如果在一个笔记本中创建一个“foo”变量，其他使用其他笔记本的用户将可以看到它（并且可能会弄乱它们的代码）。所以，如果你想让多个人在一个skil集群中工作，你需要zeppelin服务器。
你可以使用skil zeppelin和skil zeppelinInterpreter命令创建额外的zeppelin服务器。在最简单的形式中，用法如下：
# Uncomment the following lines if you don't have SKIL_HOME and JAVA_HOME variables set
# export SKIL_HOME=/opt/skil
# export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
# Authenticating first
$SKIL_HOME/sbin/skil login --userId admin --password admin # You might have a different userId and password, replace them accordingly.
# Creating a zeppelin server
$SKIL_HOME/sbin/skil zeppelin --name Zeppelin2 --interpreterPort 6560 --zeppelinPort 8140
# Creating the interpreter process
$SKIL_HOME/sbin/skil zeppelinInterpreter --interpreterPort 6560
image.gif
你可以连接到端口8140上的新Zeppelin服务器，就像连接到默认的Zeppelin实例一样。你还可以在skil用户界面的“进程（PROCESSES）”选项卡下查看新的Zeppelin解释器进程。还可以使用以下命令查看进程列表。
$SKIL_HOME/sbin/skil processes
image.gif
Docker容器
要在Docker容器中运行新的Zeppelin服务器，只需取消对deploy_model.sh脚本中的以下行的注释。
Zeppelin 服务器的默认参数
zeppelin和zeppelinInterpreter子命令的其他参数及其默认值为：
对于 "skil zeppelin"
| 参数 | 默认值 |
| master | local[*] |
| zeppelinHost | 0.0.0.0 |
| zeppelinPort | 8080 |
| zeppelinUserName | admin |
| zeppelinPassword | admin |
| zeppelinMemory | 1000 |
| zeppelinHome | /tmp/zeppelinhome |
| zeppelinNotebookDirectory | /tmp/zeppelinhome/notebooks |
| zeppelinWarDir | /tmp/zeppelinhome |
| zeppelinConfDir | /tmp/zeppelinhome/conf |
| zeppelinBinDir | /tmp/zeppelinhome/bin |
| zeppelinInterpreterDir | /tmp/zeppelinhome/interpreter |
| zeppelinLocalRepo |
/tmp/zeppelinhome/local-repo |
| deleteInterpreterRepoOnStartup | False |
| interpreterPort | 6500 |
| zeppelinLogFile | /tmp/zeppelinhome/zeppelin.log |
对于 "skil zeppelinInterpreter"
| 参数 | 默认值 |
| zeppelinHome | /tmp/zeppelinhome |
| zeppelinInterpreterDir |
/tmp/zeppelinhome/interpreter |
| interpreterPort | 6500 |
SKIL CLI
有关如何编写SKIL脚本的更多选项，请查看 SKIL CLI.
网友评论