嵌入式SKIL

除了提供几乎所有用于创建高效机器学习管道的工具之外，SKIL还可以非常方便地作为嵌入式应用程序。这对于一个DevOps团队来说是非常有用的，可以让他们的模型在最短的时间内运行起来，并且可以减少麻烦。通过不同的工具和SKIL脚本的组合，你可以轻松地将SKIL嵌入到应用程序管道中。

用例

此文档将显示许多可以嵌入SKIL的用例。

1. 服务于单一模式

让我们通过Docker文件来查看SKIL部署的用例，它为在TensorFlow中训练的单个模型提供服务。此方案的源代码在此处可用。
让我们看看这个场景的“Dockerfile”源代码：

FROM skymindops/skil-ce

USER root

ADD deploy_model.py /deploy_model.py
ADD data_directory/output_graph.pb /model.pb
ADD deploy_model.sh /deploy_model.sh

RUN chmod 755 /deploy_model.sh

RUN yum install -y epel-release 
RUN yum install -y python-pip 
RUN pip install numpy skil-client

# PLD
EXPOSE 9008 
# File Server
EXPOSE 9508
# Zeppelin
EXPOSE 8080
# DL4J UI first port
EXPOSE 9002 
# ModelHistoryServer port
EXPOSE 9100

CMD ["/deploy_model.sh"]

image.gif

在添加的文件中，有一个python脚本（deploy_model.py），它将与“skil-clientt”（skil的rest client api）交互以部署模型文件（model.pb）。另外，还有一个shell脚本（deploy_model.sh）来启动SKIL并执行python脚本并部署模型。
在这个用例中，SKIL嵌入到管道中，以部署Dockerfile旁边的data_directory中存在的经过训练的TensorFlow模型（名为output_graph.pb）。如果你没有一个冻结的TensorFlow模型，那么可以通过运行freeze_model.py脚本来训练MNIST模型。它将自动下载mnist数据集，训练模型并将其冻结到data_directory/output_graph.pbfile路径。

python freeze_model.py

image.gif

之后，你可以运行以下脚本来构建Docker镜像，以便SKIL部署和服务所需的模型。只需确保根据要部署的模型的配置更改输入和输出名称（如果使用的是其他模型）。你可以在这里更换。

docker build -t skymindops/skil-ce:mnist .

docker run --rm -it -p 9008:9008 -p 8080:8080 -p9100:9100 -p8888:8888 skymindops/skil-ce:mnist

image.gif

测试
现在，在日志显示“Model server started successfully!”，你可以请求部署在SKIL模型服务器上的模型。
测试前，确保安装了TensorFlow和skil-clients。你可以通过运行：

# Install pip if you don't have it (Uncomment the following two lines)
# curl "https://bootstrap.pypa.io/get-pip.py" -o "get-pip.py"
# python get-pip.py

# Install the libraries now
pip install --upgrade tensorflow
pip install skil-client

image.gif

如果部署的模型是来自freeze_graph.py脚本的模型，那么请求模式将如下所示：

from tensorflow.examples.tutorials.mnist import input_data

import pprint
import unittest

import numpy
import skil_client
from skil_client import *
from skil_client.rest import ApiException

work_directory = 'data_directory'
mnist = input_data.read_data_sets(work_directory, one_hot=True)

example_index = 10
input = mnist.test.images[example_index]
label = mnist.test.labels[example_index]

debug = False

host = "localhost" # 重命名这个为你正在使用的主机

config = Configuration()
config.host = "{}:9008".format(host)  # 如果你使用一个不同的端口则修改这里
config.debug = debug
api_client = ApiClient(configuration=config)
# create an instance of the API class
api_instance = skil_client.DefaultApi(api_client=api_client)

# authenticate
pp = pprint.PrettyPrinter(indent=4)
try:
    print("Authenticating with SKIL API...")
    credentials = skil_client.Credentials(user_id="admin", password="admin") # 用你的skil服务器使用的ID和密码更新此文件
    token = api_instance.login(credentials)
    pp.pprint(token)
    # add credentials to config
    config.api_key['authorization'] = token.token
    config.api_key_prefix['authorization'] = "Bearer"
except ApiException as e:
    print("Exception when calling DefaultApi->login: %s\n" % e)

deployment_name = "mnist"
model_name = "tf_model_mnist"

# Making the request
classification_response = api_instance.multipredict(
    deployment_name=deployment_name,
    model_name=model_name,
    body=MultiPredictRequest(
        id="12345",
        needs_pre_processing=False,
        inputs=[
            # This is the actual image data
            INDArray(
                ordering='c',
                shape=[int(len(input))],
                data=input.tolist()
            ),
            # This is the keep_prob placeholder data
            INDArray(
                ordering='c',
                shape=[1],
                data=[1.0]
            )
        ]
    )
)

pp.pprint(classification_response)
print('Actual Label: {}'.format(label))

image.gif

2. 多Zeppelin服务器

当SKIL启动时，它将在默认情况下创建一个zeppelin服务器。笔记本在zeppelin服务器内部运行。当zeppelin服务器执行笔记本时，它实际上不能做任何其他事情。此外，由于笔记本是全局的，因此，如果在一个笔记本中创建一个“foo”变量，其他使用其他笔记本的用户将可以看到它（并且可能会弄乱它们的代码）。所以，如果你想让多个人在一个skil集群中工作，你需要zeppelin服务器。
你可以使用skil zeppelin和skil zeppelinInterpreter命令创建额外的zeppelin服务器。在最简单的形式中，用法如下：

# Uncomment the following lines if you don't have SKIL_HOME and JAVA_HOME variables set
# export SKIL_HOME=/opt/skil
# export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

# Authenticating first 
$SKIL_HOME/sbin/skil login --userId admin --password admin # You might have a different userId and password, replace them accordingly.

# Creating a zeppelin server
$SKIL_HOME/sbin/skil zeppelin --name Zeppelin2 --interpreterPort 6560 --zeppelinPort 8140

# Creating the interpreter process
$SKIL_HOME/sbin/skil zeppelinInterpreter --interpreterPort 6560

image.gif

你可以连接到端口8140上的新Zeppelin服务器，就像连接到默认的Zeppelin实例一样。你还可以在skil用户界面的“进程（PROCESSES）”选项卡下查看新的Zeppelin解释器进程。还可以使用以下命令查看进程列表。

$SKIL_HOME/sbin/skil processes

image.gif

Docker容器

要在Docker容器中运行新的Zeppelin服务器，只需取消对deploy_model.sh脚本中的以下行的注释。

Zeppelin 服务器的默认参数

zeppelin和zeppelinInterpreter子命令的其他参数及其默认值为：

对于 "skil zeppelin"

对于 "skil zeppelinInterpreter"

SKIL CLI

有关如何编写SKIL脚本的更多选项，请查看 SKIL CLI.

SKIL/工作流程/嵌入式SKIL

SKIL/工作流程/嵌入式SKIL

嵌入式SKIL

Zeppelin 服务器的默认参数

SKIL CLI

推荐阅读更多精彩内容