附1：Llama2-WebUI基于PAI-EAS的一键部署 https://help.aliyun.com/document_detail/2536386.html

附2：Huggingface镜像部署:https://help.aliyun.com/zh/pai/user-guide/deploy-a-hugging-face-model-by-using-an-image?spm=a2c4g.11186623.0.0.3e735203bVP7tK

部署模型到PAI-EAS:
https://www.modelscope.cn/docs/%E9%83%A8%E7%BD%B2%E6%A8%A1%E5%9E%8B%E5%88%B0PAI-EAS

在 Notebook 打开

部署模型到PAI-EAS

在 Notebook 打开

概要#

您可以将ModelScope中的模型方便快捷地部署到阿里云PAI-EAS在线服务平台，使用方法和示例如下。

EAS服务前提条件#

开通PAI-EAS服务以及相关功能权限。

模型选择#

首先根据实际需求，选择要部署使用的模型，对于绝大多数可支持在线体验的模型类型，均可直接部署到PAI-EAS平台。有些特殊模型可能部署失败或报错，可以根据具体信息排查或联系我们，或在PAI-EAS界面提工单咨询。 下面以文本翻译模型damo/nlp_csanmt_translation_zh2en为例，展示如何将该模型部署为在线服务：

服务部署#

1. 在PAI-EAS控制台界面，点击“部署服务”；
2. 填写服务名称，选择部署方式为“AI-Web应用”，在下方的镜像中选择modelscope-inference，目前最新版本为1.7：

[图片上传失败...(image-544d29-1703668254238)]

3. 填写模型相关信息，具体需要填写三个配置：

[图片上传失败...(image-8baf12-1703668254238)]

配置项	含义
MODEL_ID	模型的ID
TASK	模型的Task，可以在模型介绍页面的样例代码中或“快速使用”中看到
REVISION	模型的REVISION，可以在模型文件页面，点击下拉列表查看，请注意，为了保证部署成功率，用户需要填写一个明确的版本如v1.0.1，不能填写master

TASK查看位置： [图片上传失败...(image-6baa33-1703668254238)]

REVISION查看位置： [图片上传失败...(image-b5e8ac-1703668254238)]

4. 配置使用资源或机型，可以选择公共资源组或专属资源组，并根据实际情况选择对应的机器资源；如果是生产使用的服务，建议实例数至少设为2；

[图片上传失败...(image-12eab0-1703668254238)]

5. 配置完成，点击“部署”按钮，等待服务部署完成；在PAI-EAS平台有针对modelscope场景优化的镜像和模型加速功能，一般来说在一分钟内即可完成部署；

服务使用#

部署完成后，可以通过页面试用模型效果或通过api调用服务；

页面使用#

部署完成后，点击“查看Web应用”，即可打开服务调用的页面： [图片上传失败...(image-e8da36-1703668254237)]

在页面左侧是输入输出交互框，用户可直接使用体验； [图片上传失败...(image-aaa53d-1703668254237)]

在右侧为json数据展示，默认显示的是模型对应的json数据的schema，即对输入输出数据格式和字段的描述；在api调用场景下，用户可以根据该schema构造请求数据，进行服务调用； [图片上传失败...(image-a034b-1703668254237)]

当发送请求后，右侧会显示实际请求的json数据输入与输出内容在api调用场景下，用户可以根据该数据，进行服务调用。

API调用#

在“在线调试”界面，可以调试服务API使用； [图片上传失败...(image-77330a-1703668254237)]

在服务详情页面，点击“查看调用信息”，可以看到服务的调用地址和token，可以使用PAI-EAS提供的SDK进行服务调用，也可以自行构造POST请求调用；

<pre style="box-sizing: border-box; margin: 0px 0px 16px; font-family: ui-monospace, SFMono-Regular, "SF Mono", Menlo, Consolas, "Liberation Mono", monospace; font-size: 13.6px; overflow-wrap: normal; padding: 16px; overflow: auto; line-height: 1.45; color: rgb(31, 35, 40); background-color: rgb(246, 248, 250); border-radius: 0px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-thickness: initial; text-decoration-style: initial; text-decoration-color: initial;">

import requests import json resp = requests.post('http://ms-translate-deploy.1828488879222746.cn-hangzhou.pai-eas.aliyuncs.com/', headers={"Authorization": "${token}"}, data=json.dumps({"input":{"text": "部署modelscope模型到PAI-EAS非常容易！"}})) if resp.status_code != 200: print('发生错误：', resp.status_code) print(resp.text) else : print(resp.text) # 输出为：{"translation":"Deploying modelscope models to PAI-EAS is very easy!"}

在 Notebook 打开

</pre>

其它案例#

除文本外，语音、图像等数据，使用该方式部署也可顺利使用，请用户根据实际情况，参考给出的数据进行使用！

[图片上传失败...(image-e26c44-1703668254237)]