前言

ModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大范围散布式Training、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快捷创建和部署模型，管理全周期AI工作流。

本文的主要目的是带想用ModelArts的同学过遍ModelArts的基础功能并部署属于你自己的模型在云上，并且能够本地经过python代码调API的方式在线推理【本文以tensorflow 1.13为例】。

模型部署阶段

1、模型格式要求

由于模型部署在云上需要在AI框架[tf/pytorch/mxnet]上再套一个serving框架，本文主要利用tensorflow框架，上层的serving框架会对tensorflow的saved model情势比较亲和[推理比较快]，所以需要把模型先转成saved model格式的模型，可能的线路是pb--->saved model / ckpt --->saved model  /h5--->saved model，具体转法同学们可以参考网上的教程~

终究生成的saved model文件树以下：

variables目录里以下:

值得我们注意的是，saved model.pb文件只包括了参数定义内涵运行的ai引擎、和推理的环境，reques参数定义内涵当经过request调用这个api时的格式，需要是form-data还是其他，传的是(huaweicloud.com)

{
"model_type": "TensorFlow",
"model_algorithm": "test-resnet",
"runtime":"tf1.13-python3.6-cpu",
"apis": [{
"protocol": "http",
"url": "/",
"method": "post",
"request": {
"Content-type": "multipart/form-data",
"data": {
"type": "object",
"properties": {
"sentence": {
"type": "string"
}
}
}
},
"response": {
"Content-type": "applicaton/json",
"data": {
"type": "object",
"properties": {
}
}
}
}]
"dependencies": [{
"installer": "pip",
"packages": [{
"restraint": "EXACT",
"package_version": "1.1.5",
"package_name": "pandas"
},

2、customize_service.py编写

这部份主要是定义内涵模型的数据前处理、后处理和推理的接口，和返回甚么内容应当怎样写，下模板是一个无需前后处理，返回QPS和推理结果、时间的例子，更详细的说明可以参考官方文档：模型推理代码编写说明_AI开发平台ModelArts_推理部署_推理规范说明_模型包规范_华为云 (huaweicloud.com)

import logging
import threading
import numpy as np
import os
import pandas as pd
import tensorflow as tf  # 导入tensorflow
from PIL import Image
from model_service.tfserving_model_service import TfServingBaseService
from config import *
import time
logger = logging.getLogger()
logger.setLevel(logging.INFO)
class mnist_service(TfServingBaseService):
def __init__(self, model_name, model_path):
self.ctx = None
self.use_time = 0
def _preprocess(self, data):
return data
def _inference(self, data):
print('ready to infer')
time_list = []
start_time = time.time()
predict_result = self.sess.run(self.model_outputs, feed_dict=self.model_inputs)
time_list.append(time.time() - start_time)
use_time = np.mean(time_list)
result = {}
result['output'] = predict_result.tolist()
result['aver_use_time'] = use_time
result['QPS'] = 1 / use_time
return result
def _postprocess(self, data):
return data

3、打包上传OBS

将上述文件按以下