基于 PaddleHub Serving 的服务部署

September 16, 2022 · View on GitHub

简体中文 | English

基于 PaddleHub Serving 的服务部署

PaddleClas 支持通过 PaddleHub 快速进行服务化部署。目前支持图像分类的部署，图像识别的部署敬请期待。

1. 简介

hubserving 服务部署配置服务包 clas 下包含 3 个必选文件，目录如下：

deploy/hubserving/clas/
├── __init__.py # 空文件，必选
├── config.json # 配置文件，可选，使用配置启动服务时作为参数传入
├── module.py   # 主模块，必选，包含服务的完整逻辑
└── params.py   # 参数文件，必选，包含模型路径、前后处理参数等参数

2. 准备环境

# 安装 paddlehub，建议安装 2.1.0 版本
python3.7 -m pip install paddlehub==2.1.0 --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载推理模型

安装服务模块前，需要准备推理模型并放到正确路径，默认模型路径为：

分类推理模型结构文件：PaddleClas/inference/inference.pdmodel
分类推理模型权重文件：PaddleClas/inference/inference.pdiparams

注意：

模型文件路径可在 PaddleClas/deploy/hubserving/clas/params.py 中查看和修改：
```
"inference_model_dir": "../inference/"
```
模型文件（包括 .pdmodel 与 .pdiparams）的名称必须为 inference。
我们提供了大量基于 ImageNet-1k 数据集的预训练模型，模型列表及下载地址详见模型库概览，也可以使用自己训练转换好的模型。

4. 安装服务模块

在 Linux 环境下，安装示例如下：

cd PaddleClas/deploy
# 安装服务模块：
hub install hubserving/clas/

在 Windows 环境下(文件夹的分隔符为\)，安装示例如下：

cd PaddleClas\deploy
# 安装服务模块：
hub install hubserving\clas\

5. 启动服务

5.1 命令行启动

该方式仅支持使用 CPU 预测。启动命令：

hub serving start \
--modules clas_system
--port 8866

这样就完成了一个服务化 API 的部署，使用默认端口号 8866。

参数说明：

参数	用途
--modules/-m	[必选] PaddleHub Serving 预安装模型，以多个 Module==Version 键值对的形式列出 `当不指定 Version 时，默认选择最新版本`
--port/-p	[可选] 服务端口，默认为 8866
--use_multiprocess	[可选] 是否启用并发方式，默认为单进程方式，推荐多核 CPU 机器使用此方式 `Windows 操作系统只支持单进程方式`
--workers	[可选] 在并发方式下指定的并发任务数，默认为 `2*cpu_count-1`，其中 `cpu_count` 为 CPU 核数
更多部署细节详见 PaddleHub Serving模型一键服务部署

5.2 配置文件启动

该方式仅支持使用 CPU 或 GPU 预测。启动命令：

hub serving start -c config.json

其中，config.json 格式如下：

{
    "modules_info": {
        "clas_system": {
            "init_args": {
                "version": "1.0.0",
                "use_gpu": true,
                "enable_mkldnn": false
            },
            "predict_args": {
            }
        }
    },
    "port": 8866,
    "use_multiprocess": false,
    "workers": 2
}

参数说明：

init_args 中的可配参数与 module.py 中的 _initialize 函数接口一致。其中，
- 当 use_gpu 为 true 时，表示使用 GPU 启动服务。
- 当 enable_mkldnn 为 true 时，表示使用 MKL-DNN 加速。
predict_args 中的可配参数与 module.py 中的 predict 函数接口一致。

注意：

使用配置文件启动服务时，将使用配置文件中的参数设置，其他命令行参数将被忽略；
如果使用 GPU 预测(即，use_gpu 置为 true)，则需要在启动服务之前，设置 CUDA_VISIBLE_DEVICES 环境变量来指定所使用的 GPU 卡号，如：export CUDA_VISIBLE_DEVICES=0；
use_gpu 不可与 use_multiprocess 同时为 true；
use_gpu 与 enable_mkldnn 同时为 true 时，将忽略 enable_mkldnn，而使用 GPU。

如使用 GPU 3 号卡启动服务：

cd PaddleClas/deploy
export CUDA_VISIBLE_DEVICES=3
hub serving start -c hubserving/clas/config.json

6. 发送预测请求

配置好服务端后，可使用以下命令发送预测请求，获取预测结果：

cd PaddleClas/deploy
python3.7 hubserving/test_hubserving.py \
--server_url http://127.0.0.1:8866/predict/clas_system \
--image_file ./hubserving/ILSVRC2012_val_00006666.JPEG \
--batch_size 8

预测输出

The result(s): class_ids: [57, 67, 68, 58, 65], label_names: ['garter snake, grass snake', 'diamondback, diamondback rattlesnake, Crotalus adamanteus', 'sidewinder, horned rattlesnake, Crotalus cerastes', 'water snake', 'sea snake'], scores: [0.21915, 0.15631, 0.14794, 0.13177, 0.12285]
The average time of prediction cost: 2.970 s/image
The average time cost: 3.014 s/image
The average top-1 score: 0.110

脚本参数说明：

server_url：服务地址，格式为http://[ip_address]:[port]/predict/[module_name]。
image_path：测试图像路径，可以是单张图片路径，也可以是图像集合目录路径。
batch_size：[可选] 以 batch_size 大小为单位进行预测，默认为 1。
resize_short：[可选] 预处理时，按短边调整大小，默认为 256。
crop_size：[可选] 预处理时，居中裁剪的大小，默认为 224。
normalize：[可选] 预处理时，是否进行 normalize，默认为 True。
to_chw：[可选] 预处理时，是否调整为 CHW 顺序，默认为 True。

注意：如果使用 Transformer 系列模型，如 DeiT_***_384, ViT_***_384 等，请注意模型的输入数据尺寸，需要指定--resize_short=384 --crop_size=384。

返回结果格式说明：返回结果为列表（list），包含 top-k 个分类结果，以及对应的得分，还有此图片预测耗时，具体如下：

list: 返回结果
└──list: 第一张图片结果
   ├── list: 前 k 个分类结果，依 score 递减排序
   ├── list: 前 k 个分类结果对应的 score，依 score 递减排序
   └── float: 该图分类耗时，单位秒

7. 自定义修改服务模块

如果需要修改服务逻辑，需要进行以下操作：

停止服务
```
hub serving stop --port/-p XXXX
```
到相应的 module.py 和 params.py 等文件中根据实际需求修改代码。module.py 修改后需要重新安装（hub install hubserving/clas/）并部署。在进行部署前，可先通过 python3.7 hubserving/clas/module.py 命令来快速测试准备部署的代码。
卸载旧服务包
```
hub uninstall clas_system
```
安装修改后的新服务包
```
hub install hubserving/clas/
```
重新启动服务
```
hub serving start -m clas_system
```

注意：常用参数可在 PaddleClas/deploy/hubserving/clas/params.py 中修改：

更换模型，需要修改模型文件路径参数:
```
"inference_model_dir":
```
更改后处理时返回的 top-k 结果数量：
```
'topk':
```
更改后处理时的 lable 与 class id 对应映射文件：
```
'class_id_map_file':
```

为了避免不必要的延时以及能够以 batch_size 进行预测，数据预处理逻辑（包括 resize、crop 等操作）均在客户端完成，因此需要在 PaddleClas/deploy/hubserving/test_hubserving.py#L41-L47 以及 PaddleClas/deploy/hubserving/test_hubserving.py#L51-L76 中修改数据预处理逻辑相关代码。