OpenVINO加速YOLOv8分类模型(含完整源代码)

本文简介

  本系列文章将在AI爱克斯开发板上使用OpenVINO™ 开发套件依次部署并测评YOLOv8的分类模型、目标检测模型、实例分割模型和人体姿态估计模型。

AI爱克斯开发板
请先克隆本文的代码仓：git clone https://gitee.com/ppov-nuc/yolov8_openvino.git

YOLOv8简介

  YOLOv8是Ultralytics公司基于YOLO框架，发布的一款面向物体检测与跟踪、实例分割、图像分类和姿态估计任务的SOTA模型工具套件。

  只需要几行Python代码，或者一行命令，即可完成在自己的数据集上从头训练(Training a model from scratch)或者微调(Fine-tune)YOLOv8模型。 用Python代码训练YOLOv8模型 用命令行训练YOLOv8模型

导出训练好的YOLOv8模型，并用OpenVINO部署在英特尔硬件平台上，也非常方便，下面依次介绍：

第一步：准备YOLOv8的OpenVINO推理程序开发环境。请基于本文范例代码仓提供的requirements.txt文件，通过一行命令完成开发环境安装。

pip install -r requirements.txt

第二步：导出YOLOv8 OpenVINO IR模型。首先使用命令：yolo classify export model=yolov8n-cls.pt format=onnx imgsz=224，完成yolov8n-cls.onnx模型导出。

导出yolov8n-cls.onnx
然后使用命令：mo -m yolov8n-cls.onnx --compress_to_fp16，优化并导出FP16精度的OpenVINO IR格式模型。 导出yolov8n-cls IR模型

第三步：用benchmark_app测试yolov8分类模型的推理计算性能。 benchmark_app是OpenVINOTM工具套件自带的AI模型推理计算性能测试工具，可以指定在不同的计算设备上，在同步或异步模式下，测试出不带前后处理的纯AI模型推理计算性能。
使用命令：benchmark_app -m yolov8n-cls.xml -d GPU，获得yolov8n-cls.xml模型在AI爱克斯开发板的集成显卡上的异步推理计算性能，如下图所示。

benchmark

第四步：使用OpenVINO Python API编写YOLOv8分类模型推理程序。基于OpenVINO Python API的YOLOv8分类模型范例程序yolov8_cls_ov_sync_infer.py(请克隆本文代码仓)的核心源代码，如下所示：

# 实例化Core对象
core = Core() 
# 载入并编译模型
net = core.compile_model(f'{MODEL_NAME}-cls.xml', device_name="GPU")
# 获得模型输入输出节点
input_node = net.inputs[0]    # yolov8n-cls只有一个输入节点
N, C, H, W = input_node.shape # 获得输入张量的形状
output_node = net.outputs[0]  # yolov8n-cls只有一个输出节点
ir = net.create_infer_request()
##########################################
#   ---根据模型定义预处理和后处理函数-------
##########################################

# 定义预处理函数
def preprocess(image, new_shape=(W,H)):
    # Preprocess image data from OpenCV
    [height, width, _] = image.shape
    length = max((height, width))
    letter_box = np.zeros((length, length, 3), np.uint8)
    letter_box[0:height, 0:width] = image
    blob = cv2.dnn.blobFromImage(image, scalefactor=1 / 255, size=new_shape, swapRB=True)
    return blob
# 定义后处理函数
def postprocess(outs):
    score = np.max(outs)
    id = np.argmax(outs)
    return score, id, imagenet_labels[id]

##########################################
#   ----- AI同步推理计算 ------------
##########################################
# 采集图像
image = cv2.imread("bus.jpg")
# 数据预处理
blob = preprocess(image)
# 执行推理计算并获得结果
outs = ir.infer(blob)[output_node]
# 对推理结果进行后处理
score, id, label = postprocess(outs)

运行结果，如下所示： YOLOv8+OpenVINO