转换paddleocr v4到瑞芯微rk3588

作者: georgeguo | 来源:发表于2023-11-13 17:05 被阅读0次

瑞芯微技术大牛邱建斌37页PPT详解Toybrick AI开发平
瑞芯微parameter解析
瑞芯微IPO被否，同行财务来解读
瑞芯微/晶晨/全志Armbian 64位镜像安装启动
RV1126-RV1109 MPP使用说明
1、OpenWRT编译
瑞芯微的教训——没有基带！
RK3399ProD下安装Docker
webpack4迁移
Tool_Release_v2.33下载，瑞芯微RK3128四

转换paddleocr到瑞芯微rk3588

1 使用fastdeploy+python SDK方式移植padleocr到rk3588

padocr的模型是基于paddlepaddle框架的，因此需要先将paddlepaddle的模型转为onnx后再将onnx转为rknn模型。获得rknn模型后，可以直接借助百度的FastDeploy框架使用文字识别模型。整体思路如下：

步骤1：服务端环境搭建（rknn-toolkit2 1.5.0），用于转换RKNN模型。由于rknn-toolkit2-1.5.2转换paddle-ocr的模型之后，会出现推理错乱的情况，因此将onnx转rknn时，需要使用rknn-toolkit2-1.5.0版本，但可以使用rknn-toolkit2-1.5.2进行推理。
步骤2：边缘端环境搭建：安装rknpu2/编译FastDeploy/编译FastDeploy Python SDK
步骤3：使用FastDeploy Python SDK进行模型推理。

1.1 安装模型转换环境

1.1.1 服务器环境安装

下载rknn-toolkit2-1.5.0，然后根据需要安装其他依赖即可。

wget https://github.com/rockchip-linux/rknn-toolkit2/blob/v1.5.0/packages/rknn_toolkit2-1.5.0%2B1fa95b5c-cp38-cp38-linux_x86_64.whl

# numpy的版本过高是会出现 module 'numpy' has no attribute 'bool'
pip3 install numpy==1.23.1  -i https://mirror.baidu.com/pypi/simple

# 安装rknn-toolkit2-1.5.0
pip3 install --no-dependencies rknn_toolkit2-1.5.0+1fa95b5c-cp38-cp38-linux_x86_64.whl

1.1.2 板端环境rknpu2安装

参考：https://doc.embedfire.com/linux/rk356x/Ai/zh/latest/lubancat_ai/example/pp_ocrv3.html#id3

1.1.3 板端编译FastDeploy安装

板端编译FastDeploy C++ SDK

git clone https://github.com/PaddlePaddle/FastDeploy.git
cd FastDeploy

mkdir build && cd build
cmake ..  \
-DENABLE_ORT_BACKEND=OFF \
-DENABLE_RKNPU2_BACKEND=ON \
-DENABLE_VISION=ON \
-DRKNN2_TARGET_SOC=RK3588 \
-DCMAKE_INSTALL_PREFIX=${PWD}/fastdeploy-0.0.0

# build if soc is RK3588
make -j8

make install

** 配置环境变量**

# 永久配置
source PathToFastDeploySDK/fastdeploy_init.sh
sudo cp PathToFastDeploySDK/fastdeploy_libs.conf /etc/ld.so.conf.d/
sudo ldconfig

** 编译FastDeploy Python SDK**

git clone https://github.com/PaddlePaddle/FastDeploy.git
cd FastDeploy

# 如果您使用的是develop分支输入以下命令
git checkout develop

cd python
export ENABLE_ORT_BACKEND=ON
export ENABLE_RKNPU2_BACKEND=ON
export ENABLE_VISION=ON
export RKNN2_TARGET_SOC=RK3588

# 如果你的核心板的运行内存大于等于8G，我们建议您执行以下命令进行编译。
python3 setup.py build

python3 setup.py bdist_wheel
cd dist
pip3 install fastdeploy_python-0.0.0-cp39-cp39-linux_aarch64.whl

1.2 模型转换

1.2.1 下载paddleocr v4模型

官网地址：https://github.com/PaddlePaddle/PaddleOCR

wget https://paddleocr.bj.bcebos.com/PP-OCRv4/chinese/ch_PP-OCRv4_det_infer.tar
wget https://paddleocr.bj.bcebos.com/dygraph_v2.0/ch/ch_ppocr_mobile_v2.0_cls_infer.tar
wget https://paddleocr.bj.bcebos.com/PP-OCRv4/chinese/ch_PP-OCRv4_rec_infer.tar

1.2.2 paddle转onnx转rknn

文字检测模型转换

# paddle模型转onnx
paddle2onnx --model_dir ./model/ch_PP-OCRv4_det_infer \
--model_filename inference.pdmodel \
--params_filename inference.pdiparams \
--save_file ./model/ch_PP-OCRv4_det_infer/model.onnx \
--opset_version 12 \
--enable_onnx_checker True \
--enable_dev_version True

# 固定输出尺寸
python -m paddle2onnx.optimize \
--input_model ./model/ch_PP-OCRv4_det_infer/model.onnx \
--output_model ./model/ch_PP-OCRv4_det_infer/model_fix.onnx \
--input_shape_dict "{'x':[1,3,960,960]}"

# 模型一些类型缺少“shape”，可以使用onnxruntime的工具重新推理下onnx的shape，参考：https://doc.embedfire.com/linux/rk356x/Ai/zh/latest/lubancat_ai/example/pp_ocrv3.html#pp-ocrv3
python3 /opt/virtualenvs/feiran/lib/python3.8/site-packages/onnxruntime/tools/symbolic_shape_infer.py \
--input ./models/ocr/ch_PP-OCRv4_det_infer/model_fix.onnx \
--output ./models/ocr/ch_PP-OCRv4_det_infer/model_fix_new.onnx 

# 编写脚本将onnx转为rknn，参考：https://github.com/PaddlePaddle/FastDeploy/blob/develop/tools/rknpu2/export.py

文字方向判别模型

# paddle模型转onnx
paddle2onnx --model_dir ./model/ch_ppocr_mobile_v2.0_cls_infer \
--model_filename inference.pdmodel \
--params_filename inference.pdiparams \
--save_file ./model/ch_ppocr_mobile_v2.0_cls_infer/model.onnx \
--opset_version 12 \
--enable_onnx_checker True \
--enable_dev_version True

# 固定输出尺寸
python -m paddle2onnx.optimize \
--input_model ./model/ch_ppocr_mobile_v2.0_cls_infer/model.onnx \
--output_model ./model/ch_ppocr_mobile_v2.0_cls_infer/model_fix.onnx \
--input_shape_dict "{'x':[1,3,48,192]}"

# 模型一些类型缺少“shape”，可以使用onnxruntime的工具重新推理下onnx的shape，参考：https://doc.embedfire.com/linux/rk356x/Ai/zh/latest/lubancat_ai/example/pp_ocrv3.html#pp-ocrv3
python3 /opt/virtualenvs/feiran/lib/python3.8/site-packages/onnxruntime/tools/symbolic_shape_infer.py \
--input ./models/ocr/ch_ppocr_mobile_v2.0_cls_infer/model_fix.onnx \
--output ./models/ocr/ch_ppocr_mobile_v2.0_cls_infer/model_fix_new.onnx 

# 编写脚本将onnx转为rknn，参考：https://github.com/PaddlePaddle/FastDeploy/blob/develop/tools/rknpu2/export.py

文字识别模型转换

# paddle模型转onnx
paddle2onnx --model_dir ./model/ch_PP-OCRv4_rec_infer \
--model_filename inference.pdmodel \
--params_filename inference.pdiparams \
--save_file ./model/ch_PP-OCRv4_rec_infer/model.onnx \
--opset_version 12 \
--enable_onnx_checker True \
--enable_dev_version True

# 固定输出尺寸
python -m paddle2onnx.optimize \
--input_model ./model/ch_PP-OCRv4_rec_infer/model.onnx \
--output_model ./model/ch_PP-OCRv4_rec_infer/model_fix.onnx \
--input_shape_dict "{'x':[1,3,48,320]}"

# 模型一些类型缺少“shape”，可以使用onnxruntime的工具重新推理下onnx的shape，参考：https://doc.embedfire.com/linux/rk356x/Ai/zh/latest/lubancat_ai/example/pp_ocrv3.html#pp-ocrv3
python3 /opt/virtualenvs/feiran/lib/python3.8/site-packages/onnxruntime/tools/symbolic_shape_infer.py \
--input ./models/ocr/ch_PP-OCRv4_rec_infer/model_fix.onnx \
--output ./models/ocr/ch_PP-OCRv4_rec_infer/model_fix_new.onnx 

# 编写脚本将onnx转为rknn，参考：https://github.com/PaddlePaddle/FastDeploy/blob/develop/tools/rknpu2/export.py

1.3 模型推理

参考：https://github.com/PaddlePaddle/FastDeploy/blob/develop/examples/vision/ocr/PP-OCR/rockchip/python/infer.py

import os
import cv2
import fastdeploy as fd
from pathlib import Path

if __name__ == "__main__":
    rec_option = fd.RuntimeOption()
    rec_option.use_rknpu2()
    rec_format = fd.ModelFormat.RKNN

    det_option = fd.RuntimeOption()
    det_option.use_rknpu2()
    det_format = fd.ModelFormat.RKNN

    det_model = fd.vision.ocr.DBDetector(
        "../model/ocr/ch_PP-OCRv4_det_infer/model_fix.rknn",
        "",
        runtime_option=det_option,
        model_format=det_format)
    det_model.preprocessor.static_shape_infer = True
    det_model.preprocessor.disable_normalize()
    det_model.preprocessor.disable_permute()

    rec_model = fd.vision.ocr.Recognizer(
        "../model/ocr/ch_PP-OCRv4_rec_infer/model_fix.rknn",
        "",
        "../model/ocr/dicts/ppocr_keys_v1.txt",
        runtime_option=rec_option,
        model_format=rec_format)
    rec_model.preprocessor.static_shape_infer = True
    rec_model.preprocessor.disable_normalize()
    rec_model.preprocessor.disable_permute()

    ppocr_v3 = fd.vision.ocr.PPOCRv4(
        det_model=det_model, cls_model=None, rec_model=rec_model)
    ppocr_v3.cls_batch_size = 1
    ppocr_v3.rec_batch_size = 1

    for file in Path("../data/src_ocr_images/license_plate").rglob("*.png"):
        im = cv2.imread(file.as_posix())
        result = ppocr_v3.predict(im)
        vis_im = fd.vision.vis_ppocr(im, result)
        cv2.imwrite(os.path.join("../data/dst_ocr_images/license_plate", os.path.basename(file)), vis_im)

        # result = rec_model.predict(im)

        print(file.as_posix(), result)

1.4 问题

问题1：文字识别模型推理后解析的结果与图片中的文字不一样？

解决方法：参考https://github.com/PaddlePaddle/FastDeploy/issues/2218

“1.5.2的toolkit2转换rknn模型有问题，最后支持的版本是1.5.1b19，你可以用1.5.1b19的工具转换模型。但是这个问题还是看下吧，因为板子已经支持半自动的动态输入了，目前的静态resize输入识别率很低，估计变形太严重都丢了”。使用1.5.1b19版本的rknn导出模型。

找不到对应版本的模型，使用1.5.0可以正常推理，下载地址https://github.com/rockchip-linux/rknn-toolkit2/blob/v1.5.0/packages/rknn_toolkit2-1.5.0%2B1fa95b5c-cp38-cp38-linux_x86_64.whl。

问题2：rknn-toolkit2降低到1.5.0版本后，出现下面错误

E load_onnx: onnx.onnx_cpp2py_export.checker.ValidationError: Field 'shape' of 'type' is required but missing.

模型一些类型缺少“shape”，可以使用onnxruntime的工具重新推理下onnx的shape：

python symbolic_shape_infer.py --input ch_ppocr_mobile_v2.0_cls_infer/ch_ppocr_mobile_v2.0_cls_infer_old.onnx 
--output ch_ppocr_mobile_v2.0_cls_infer/ch_ppocr_mobile_v2.0_cls_infer.onnx

symbolic_shape_infer.py位于onnxruntime的安装目录中/opt/virtualenvs/feiran/lib/python3.8/site-packages/onnxruntime/tools/symbolic_shape_infer.py

问题3：转换cls和rec模型时报错

E build: AttributeError: module 'numpy' has no attribute 'bool'.

降低numpy的版本：pip3 install numpy==1.23.1 -i https://mirror.baidu.com/pypi/simple

参考

百度FastDeploy提供的Demo：https://github.com/PaddlePaddle/FastDeploy/blob/develop/tools/rknpu2/export.py
模型转换步骤：https://github.com/PaddlePaddle/FastDeploy/tree/develop/examples/vision/ocr/PP-OCR/rockchip/python
编译步骤：https://github.com/PaddlePaddle/FastDeploy/blob/develop/docs/cn/build_and_install/rknpu2.md
嵌入式AI应用开发实战指南—基于LubanCat-RK系列板卡：https://doc.embedfire.com/linux/rk356x/Ai/zh/latest/lubancat_ai/example/pp_ocrv3.html

瑞芯微技术大牛邱建斌37页PPT详解Toybrick AI开发平
出品 | 智东西公开课讲师 | 邱建斌瑞芯微Toybrick AI开发平台负责人番茄办公模板导读：瑞芯微T...
瑞芯微parameter解析
FIRMWARE_VER:7.0.0 #固件版本固件版本，打包update.img使用，升级工具会根据这个识别固...
瑞芯微IPO被否，同行财务来解读
惊闻瑞芯微IPO被否，业内公司忍不住要关注一下。《创业板发审委2017年第59次会议审核结果公告》显示，福州瑞芯...
瑞芯微/晶晨/全志Armbian 64位镜像安装启动
Rockchip/Amlogic/Allwinner---瑞芯微/晶晨/全志Coreelec中的启动系统与Libr...
RV1126-RV1109 MPP使用说明
一、MPP 简介 Media Process Platform(简称 MPP) 是适用于瑞芯微芯片系列的通用媒体处...
1、OpenWRT编译
在以前的公司用OpenWRT搭建了一套智能语音的操作系统，底层是Linux，适配的芯片平台有瑞芯微和国芯。引入了A...
瑞芯微的教训——没有基带！
瑞芯微是一家国内前十或者前五的IC设计公司，和国内另一家芯片商全志的实力相当，但稍逊于紫光旗下展讯和华为海思。一位...
RK3399ProD下安装Docker
瑞芯微出的RK3399ProD,使用官方提供的linux系统（debian10）时，默认内核docker相关配置没...
webpack4迁移
从V3到V4 Node.js v4 如果你在使用Node.js v4或者更低的版本，你需要升级你的node版本到v...
Tool_Release_v2.33下载，瑞芯微RK3128四
原文标题：AndroidTool_Release_v2.33下载，瑞芯微RK3128四核机顶盒刷机工具 Andro...