Использование CIX AI Model Hub

CIX AI Model Hub предоставляет ряд передовых моделей машинного обучения, оптимизированных для развертывания на различных устройствах, в том числе на плате разработки Orange Pi 6 Plus.

Адрес сайта с моделями - https://www.modelscope.cn/models/cix/ai_model_hub_25_Q3

sudo apt-get install -y python3-pip

pip3 install modelscope --break-system-packages -i https://repo.huaweicloud.com/repository/pypi/simple --trusted-host repo.huaweicloud.com

Затем установите переменные среды.

export PATH="$HOME/.local/bin:$PATH"

Следующая команда может загрузить полную библиотеку моделей. Параметр --local_dir загрузит библиотеку модели в /home/orangepi/ai_model_hub_25_Q3, которую можно изменить в соответствии с вашими потребностями.

modelscope download --model cix/ai_model_hub_25_Q3 --local_dir '/home/orangepi/ai_model_hub_25_Q3'

Загруженная библиотека моделей показана ниже:

Установка пакетов зависимостей для NPU

Прежде чем тестировать модель, выполните следующие действия, чтобы установить пакет зависимостей, иначе тест сообщит об ошибке.

Рекомендуется использовать Anaconda для создания виртуальной среды для Python3.11 в системе Ubuntu 24.04, а затем установить пакет зависимостей NPU, в противном случае некоторые модели могут не работать. Пожалуйста, обратитесь к инструкциям в разделе «Установка Anaconda», чтобы узнать, как установить Anaconda.

Для создания среды Python 3.11 используйте команду

conda create -n py311 python=3.11

Активируйте созданную среду

conda activate py311

Установите cmake

sudo apt-get install -y cmake

Переключитесь на каталог ai_model_hub_25_Q3

cd ai_model_hub_25_Q3

И введите команду

pip3 install -r requirements.txt --break-system-packages -i https://repo.huaweicloud.com/repository/pypi/simple --trusted-host repo.huaweicloud.com

Убедитесь, что модуль ядра aipu.ko загружен правильно и что в каталоге /dev/ есть узлы aipudevice.

lsmod | grep aipu

ls /dev/aipu

Убедитесь, что установлены libnoe и ZhouyiOperators-x2.

pip3 list | grep libnoe

pip3 list | grep Zhouyi

libnoe и ZhouyiOperators-x2 устанавливаются по умолчанию в системах Linux, но если вы создаете новую среду Python с помощью Anaconda, вам необходимо их переустановить. Конкретная команда выглядит следующим образом:

pip3 install /usr/share/cix/pypi/ZhouyiOperators_x2-25.4.23-py3-none-any.whl --break-system-packages --force-reinstall -i https://repo.huaweicloud.com/repository/pypi/simple --trusted-host repo.huaweicloud.com

pip3 install /usr/share/cix/pypi/libnoe-2.0.1-py3-none-manylinux2014_aarch64.whl --break-system-packages --force-reinstall -i https://repo.huaweicloud.com/repository/pypi/simple --trusted-host repo.huaweicloud.com

Убедитесь, что версия cix-neo-umd — 2.0.2 или выше

dpkg -l | grep cix-noe-umd

Убедитесь, что версия пакета cix-npu-onnxruntime — 1.1.0 или выше.

dpkg -l | grep cix-npu-onnxruntime

Если версия cix-npu-onnxruntime ниже 1.1.0, загрузите и используйте последнюю версию образа Linux. Для этого удалите старую версию:

pip3 uninstall -y onnxruntime --break-system-packages

Установите новую версию окружения

pip3 install /usr/share/cix/pypi/onnxruntime_zhouyi-1.20.0-cp311-cp311-linux_aarch64.whl --break-system-packages --force-reinstall -i https://repo.huaweicloud.com/repository/pypi/simple --trusted-host repo.huaweicloud.com

Список моделей

Аудио/Распознавание речи

Название модели	CPU	NPU
onnx_whisper_medium_multilingual	Ok	Ok
onnx_whisper_small_multi_language	Ok	Ok
onnx_whisper_tiny_multi_language	Ok	Ok

ComputeVision/BEV

Название модели	CPU	NPU
onnx_BEV_RoadSeg	Ok	Ok

ComputeVision/Body_Analysis

Название модели	CPU	NPU
onnx_age_googlenet	Ok	Ok
onnx_gender_googlenet	Ok	Ok

ComputeVision/Depth_Estimation

Название модели	CPU	NPU
onnx_depth_anything_v2	Ok	Ok
onnx_fsre_depth	Ok	Ok
onnx_MiDaS_v2	Ok	Ok

ComputeVision/Face_Detection

Название модели	CPU	NPU
onnx_centerface	Ok	Ok
onnx_facenet	Ok	Ok
onnx_rfb_320	Ok	Ok

ComputeVision/Face_Recognition

Название модели	CPU	NPU
onnx_scrfd_arcface	Ok	Ok

ComputeVision/Image_Classificationn

Название модели	CPU	NPU
onnx_inception_v3	Ok	Ok
onnx_mobilenet_v2	Ok	Ok
onnx_mobilenet_v2_12_int8	Ok	Ok
onnx_mobilenet_v2_12_qdq	Ok	Ok
onnx_resnet_v1_101	Ok	Ok
onnx_resnet_v1_12_int8	Ok	Ok
onnx_resnet_v1_12_qdq	Ok	Ok
onnx_resnet_v1_50	Ok	Ok
onnx_vgg_16	Ok	Ok
onnx_vgg16_12_int8	Ok	Ok
onnx_vgg16_12_qdq	Ok	Ok
onnx_mobilenet_v2_12_qdq	Ok	Ok
onnx_vit-base-16-224	Ok	Ok

ComputeVision/Image_Enhancement

Название модели	CPU	NPU
onnx_AGLLNet	Ok	Ok
onnx_nighttime_dehaze	Ok	Ok
onnx_pairlie	Ok	Ok

ComputeVision/Lane_Detection

Название модели	CPU	NPU
onnx_lanenet	Ok	Ok
onnx_LSTR	Ok	Ok
onnx_Ultra_Fast_Lane_Detection	Ok	Ok
onnx_Ultra_Fast_Lane_Detection_v2	Ok	Ok

ComputeVision/Object_Detection

Название модели	CPU	NPU
onnx_resnet50_ssd300	Ok	Ok
onnx_retinanet	Ok	Ok
onnx_vehicle_detection	Ok	Ok
onnx_yolov12_m	Ok	Ok
onnx_yolov12_n	Ok	Ok
onnx_yolo_v3	Ok	Ok
onnx_yolov8_l	Ok	Ok
onnx_yolov8l_worldv2	Ok	Ok
onnx_yolov8_n	Ok	Ok
onnx_yolox_l	Ok	Ok
onnx_yolox_m	Ok	Ok
onnx_yolox_s	Ok	Ok
torch_centernet_resnet50	Ok	Ok

ComputeVision/OCR

Название модели	CPU	NPU
onnx_crnn	Ok	Ok
onnx_PP_OCRv4	Ok	Ok

ComputeVision/Pose_Estimation

Название модели	CPU	NPU
onnx_handpose	Ok	Ok
onnx_hrnet_pose	Ok	Ok
onnx_openpose	Ok	Ok
onnx_yolov8s_pose	Ok	Ok

ComputeVision/Semantic_Segmentation

Название модели	CPU	NPU
onnx_BiSeNet	Ok	Ok
onnx_deeplab_v3	Ok	Ok
onnx_deeplabv3_plus	Ok	Ok
onnx_duc	Ok	Ok
onnx_fcn_resnet50	Ok	Ok
onnx_pphumanseg	Ok	Ok
onnx_road_segmentation	Ok	Ok
onnx_sam2_1_tiny	Ok	Ok
onnx_u2net	Ok	Ok
oonnx_yolov8_segmentation	Ok	Ok
torch_fast_scnn	Ok	Ok

ComputeVision/Super_Resolution

Название модели	CPU	NPU
onnx_real_esrgan	Ok	Ok
onnx_super_resolution	Ok	Ok
onnx_vdsr	Ok	Ok

Установка пакетов зависимостей для NPU​

Список моделей​

Установка пакетов зависимостей для NPU

Список моделей