MNN

简介

阿里开源的端侧深度学习推理引擎，附端侧大模型运行时 MNN-LLM

MNN 是阿里开源的轻量级深度学习推理引擎，C++ 实现，支持模型的推理与训练，Apache-2.0 协议，GitHub 16.2k star（2026-10-14）。官方称已集成进淘宝、天猫、优酷、钉钉、闲鱼等 30 多个应用，覆盖直播、短视频拍摄、搜索推荐等 70 多个使用场景。附带端侧大模型运行时 MNN-LLM，目标是在手机、PC 与 IoT 设备上本地运行大语言模型，另有 MNN-Diffusion 支持本地部署 Stable Diffusion 模型。后端覆盖 CPU、GPU、NPU（Vulkan、Metal、CUDA 等），2026-07 发布的 v3.6.1 新增 Hexagon 后端，可在高通 Hexagon DSP 上加速推理，官方另提供 Workbench 工具，带预训练模型、可视化训练与一键部署到设备。

界面预览

相关文章

暂无相关文章。