MLC LLM

简介

开源大模型编译部署引擎，把 LLM 原生跑上服务器、手机与浏览器

MLC LLM 是开源（Apache-2.0）的大模型机器学习编译与高性能部署引擎， 官方使命是 "enable everyone to develop, optimize, and deploy AI models natively on everyone's platforms"。使用流程分三步——转换并量化模型权重 （Llama、Mistral 等），经算子融合、内存规划等编译优化生成模型库，再分发到 服务器、Android、iOS 与浏览器（WebLLM）的平台原生运行时。各端由统一的 MLCEngine 驱动，通过 REST 服务、Python、Javascript 等提供 OpenAI 兼容 API。 GitHub 23.2k star（2026-10-05）。

界面预览

相关文章

暂无相关文章。