开源的 Mac 本地大模型推理服务器，OpenAI/Anthropic 兼容，多客户端共享一台 Mac 并发
基于 Apple MLX 的本地推理服务器，以 OpenAI 与 Anthropic 兼容 API 同时服务 Cursor、Claude Code、各类 Agent 与自有应用——官网："they share the machine instead of queueing behind each other"，多客户端共享机器而不排队。模型下载前先 检查本机能否运行，跑不起来的会被拒绝并给出原因，并建议改用同模型的 MLX 版本或 目录中更适配的模型；提供 rapid-mlx serve 与 import 命令，可直接启动 Hugging Face 模型仓库并做 4-bit 量化导入。官方在 Mac mini M4 Pro（48 GB）实测 Qwen3.5 4B 四路并发合计 182.8 tok/s、Qwen3.6 35B-A3B 解码最快 104.5 tok/s（0.15.4， 2026-10-02），官网称收录 250 个 MLX 原生模型，覆盖文本、视觉、音频与视频， 0.15.x 起新增本地图像生成（FLUX.2 Klein 4B、Qwen-Image 2.1）。桌面应用与 引擎均免费开源（官网称 Apache 2.0），需 macOS 14+ 的 Apple Silicon Mac， 无需账号，提示词只留在本机。
暂无相关文章。
