llama.cpp

简介

开源 C/C++ 大模型推理引擎，官方 Mac 应用本地跑模型并供 OpenAI 兼容 API

llama.cpp 是 C/C++ 实现的开源 LLM 推理引擎（MIT，GitHub 130.3k star， 2026-10-05），官网 llama.app 即官方 Mac 菜单栏应用 Llama 的主页。应用免费、 开源、可离线，浏览器里直接与开源模型聊天（站方称 "Like ChatGPT, but on your Mac"）；其他应用指向 localhost:9931/v1 即可使用本地 OpenAI/Anthropic 兼容 API，支持流式输出、工具调用、结构化输出与视觉输入，还可经 Tailscale 从其他设备访问。引擎高级设置保留在一个纯文本文件里，各模型统一存于 Hugging Face 缓存；应用按 Mac 内存推荐模型，16 GB 起 Gemma 4、24 GB 起 GPT-OSS、32 GB 起 Qwen 3.8。

界面预览

相关文章

暂无相关文章。