Xinference

简介

Xorbits 开源的模型服务化推理框架，一条命令把模型跑进生产

Xorbits 出品、Apache-2.0 协议开源，About 宣传语 "Swap GPT for any LLM by changing a single line of code" ——一条命令部署语言、语音识别与多模态模型，云端、本地或笔记本 统一走生产级推理 API。框架层提供 Auto-batch 并发自动批处理、 Xllamacpp（团队维护的 llama.cpp Python 绑定）、跨 worker 分布式 推理与 vLLM 多副本共享 KV cache；3.0 起转向 Agent-native Serving， 与企业 agent 平台 Xagent 集成实现动态规划、工具使用与自治执行。 近期内置模型新增 Qwen-Image-2.1、MiniCPM5-2B、Fish Audio 系列等， 并与 Dify、FastGPT、RAGFlow、MaxKB 官方集成。截至 2026-10-03 仓库 9.6k stars、Docker 拉取 12M，当前版本 v3.5.0。

界面预览

相关文章

暂无相关文章。