Xorbits Inference（Xinference）是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。 Xinference 的功能和亮点有： * * 🌟 模型推理，轻而易举：大语言模型，语音识别模型，多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。 * * ⚡️ 前沿模型，应有尽有：框架内置众多中英文的前沿大语言模型，包括 baichuan，chatglm2 等，一键即可体验！内置模型列表还在快速更新中！ * * 🖥 异构硬件，快如闪电：通过 ggml，同时使用你的 GPU 与 CPU 进行推理，降低延迟，提高吞吐！ * * ⚙️ 接口调用，灵活多样：提供多种使用模型的接口，包括 OpenAI 兼容的 RESTful API（包括 Function Calling），RPC，命令行，web UI 等等。方便模型的管理与交互。 * * 🌐 集群计算，分布协同：支持分布式部署，通过内置的资源调度器，让不同大小的模型按需调度到不同机器，充分使用集群资源。 * * 🔌 开放生态，无缝对接：与流行的三方库无缝对接，包括 LangChain， LlamaIndex， Dify，以及 Chatbox。
🧠 Xinference v1.6.0 更新日志
✅ 本次亮点
* 🎬 **支持视频模型与音频模型的 UI 展示**，多模态实验更直观便捷 * 🧠 **Qwen3 模型支持在加载页面关闭思考过程**，控制推理行为更灵活 * 🔧 得益于 Xoscar 底座最新被 PVLDB 顶会接收的论文成果，环境隔离与显卡指定运行更加稳定、可靠！推荐默认开启环境隔离功能以避免模型间依赖冲突，配置方式详见文档：https://inference.readthedocs.io/zh-cn/latest/models/virtualenv.html * 🦙 **llama.cpp 引擎已完全切换为 xllamacpp**，由 Xinference 团队维护，紧跟 llamacpp 发展节奏
🌐 社区版更新
📦 安装方式 * pip 安装：pip install 'xinference==1.6.0' * Docker 使用：拉取最新版镜像，或在容器中使用 pip 更新
✨ 更新功能
* 🖼️ 支持 image-to-video 图生视频能力 * 🧠 支持为 Qwen3 启用或关闭解析思维过程 (enable_thinking) * 🧪 video 与 audio 模型 UI 支持上线 * 🧠 加载模型时若缺失标签，可自动补全 * 🔧 xo.wait_for 替代 asyncio.wait_for 用于 actor 调度，调度更稳定
📚 新增模型
* 🧠 Qwen3 系列： * Qwen3-235B-A22B 支持 GPTQ Int4 / Int8 格式 * 增加 mlx 引擎支持 * 🧠 Skywork 系列： * Skywork-OR1 模型及其 32B GPTQ 格式 * 🧠 其他模型： * XiYanSQL-QwenCoder-2504 * HuatuoGPT-o1 * DianJin-R1 * mlx-community/Qwen2.5-VL-32B-Instruct * 🖼️ QwQ 模型支持 unsloth gguf 格式
🔧 增强项
* 🔁 Qwen, Qwen2.5-Omni-3B, Qwen3-AWQ 14B/32B 格式支持增强 * 📎 DeepSeek-VL2 模型参数更新 * ⚙️ llama.cpp 后端完全迁移至 xllamacpp * 🧭 [UI] 增加文档链接按钮与版本信息显示 * 🌐 Worker 环境隔离能力强化 * 🧠 Qwen 系列采用官方量化模型仓库 * 🔊 cosyvoice 模型更新 * 🧩 autoawq 与 GPTQModel 拆分为独立安装项 * 📌 修复 transformers 在 Docker 环境中被误降级的问题 * ⚙️ 支持以函数形式加载模型配置
🐛 Bug 修复
* 🧠 修复 Qwen3 235B 规格错误 * 🧠 修复 reasoning_parser 对思维过程解析不完整问题 * 🛠️ 修复工具调用时推理内容处理异常问题 * ✂️ 修复 vLLM 停止词处理逻辑问题 * 🔧 修复 Model._get_full_prompt() 参数个数错误 * 🛑 修复推理停止时潜在卡住问题 * [UI] 视频模型增加 cpu_offload 参数，修复音频模型筛选逻辑异常
🏢 企业版更新
* 支持 AMD 部署 * 🌍 **新增东南亚语言模型**，满足更多地区客户的多语种需求 * 🖥️ **UI 升级**： * 支持在页面中查看日志，提升可运维性 * 支持文生图等任务的操作页面，实验体验更流畅
我们感谢每一位参与的社区伙伴对 Xinference 的帮助和支持，也欢迎更多使用者和开发者参与体验和使用 Xinference。 欢迎您在 https://github.com/xorbitsai/inference 给我们一个 星标，这样你就可以在 GitHub 上及时收到每个新版本的通知。
评论删除后，数据将无法恢复
Xinference v1.6.0 震撼发布！视频模型+思维控制，AI推理再进化
Xorbits Inference（Xinference）是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。 Xinference 的功能和亮点有：
* * 🌟 模型推理，轻而易举：大语言模型，语音识别模型，多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。
* * ⚡️ 前沿模型，应有尽有：框架内置众多中英文的前沿大语言模型，包括 baichuan，chatglm2 等，一键即可体验！内置模型列表还在快速更新中！
* * 🖥 异构硬件，快如闪电：通过 ggml，同时使用你的 GPU 与 CPU 进行推理，降低延迟，提高吞吐！
* * ⚙️ 接口调用，灵活多样：提供多种使用模型的接口，包括 OpenAI 兼容的 RESTful API（包括 Function Calling），RPC，命令行，web UI 等等。方便模型的管理与交互。
* * 🌐 集群计算，分布协同：支持分布式部署，通过内置的资源调度器，让不同大小的模型按需调度到不同机器，充分使用集群资源。
* * 🔌 开放生态，无缝对接：与流行的三方库无缝对接，包括 LangChain， LlamaIndex， Dify，以及 Chatbox。
🧠 Xinference v1.6.0 更新日志
✅ 本次亮点
* 🎬 **支持视频模型与音频模型的 UI 展示**，多模态实验更直观便捷
* 🧠 **Qwen3 模型支持在加载页面关闭思考过程**，控制推理行为更灵活
* 🔧 得益于 Xoscar 底座最新被 PVLDB 顶会接收的论文成果，环境隔离与显卡指定运行更加稳定、可靠！推荐默认开启环境隔离功能以避免模型间依赖冲突，配置方式详见文档：https://inference.readthedocs.io/zh-cn/latest/models/virtualenv.html
* 🦙 **llama.cpp 引擎已完全切换为 xllamacpp**，由 Xinference 团队维护，紧跟 llamacpp 发展节奏
🌐 社区版更新
📦 安装方式
* pip 安装：pip install 'xinference==1.6.0'
* Docker 使用：拉取最新版镜像，或在容器中使用 pip 更新
✨ 更新功能
* 🖼️ 支持 image-to-video 图生视频能力
* 🧠 支持为 Qwen3 启用或关闭解析思维过程 (enable_thinking)
* 🧪 video 与 audio 模型 UI 支持上线
* 🧠 加载模型时若缺失标签，可自动补全
* 🔧 xo.wait_for 替代 asyncio.wait_for 用于 actor 调度，调度更稳定
📚 新增模型
* 🧠 Qwen3 系列：
* Qwen3-235B-A22B 支持 GPTQ Int4 / Int8 格式
* 增加 mlx 引擎支持
* 🧠 Skywork 系列：
* Skywork-OR1 模型及其 32B GPTQ 格式
* 🧠 其他模型：
* XiYanSQL-QwenCoder-2504
* HuatuoGPT-o1
* DianJin-R1
* mlx-community/Qwen2.5-VL-32B-Instruct
* 🖼️ QwQ 模型支持 unsloth gguf 格式
🔧 增强项
* 🔁 Qwen, Qwen2.5-Omni-3B, Qwen3-AWQ 14B/32B 格式支持增强
* 📎 DeepSeek-VL2 模型参数更新
* ⚙️ llama.cpp 后端完全迁移至 xllamacpp
* 🧭 [UI] 增加文档链接按钮与版本信息显示
* 🌐 Worker 环境隔离能力强化
* 🧠 Qwen 系列采用官方量化模型仓库
* 🔊 cosyvoice 模型更新
* 🧩 autoawq 与 GPTQModel 拆分为独立安装项
* 📌 修复 transformers 在 Docker 环境中被误降级的问题
* ⚙️ 支持以函数形式加载模型配置
🐛 Bug 修复
* 🧠 修复 Qwen3 235B 规格错误
* 🧠 修复 reasoning_parser 对思维过程解析不完整问题
* 🛠️ 修复工具调用时推理内容处理异常问题
* ✂️ 修复 vLLM 停止词处理逻辑问题
* 🔧 修复 Model._get_full_prompt() 参数个数错误
* 🛑 修复推理停止时潜在卡住问题
* [UI] 视频模型增加 cpu_offload 参数，修复音频模型筛选逻辑异常
🏢 企业版更新
* 支持 AMD 部署
* 🌍 **新增东南亚语言模型**，满足更多地区客户的多语种需求
* 🖥️ **UI 升级**：
* 支持在页面中查看日志，提升可运维性
* 支持文生图等任务的操作页面，实验体验更流畅
我们感谢每一位参与的社区伙伴对 Xinference 的帮助和支持，也欢迎更多使用者和开发者参与体验和使用 Xinference。
欢迎您在 https://github.com/xorbitsai/inference 给我们一个 星标，这样你就可以在 GitHub 上及时收到每个新版本的通知。