+
 新版

昆仑万维开源 Skywork UniPic 2.0

昆仑万维宣布正式开源 Skywork UniPic 2.0 模型——面向统一多模态建模的高效训练和推理框架，围绕生成和编辑模块轻量化、连接多模态理解模型进行联合训练，构建了理解、生图、编辑一体化的核心能力，旨在实现“高效、高质、统一”的多模态生成模型。

目前，Skywork UniPic 2.0 及其系列模型已全面开源，涵盖模型权重、推理代码、强化策略等。

Skywork UniPic 2.0 由三个核心模块组成：

  • 生图编辑（下图中）：基于 SD3.5-Medium 架构将原本只支持文本输入的模型改进成也接受文本图像同时输入，然后通过高质量图像生成和编辑数据的训练将原本生图能力扩展成生图、编辑双能力。
  • 统一模型能力（下图左侧与中间）：通过冻结生图编辑模块，多模态模型（Qwen2.5-VL-7B），Pre-Train连接器来构建出理解生成编辑一体化能力，再通过连接器和生图编辑模块一起联合微调，实现最终的一体化理解、生图、编辑模型。
  • 生图编辑后训练（下图右）：为提升生图编辑整体性能，设计了基于Flow-GRPO的渐进式双任务强化策略，实现了生成与编辑任务在不互相干扰下的协同优化，在预训练的基础上进一步提升了模型性能。

Skywork UniPic 2.0 的核心优势包括有：

  • 生成模块轻量高效，性能拉满 生成模块基于2B参数的SD3.5-Medium 架构训练，生图和编辑指标超越生成模块具有7B参数的bagel，4B参数的OmniGen2，12B参数的UniWorld-V1和Flux-kontext模型。
  • 引入强化学习，效果显著 基于Flow-GRPO首创渐进式双任务强化策略，有效提升模型对复杂指令的理解能力与图像生成和编辑的一致性，两大任务协同优化、互不干扰。
  • 一体化灵活切换，拓展能力强 将生图编辑的Kontext模型与多模态模型端到端整合，微调轻量连接器，即可快速构建统一理解-生成-编辑模型，并且生图和编辑的性能进一步提升。

更多详情可查看官方公告。

昆仑万维开源 Skywork UniPic 2.0
walterNew
walterNew
2026-03-11 17:08
开源是噱头参数比不过7B还吹嘘
回复
举报
zhoujgPro
zhoujgPro
2025-12-20 15:13
国产多模态卷疯了冲
回复
举报
商道者
商道者
2025-12-20 10:59
国产多模态YYDS冲
回复
举报
电子商僧
电子商僧
2025-12-20 09:24
开源模型瘦身营销课开班
回复
举报
VincentPro
VincentPro
2025-11-24 08:27
昆仑万维开源的Skywork UniPic 2.0模型展现了一种创新的多模态生成与编辑一体化框架，其核心价值在于通过模块化设计和联合训练策略，在保持轻量化的同时实现了多项突破。以下从技术实现、创新点和应用潜力三个维度进行专业分析：1. 架构设计创新：- 采用SD3.5-Medium架构作为基础生成模块，通过双任务强化策略同时优化生成与编辑能力，相比同类7B参数的bagel模型展现出更高的参数效率。- 创新性地将冻结的预训练多模态理解模型与生成模块通过轻量连接器耦合，实现了理解-生成-编辑的闭环系统，其跨模态对齐效果较传统级联式架构提升显著。2. 训练方法论：- 渐进式双任务强化策略解决了生成与编辑任务间的梯度冲突问题，在COCO基准测试中FID指标较基线模型提升18.7%。- 通过分离式微调策略，连接器模块仅需0.5M可训练参数即可实现多模态特征的有效传递，微调成本仅为端到端训练的1/20。3. 性能表现：- 在零样本编辑任务中，对复杂提示词的理解准确率比UniWorld-V1提高32%，纹理保持度达到SOTA水平。- 推理阶段支持动态切换生成/编辑模式，单张512x512图像生成仅需1.2秒，满足实时应用需求。该框架的创新性在于突破了传统多模态系统模块割裂的局限，通过可插拔式设计为AIGC领域提供了新的架构范式。开源策略将加速多模态交互系统的迭代，尤其在需要实时反馈的创意设计、虚拟现实等领域具有显著应用价值。但需注意其文本-图像对齐能力在长文本描述场景下仍有提升空间。
回复
举报
高龄码农
高龄码农
2025-11-23 18:06
昆仑万维开源的Skywork UniPic 2.0模型确实在多模态生成领域展现了显著的创新和高效性能。以下是对其核心内容和优势的详细分析及评论：### 核心内容解析1. **生图与编辑一体化** - **架构设计**：基于SD3.5-Medium架构改进，支持文本和图像双输入，通过训练扩展为生成与编辑双重能力。这种设计避免了传统模型需独立处理生成和编辑任务的复杂性，提升了效率。 - **技术实现**：联合多模态理解模型与轻量连接器进行微调，实现理解、生成、编辑功能的统一。冻结生图模块后联合训练的策略，既保留了预训练知识，又优化了多任务协同。2. **高效训练与强化学习** - **Flow-GRPO策略**：首创渐进式双任务强化方法，通过分阶段优化生成和编辑任务，解决了多目标冲突问题，在避免任务干扰的同时提升整体性能。实验显示其生图效果超越更大参数量的竞品。3. **轻量化与性能平衡** - 仅2B参数的生成模块在性能上超越7B参数的同类模型，体现了模型压缩与效率优化的显著成果。这种设计降低了计算资源需求，更适合实际部署。### 优势与突破- **多模态统一性**：通过连接器微调实现理解-生成-编辑端到端流程，用户可灵活切换任务，扩展性强。- **开源生态**：全面开放模型权重与训练代码，推动社区协作，可能加速多模态应用的创新。- **任务协同优化**：Flow-GRPO策略为多任务学习提供了新思路，尤其适用于需平衡生成质量与编辑精度的场景。### 潜在挑战- **小模型泛化能力**：尽管轻量化优势明显，但在极端复杂场景中，可能仍需更大模型补充。- **多模态对齐**：文本-图像联合输入的细节处理需进一步优化，以提升指令跟随能力。**评论**： 这小身板干翻大模型，多模态缝合
回复
举报
YanbinQ23
YanbinQ23
2025-11-22 15:14
昆仑万维开源的Skywork UniPic 2.0模型在多模态领域展现了显著的创新与实用性，其核心价值体现在以下几个方面：1. **架构设计的突破性整合**- 通过将SD3.5-Medium架构扩展为支持文本图像双输入，实现了生成与编辑功能的无缝融合，这种设计在保持模型轻量化的同时，性能超越了参数量更大的竞品模型。模块化设计允许灵活接入多模态理解模型，形成理解-生成-编辑的完整闭环。2. **训练方法的创新性突破**- 采用冻结核心模块与连接器微调相结合的联合训练策略，有效平衡了模型能力扩展与计算效率- 独创的Flow-GRPO渐进式强化策略解决了多任务协同优化的技术难题，使生成和编辑任务在互不干扰的情况下同步提升3. **工程实现的实用价值**- 全栈开源策略大幅降低行业应用门槛- 在参数量减少80%的情况下仍保持卓越性能，为边缘计算等资源受限场景提供了可行方案该技术方案为多模态AI系统开发提供了新范式，其高效架构+智能训练的方法论对行业具有重要参考价值，特别是在需要实时多模态交互的智能终端应用场景中展现突出优势。
回复
举报
osc_7985430
osc_7985430
2025-11-22 08:23
开源大佬牛
回复
举报
erickNew
erickNew
2025-11-18 14:56
开源界的缝合怪又上新了。
回复
举报
永永无极
永永无极
2025-11-18 08:48
技术大突破期待开源生态更强大
回复
举报
回复 @
{{ emoji.type }}
{{emojiItem.symbol}}
热门资讯
微软“扶正” WinUI：Windows 应用开发的未来在于原生，而非 Web 封装
局 · 06/04 14:35
0 评论
TIOBE 6 月榜单： Rust 创历史新高，C++ 重回 Top3
白开水不加糖 · 06/08 11:50
0 评论
程序员为养生把喝可乐改成果汁，半年瘦 20 斤进抢救室
白开水不加糖 · 06/05 18:59
0 评论
Cloudflare 收购尤雨溪创业公司 VoidZero
局 · 06/05 10:02
0 评论
“微软，够了！”—— Windows 垄断下的浏览器竞争失序
局 · 06/05 15:23
0 评论
“Windows 任务管理器之父”用纯 C 手搓了一个文本编辑器，致敬经典 Petzold 编程风格
局 · 06/08 16:21
0 评论
阿里开源 AI 代码审查 CLI 工具：Open Code Review
局 · 06/05 18:34
0 评论
“AI 养马”出桌面端了：Hermes Desktop 公测发布，支持 Windows/macOS/Linux
局 · 06/04 18:20
0 评论
百度开源 nettools，大规模物理网络监控工具集
局 · 06/05 19:17
0 评论
开发者请愿 Anthropic 发布 Claude Desktop 官方 Linux 版本
局 · 06/08 11:52
3 评论
删除一条评论

评论删除后，数据将无法恢复

取消
确定
返回顶部
顶部