该模型通过创新的双层蒸馏框架实现突破，基于数据优化策略重构指令数据集强化模型理解能力，并且采用参数融合技术实现细粒度知识迁移。实验表明，DistilQwen2.5 在多项基准测试中性能超越原模型，同时显著降低计算资源消耗。
评论删除后，数据将无法恢复
DistilQwen2.5 发布：通义千问蒸馏小模型再升级
该模型通过创新的双层蒸馏框架实现突破，基于数据优化策略重构指令数据集强化模型理解能力，并且采用参数融合技术实现细粒度知识迁移。实验表明，DistilQwen2.5 在多项基准测试中性能超越原模型，同时显著降低计算资源消耗。