如何才能让模型拥有更强的长文本输出能力呢？我们发现，模型输出长度受限的主要原因在于，监督微调（SFT）数据集缺乏足够长的输出样例。
针对这一问题，我们构建了一个 6000 多条 2k-20k words 不等的长输出数据集 LongWriter-6k，并在此基础上，对 GLM-4-9B 进行 SFT 微调和 DPO 对齐。新的模型拥有了能够生成超过 10,000 字 / 词连贯文本的能力。
评论删除后，数据将无法恢复
如何让大模型输出 10k+ 字长文？
如何才能让模型拥有更强的长文本输出能力呢？我们发现，模型输出长度受限的主要原因在于，监督微调（SFT）数据集缺乏足够长的输出样例。
针对这一问题，我们构建了一个 6000 多条 2k-20k words 不等的长输出数据集 LongWriter-6k，并在此基础上，对 GLM-4-9B 进行 SFT 微调和 DPO 对齐。新的模型拥有了能够生成超过 10,000 字 / 词连贯文本的能力。