清华NLP实验室刘知远教授团队，最新提出“大模型密度定律”(Densing Law)，表达形式让人想到芯片领域的摩尔定律：
模型能力密度随时间呈指数级增长，2023年以来能力密度约每3.3个月（约100天）翻一倍。
根据密度定律，研究团队还得出以下重要推论——AI时代的三大核心引擎——电力、算力与智力，都同样遵循密度快速增长趋势。
为了发现这一结论，研究团队引入了一项衡量大模型性价比的新指标——能力密度（capability density）。团队通过设置参考模型的方式，将“能力密度”定义为了“有效参数量”与实际参数量的比值。
给定目标模型后，其“有效参数量”被定义为实现与目标模型一样的效果，参考模型需要的最少参数量。
论文第一作者肖朝军表示，根据拟合曲线，到了明年年底，只要8B参数就能实现和GPT-4一样的效果。
论文地址：https://arxiv.org/abs/2412.04315
更多独家技术见解与热门话题讨论，尽在【开源中国 APP】，与数百万开发者一起，随时随地探索技术无限可能。
举例来说，Anthropic 公司历史上开发过十个模型，为此陷入严重亏损。其中八个模型现在已经毫无价值，第九个模型是开源的，第十个模型让它现在能保持微弱的技术优势和市场活力。
它只有继续开发第十一个模型，才有可能在未来生存下去。