英伟达开源 Nemotron-Mini-4B-Instruct 小语言 AI 模型

来源: 投稿
2024-09-18 16:57:01

英伟达近日开源了一款名为 Nemotron-Mini-4B-Instruct 的小语言模型 (small language model, SLM)。

地址:https://huggingface.co/nvidia/Nemotron-Mini-4B-Instruct

Nemotron-Mini-4B-Instruct 模型专为角色扮演、检索增强生成(RAG)及函数调用等任务设计,是一个小语言模型(SLM),通过蒸馏(distilled)和优化更大的 Nemotron-4 15B 获得。

该模型在 Minitron-4B-Base 模型上微调,采用了 LLM 压缩技术,最显著的特点之一是其能够处理 4096 个上下文窗口词元(token),能够生成更长且更连贯的回复。

Nemotron-Mini-4B-Instruct 以其强大的架构著称,确保了高效性与可扩展性。该模型的 Embedding Size(决定了转化后的向量的维度)尺寸为 3072,多头注意力(Multi-Head Attention)为 32 个,MLP 中间维度为 9216,在处理大规模输入数据集时,仍能以高精度和相关性作出响应。

展开阅读全文
点击加入讨论🔥(1) 发布并加入讨论🔥
1 评论
2 收藏
分享
返回顶部
顶部