英伟达近日开源了一款名为 Nemotron-Mini-4B-Instruct 的小语言模型 (small language model, SLM)。
地址:https://huggingface.co/nvidia/Nemotron-Mini-4B-Instruct
Nemotron-Mini-4B-Instruct 模型专为角色扮演、检索增强生成(RAG)及函数调用等任务设计,是一个小语言模型(SLM),通过蒸馏(distilled)和优化更大的 Nemotron-4 15B 获得。
该模型在 Minitron-4B-Base 模型上微调,采用了 LLM 压缩技术,最显著的特点之一是其能够处理 4096 个上下文窗口词元(token),能够生成更长且更连贯的回复。
Nemotron-Mini-4B-Instruct 以其强大的架构著称,确保了高效性与可扩展性。该模型的 Embedding Size(决定了转化后的向量的维度)尺寸为 3072,多头注意力(Multi-Head Attention)为 32 个,MLP 中间维度为 9216,在处理大规模输入数据集时,仍能以高精度和相关性作出响应。
评论删除后,数据将无法恢复
英伟达开源 Nemotron-Mini-4B-Instruct 小语言 AI 模型
英伟达近日开源了一款名为 Nemotron-Mini-4B-Instruct 的小语言模型 (small language model, SLM)。
地址:https://huggingface.co/nvidia/Nemotron-Mini-4B-Instruct
Nemotron-Mini-4B-Instruct 模型专为角色扮演、检索增强生成(RAG)及函数调用等任务设计,是一个小语言模型(SLM),通过蒸馏(distilled)和优化更大的 Nemotron-4 15B 获得。
该模型在 Minitron-4B-Base 模型上微调,采用了 LLM 压缩技术,最显著的特点之一是其能够处理 4096 个上下文窗口词元(token),能够生成更长且更连贯的回复。
Nemotron-Mini-4B-Instruct 以其强大的架构著称,确保了高效性与可扩展性。该模型的 Embedding Size(决定了转化后的向量的维度)尺寸为 3072,多头注意力(Multi-Head Attention)为 32 个,MLP 中间维度为 9216,在处理大规模输入数据集时,仍能以高精度和相关性作出响应。