DevOps研发效能
媒体矩阵
开源中国APP
授权协议 MIT
开发语言 C/C++
操作系统 跨平台
软件类型 开源软件
开源组织
地区 不详
投 递 者 不详
适用人群 未知
收录时间 2025-05-14

软件简介

llama.cpp 是 Meta 的 LLaMA 模型(及其他模型)的纯 C/C++ 推理实现。

llama.cpp 的主要目标是在各种硬件平台上(无论是本地设备还是云端)实现无需复杂配置、具备先进性能的大型语言模型(LLM)推理。

  • 纯 C/C++ 实现,不依赖任何第三方库
  • 对苹果芯片提供一级支持,通过 ARM NEON、Accelerate 和 Metal 框架进行优化
  • 支持 x86 架构的 AVX、AVX2、AVX512 和 AMX 指令集加速
  • 支持 1.5 位、2 位、3 位、4 位、5 位、6 位和 8 位整数量化,加快推理速度并减少内存占用
  • 自定义 CUDA 内核,用于在 NVIDIA GPU 上运行 LLM;通过 HIP 支持 AMD GPU,通过 MUSA 支持摩尔线程 MTT GPU
  • 支持 Vulkan 和 SYCL 后端
  • 支持 CPU + GPU 混合推理,可加速那些体积超过显存容量的大模型
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣 发布并加入讨论🔥
暂无内容
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
0 评论
3 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部