llama.cpp 是 Meta 的 LLaMA 模型(及其他模型)的纯 C/C++ 推理实现。
llama.cpp 的主要目标是在各种硬件平台上(无论是本地设备还是云端)实现无需复杂配置、具备先进性能的大型语言模型(LLM)推理。
- 纯 C/C++ 实现,不依赖任何第三方库
- 对苹果芯片提供一级支持,通过 ARM NEON、Accelerate 和 Metal 框架进行优化
- 支持 x86 架构的 AVX、AVX2、AVX512 和 AMX 指令集加速
- 支持 1.5 位、2 位、3 位、4 位、5 位、6 位和 8 位整数量化,加快推理速度并减少内存占用
- 自定义 CUDA 内核,用于在 NVIDIA GPU 上运行 LLM;通过 HIP 支持 AMD GPU,通过 MUSA 支持摩尔线程 MTT GPU
- 支持 Vulkan 和 SYCL 后端
- 支持 CPU + GPU 混合推理,可加速那些体积超过显存容量的大模型
评论