Lit-LLaMA 是一个基于 nanoGPT 的 LLaMA 语言模型的实现,支持量化、LoRA 微调、预训练。
设计原则
- 简单:单一文件实现,没有样板代码
- 正确:在数值上等同于原始模型
- 优化:在消费者硬件上或大规模运行
- 开源:无附加条件
设置
克隆仓库
git clone https://github.com/Lightning-AI/lit-llama cd lit-llama
安装依赖项
pip install -r requirements.txt
Lit-LLaMA 是一个基于 nanoGPT 的 LLaMA 语言模型的实现,支持量化、LoRA 微调、预训练。
克隆仓库
git clone https://github.com/Lightning-AI/lit-llama cd lit-llama
安装依赖项
pip install -r requirements.txt
评论