OpenLLM 是一个生产级的操作大语言模型 (LLM) 的开放平台。支持便捷 Fine-tune 微调、Serve 模型服务、部署和监控任何 LLM。借助 OpenLLM，可以使用任何开源大语言模型运行推理，部署到云端或本地，并构建强大的 AI 应用程序。
OpenLLM 特性包括：
- 先进的 LLM：内置支持各种开源 LLM 和模型运行时，包括 StableLM、Falcon、Dolly、Flan-T5、ChatGLM、StarCoder 等。
- 灵活的 API：只需一个命即可通过 RESTful API 或 gRPC 为 LLM 提供服务，并通过 WebUI、CLI、Python/Javascript 客户端或任何 HTTP 客户端进行查询。
- 自由构建：对 LangChain、BentoML 和 Hugging Face 具有一级支持，可以通过将 LLM 与其它模型和服务组合来轻松创建自己的 AI 应用程序。
- 简化部署：自动生成 LLM 服务器 Docker 镜像或通过 BentoCloud 部署为无服务器端节点。
- 自建 LLM：使用 LLM.tuning() 微调任何 LLM 以满足特定需求。 （即将推出）
支持模型：
| Model | CPU | GPU | Installation | Model Ids |
|---|---|---|---|---|
| flan-t5 | ✅ | ✅ |
pip install "openllm[flan-t5]"
|
|
| dolly-v2 | ✅ | ✅ |
pip install openllm |
|
| chatglm | ❌ | ✅ |
pip install "openllm[chatglm]"
|
|
| starcoder | ❌ | ✅ |
pip install "openllm[starcoder]"
|
|
| falcon | ❌ | ✅ |
pip install "openllm[falcon]"
|
|
| stablelm | ✅ | ✅ |
pip install openllm |
|
| opt | ✅ | ✅ |
pip install openllm |
评论