Nitro 是一个快速、轻量级、可嵌入的推理引擎，利用 local AI 能为你的应用程序增添动力。兼容 OpenAI 的 API。
Nitro 是一个用于边缘计算的高效 C++ 推理引擎，为 Jan 提供动力。它轻量级且可嵌入，是产品集成的理想选择。
压缩后的 nitro 二进制文件大小仅为 3MB，没有或仅有极少的依赖性（如果使用 GPU，则需要 CUDA），因此适用于任何边缘/服务器部署。
特点：
- 快速推理：构建在尖端推理库 llama.cpp 之上，经过修改可用于生产。
- 轻量级：仅 3MB，非常适合资源敏感型环境。
- 轻松嵌入：简单集成到现有应用程序中，提供灵活性。
- 快速设置：大约 10 秒初始化，可快速部署。
- 增强的 Web 框架：合并drogon cpp以提高Web服务效率。
评论