英特尔开源其 Python NPU 加速库

来源: OSCHINA
2024-03-03 11:55:52

英特尔已将其 NPU 加速库 (intel-npu-acceleration-library) 在 Apache-2.0 协议下开源。这是一个 Python 库,旨在利用英特尔神经处理单元 (NPU) 的强大功能在兼容硬件上执行高速计算,从而提高应用程序的效率。

该库目前正处于积极开发状态。为了显着提高库的性能,项目团队正在努力实现一系列关键功能。其中已实现的包括支持 8 位量化、Float16 支持、torch.compile 支持和 Static shape inference。计划实现的有:

  • 4 位量化和 GPTQ
  • NPU-Native 混合精度推理
  • BFloat16 (Brain Floating Point Format)
  • LLM MLP horizontal fusion 实现
  • MHA NPU 推理
  • NPU/GPU 异构计算
  • Paper

仓库页面上的 Python 代码示例还展示了在 NPU 上进行单矩阵乘法运算、为 NPU 编译模型,甚至在 NPU 上运行 Tiny-Llama 模型。

from intel_npu_acceleration_library.backend import MatMul import numpy as np inC, outC, batch = ... # Define your own values # Create both inputs X1 = np.random.uniform(-1, 1, (batch, inC)).astype(np.float16) X2 = np.random.uniform(-1, 1, (outC, inC)).astype(np.float16) mm = MatMul(inC, outC, batch, profile=False) result = mm.run(X1, X2)

更多详情可查看此处

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
1 收藏
分享
返回顶部
顶部