向量搜索引擎 Milvus

向量搜索引擎 Milvus

Apache
Java C/C++ Python Google Go
Linux
2019-10-16
顾钧

【年终提升】2019尾声,来 OSC·年终盛典收割技术干货,get新技能!>>>

Milvus 向量搜索引擎能够帮助用户轻松应对海量非结构化数据(图片/视频/语音/文本)检索。单节点 Milvus 可以在秒内完成十亿级的向量搜索(请参考:在线教程),分布式架构亦能满足用户的水平扩展需求。

Milvus 量搜索引擎的应用场景包括:互联网娱乐(图片搜索/视频搜索)、新零售(以图搜商品)、智慧金融(用户认证)和智能物流(车辆识别)等领域。

希望 Milvus 向量搜索引擎能帮助更多的用户应对非结构数据和AI带来的机遇与挑战。

数据智能的挑战

随着信息化技术的不断进步,人们正经历爆炸式的数据增长。非结构数据(如图片、视频、语音和文字)比传统的结构化数据增长更快,数据量更大。之所以称其为非结构数据,是因为这些数据无法以传统方式进行处理与价值挖掘。如何从非结构数据中提取有价值的内容与信息,已经逐渐成为企业进一步挖掘数据价值的关键。

深度学习目前被认为是最有效的非结构数据处理方式之一。非结构数据经过深度学习模型的处理,会被向量化。于是,海量非结构数据的分析处理被转化为对海量向量的近似搜索。虽然处理图片,视频,语音和文字的深度学习模型各不相同,但最终的向量处理需求却是相同的。因此,向量搜索引擎是AI应用的基石之一。

Milvus,开源AI基础组件

Milvus是一个开源的分布式向量搜索引擎。Milvus不但集成了业界成熟的向量相似度搜索技术,更在此基础上对高性能计算框架进行了大幅度优化。Milvus为AI应用开发者带来了如下价值:

高性能

Milvus为海量向量搜索场景而设计。Milvus不但集成了业界成熟的向量搜索技术如Faiss和SPTAG,Milvus也实现了高效的NSG图索引。同时,Milvus团队针对Faiss IVF索引进行了深度优化,实现了CPU与多GPU的融合计算,大幅提高了向量搜索性能。Milvus可以在单机环境下完成SIFT1b十亿级向量搜索任务。

更多信息请参考 GitHub 文档:https://github.com/milvus-io/bootcamp/blob/master/docs/milvus101/hardware_platform.md

智能索引

针对不同应用场景,Milvus提供多种向量相似度计算方式和索引类型。Milvus目前支持主流的欧式距离、点积、余弦相似度(未来Milvus会集成更多的相似度计算方式)。同时,Milvus提供适用于n:N查询的量化索引,适用于1:N查询的图索引或树图混合索引。

Milvus 索引类型:

  • IVF:Faiss IVF(CPU计算,或GPU计算),Milvus深度优化的IVF(CPU/GPU混合计算)
  • Graph:Milvus实现的NSG索引
  • Tree & Graph:集成微软SPTAG
  • IVF & Graph:Milvus实现中

易于开发

Milvus为用户提供向量数据管理服务,以及集成的应用开发SDK(Java/Python/C++/RESTful API)。相比直接调用Faiss和SPTAG那样的程序库,Milvus上的应用开发更便捷,数据管理更简单。

计算成本可控

Milvus不仅提供传统的CPU计算方案,通过引入GPU等高算力ASIC,Milvus可以有效降低大规模向量搜索所需的硬件规模,从而降低系统的成本。

应用场景广泛

Milvus向量搜索引擎可以对接包括图片识别,视频处理,声音识别,自然语言处理等深度学习模型。为向量化后的非结构数据提供搜索分析服务。

欢迎加入Milvus社区

  • 主页: milvus.io
  • Github:github.com/milvus-io/milvus
  • 知乎: zhuanlan.zhihu.com/milvus
  • Slack: milvusio.slack.com
  • Twitter:twitter.com/milvusio
  • Facebook:www.facebook.com/io.milvus.5
的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

Milvus 纯 CPU 预览版来了

你可以下载 Milvus 0.6.0 分支进行编译,目前默认编译就是纯 CPU 版本的。 编译指南请参考:https://gitee.com/milvus-io/milvus/blob/master/install.md 对于 Intel CPU,可以在编译的时候可...

11/08 16:42

Milvus 0.5.0 发布,新增 Java SDK

Milvus 向量搜索引擎发布了 0.5.0 版本。 主要更新内容如下: - 新增 Java SDK(文档); - 支持全新的 IVF SQ8 混合计算索引; - 系统启动可以设置预加载向量数据,免去首次查询时的加载时间...

10/22 08:59

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

Milvus 快速安装手册

该指南主要包含 Milvus Docker 版的快速安装,以及相关 Python 示例代码的运行。如果想进一步了解 Milvus 的使用,请访问 Milvus 用户指南。 安装前提 Milvus Docker 版目前仅在 Linux 系统上...

10/25 22:16
51
0
Milvus 百万向量搜索实验(附数据,测试脚本,性能数据)

1、准备测试数据和脚本 本实验所使用的原始数据集为 SIFT1B ,关于该数据集的详细信息请参考:http://corpus-texmex.irisa.fr/。在本次测试中,我们提取了原始数据集中的 100 万条数据。 经实...

10/29 23:54
66
0
向量搜索的简明数学基础

虽然 Milvus 开源向量搜索引擎(GitHub)可以为用户隔离下面这些头疼的细节,不过多学一点向量数据的知识总是没坏处的。 L2正则化(归一化) n 维原始向量空间:(为实数,为非零自然数) 原...

10/24 13:59
40
0
开源软件商业模式的探讨

声明:我们的开源项目“ Milvus 向量搜索引擎”还处在社会主义初级阶段。以下内容是我们目前对开源工作的摸索,并非最佳实践。 开源许可证 既然我们决定了要开源,第一步便是要选择合适的开源...

10/23 14:06
1K
4
开源,基础软件最好的商业模式

Milvus 向量搜索引擎已开源。欢迎大家在 Github 上关注我们。 虽然已经 2019 年,但还是有不少人(甚至是大部分人),一提到“开源”,想到的就是“免费”与“个人开发的业余(低水平)软件”...

10/23 10:36
2.8K
7

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部