Milvus 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Milvus 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Milvus 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Milvus 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Milvus 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

Milvus 向量搜索引擎能够帮助用户轻松应对海量非结构化数据(图片/视频/语音/文本)检索。单节点 Milvus 可以在秒内完成十亿级的向量搜索(请参考:在线教程),分布式架构亦能满足用户的水平扩展需求。

Milvus 量搜索引擎的应用场景包括:互联网娱乐(图片搜索/视频搜索)、新零售(以图搜商品)、智慧金融(用户认证)和智能物流(车辆识别)等领域。

希望 Milvus 向量搜索引擎能帮助更多的用户应对非结构数据和AI带来的机遇与挑战。

数据智能的挑战

随着信息化技术的不断进步,人们正经历爆炸式的数据增长。非结构数据(如图片、视频、语音和文字)比传统的结构化数据增长更快,数据量更大。之所以称其为非结构数据,是因为这些数据无法以传统方式进行处理与价值挖掘。如何从非结构数据中提取有价值的内容与信息,已经逐渐成为企业进一步挖掘数据价值的关键。

深度学习目前被认为是最有效的非结构数据处理方式之一。非结构数据经过深度学习模型的处理,会被向量化。于是,海量非结构数据的分析处理被转化为对海量向量的近似搜索。虽然处理图片,视频,语音和文字的深度学习模型各不相同,但最终的向量处理需求却是相同的。因此,向量搜索引擎是AI应用的基石之一。

Milvus,开源AI基础组件

Milvus是一个开源的分布式向量搜索引擎。Milvus不但集成了业界成熟的向量相似度搜索技术,更在此基础上对高性能计算框架进行了大幅度优化。Milvus为AI应用开发者带来了如下价值:

高性能

Milvus为海量向量搜索场景而设计。Milvus不但集成了业界成熟的向量搜索技术如Faiss和SPTAG,Milvus也实现了高效的NSG图索引。同时,Milvus团队针对Faiss IVF索引进行了深度优化,实现了CPU与多GPU的融合计算,大幅提高了向量搜索性能。Milvus可以在单机环境下完成SIFT1b十亿级向量搜索任务。

更多信息请参考 GitHub 文档:https://github.com/milvus-io/bootcamp/blob/master/docs/milvus101/hardware_platform.md

智能索引

针对不同应用场景,Milvus提供多种向量相似度计算方式和索引类型。Milvus目前支持主流的欧式距离、点积、余弦相似度(未来Milvus会集成更多的相似度计算方式)。同时,Milvus提供适用于n:N查询的量化索引,适用于1:N查询的图索引或树图混合索引。

Milvus 索引类型:

  • IVF:Faiss IVF(CPU计算,或GPU计算),Milvus深度优化的IVF(CPU/GPU混合计算)
  • Graph:Milvus实现的NSG索引
  • Tree & Graph:集成微软SPTAG
  • IVF & Graph:Milvus实现中

易于开发

Milvus为用户提供向量数据管理服务,以及集成的应用开发SDK(Java/Python/C++/RESTful API)。相比直接调用Faiss和SPTAG那样的程序库,Milvus上的应用开发更便捷,数据管理更简单。

计算成本可控

Milvus不仅提供传统的CPU计算方案,通过引入GPU等高算力ASIC,Milvus可以有效降低大规模向量搜索所需的硬件规模,从而降低系统的成本。

应用场景广泛

Milvus向量搜索引擎可以对接包括图片识别,视频处理,声音识别,自然语言处理等深度学习模型。为向量化后的非结构数据提供搜索分析服务。

欢迎加入Milvus社区

  • 主页: milvus.io
  • Github:github.com/milvus-io/milvus
  • 知乎: zhuanlan.zhihu.com/milvus
  • Slack: milvusio.slack.com
  • Twitter:twitter.com/milvusio
  • Facebook:www.facebook.com/io.milvus.5
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (5)

加载中
不明觉厉
01/13 14:45
回复
举报
来了来了
2020/06/29 20:37
回复
举报
牛逼
2020/06/12 18:16
回复
举报
有非docker的安装方式么?
2020/04/07 18:16
回复
举报
Zilliz上海赜睿信息科技有限公司软件作者
还可以源码编译喔~
2020/04/17 11:11
回复
举报
更多评论
发表于AI & 大数据专区
01/12 10:11

Milvus 新版本 v0.10.5 发布

发布时间:2020-01-07 版本兼容 升级必看 load_collection() 方法支持预加载指定分区 #4307 主要改进 优化了系统建索引和查询的过程。#4454 问题修复 在多线程中调用 load_collection() 和 search() 方法会造成 Milvus 死机。#4378 Milvus 在搜索参数 partition_tags 包含 _default 字样时仅搜索默认分区。#4484 详见 CHANGELOG 了解更多已修复问题! Milvus 向量搜索引擎能够帮助用户轻松应对海量非结构化数据(图片/视频/语音...

0
5
发表于开发技能专区
2020/10/20 10:36

Milvus 新版本 v0.11.0 重磅发布!新增标量字段过滤功能,使用更灵活!

发布时间:2020-10-16 版本兼容 升级必看 ⚠️ 1. 调整了 partition tag 的支持字符集: 不支持使用英文字母、数字、"_"、"$" 以外的字符命名 partition tag。 partition tag 的首字母不支持使用英文字母或下划线以外的字符。 2. 服务端配置文件结构调整 server_config.yaml 更名为 milvus.yaml, 配置参数兼容 a.b.c: value 的展平格式。 3. 调整了二值型向量支持索引名称: IVF_FLAT 变更为 BIN_IVF_FLAT, FLAT变更为...

0
1
发表于AI & 大数据专区
2020/09/22 10:28

Milvus 新版本 v0.10.3 上线!

发布时间:2020-9-21 版本兼容 主要改进 若用户使用 FLAT 索引,支持在查询时指定 metric_type。#3213 增加了 IVF_PQ 索引的建索引参数 m 的有效值:能被向量维度 dim 整除的 m 值均为有效值。#3254 将倒排文件(IVF)类索引的查询参数 nprobe 的有效范围增加至 [1, 16384]。#3606 将查询语句中 top_k 的有效范围增加至 [1, 16384]。#3639 优化了内存释放策略以避免内存过度使用。#3536 问题修复 修复了在多 GPU 设备上采用 IV...

0
7
发表于软件架构专区
2020/08/18 10:27

Milvus 新版本 v0.10.2 上线!

发布时间:2020-8-15 版本兼容 主要改进 提升了大 nq 和大 nprobe 情况下的搜索性能。#2653 问题修复 修复了缓存中索引占用大小计算不准确的问题。#2890 修复了 IVF_PQ 索引中 IP 距离结果归并不正确的问题。#2952 修复了多 GPU 场景下,如果 cache.cache_size 设置小于单个索引文件大小,搜索时会造成系统崩溃的问题。#3012 修复了在 Mishards 中插入数据至多个分区,IP 距离结果归并不正确的问题。#3133 详见 CHANGELOG 了解更...

0
4
发表于AI & 大数据专区
2020/07/21 11:21

Milvus 新版本- v0.10.1 上线!

发布时间:2020-7-20 | 版本兼容 | 问题修复 修复了一个查询结果与查询行数不匹配的问题。#2578 修复了一个 GPU 上 IVF_PQ 索引无法支持 IP 的问题。#2585 修复了一些老的 CPU 上运行时出现 illegal instruction 的问题。#2598 调整了 HNSW 参数范围。#2637 修复了一个构建索引可能会导致 Milvus 进程崩溃退出的问题。#2642 修复了一个 ANNOY 索引默认参数与文档不对应的问题。#2649 修复了一个压力测试下出现的 Milvus 无响应的...

1
5
发表于服务端专区
2020/06/16 16:38

Milvus v0.10.0 正式发布!

发布时间:2020-6-15 | 版本兼容 | 兼容性改动 更新了 Milvus 配置文件。#2510 | 主要改进 优化了系统在存在多个小分段情况下的索引创建时间。 #2373 将 FAISS 升级至 1.6.3。 #2381 降低了系统在存在大量分区时删除集合需要的时间。#2394 在 GPU 版 Milvus 上优化了 k-selection 算法的实现。#2466 | 问题修复 修复了一个搜索性能降低的问题。#2429 详见 CHANGELOG 了解更多已修复问题。 | 欢迎加入 Milvus 社区 github.com/m...

0
5
发表于AI & 大数据专区
2020/05/19 09:59

Milvus 新版本 v0.9.0 重磅推出!

发布时间:2020-5-15 | 版本兼容 | 新增功能 支持在 Milvus 启动时检查 CPU 指令集、GPU 驱动版本 和 CUDA 版本。 #2054 #2111 避免多个 Milvus 实例同时操作同一 Milvus 数据。 #2059 支持日志文件轮转。 #2206 处理搜索请求时暂停创建索引。#2283 | 主要改进 重构了日志输出。 #221 升级了 OpenBLAS 版本以提高 Milvus 性能。 #1796 统一了 FAISS、NSG、HNSW 和 ANNOY 的向量距离计算方法。#1965 支持 SSE4.2 指令集。 #2039 ...

0
3
发表于服务端专区
2020/04/17 15:14

Milvus v0.8.0 发布: 新增 ANNOY 索引、向量删除与 Bug 修复

Milvus v0.8.0发布了,此版本主要包括:新增 ANNOY 索引、向量删除与Bug修复。 | 版本兼容 | 新增功能 ANNOY 索引的支持 增加 ANNOY 索引类型,关于 ANNOY 索引的详细介绍请参考文档。#261 向量删除 新增下列索引类型支持删除操作。#1655#1660#1661#1849 包括:Flat/IVFlat/IVFPQ/IVFSQ8/IVFSQ8H/NSG/HNSW/ANNOY | 主要改进 在 http 模块支持超集/子集距离。#1784 | Bug 修复 限制 partition 数目上限为4096。#1276 禁止创建 _d...

0
2
发表于开发技能专区
2020/04/03 10:26

中国开源项目 Milvus 加入 LF AI 孵化,立志成为最流行的 AI 数据平台

Milvus ( https://gitee.com/milvus-io/milvus) 特征向量相似度搜索引擎通过技术委员会投票,正式加入 Linux AI (LF AI)基金会成为其最新的孵化项目。 LF AI 基金会的使命是建立和支持开放的人工智能社区,通过促进协作和创新为社区所有成员创造新机会,推动人工智能(AI)、机器学习(ML)和深度学习(DL)领域的开源创新。 全球有超过100家组织和机构采用了 Milvus 引擎,它在各个 AI 应用领域都展现了强大的能力,包括图像...

7
17
发表于服务端专区
2020/04/02 11:22

Milvus v0.7.1 发布:多并发下的性能大幅提升

Milvus 发布了 0.71 版本。Milvus 向量搜索引擎能够帮助用户轻松应对海量非结构化数据(图片/视频/语音/文本)检索。单节点 Milvus 可以在秒内完成十亿级的向量搜索,分布式架构亦能满足用户的水平扩展需求。 | 版本兼容 | 新增功能 针对 FLAT 索引类型,新增子结构(substructure)和超结构(superstructure)距离计算方式。这两种距离计算方式常用于化学分子式的子结构和超结构搜索。 https://github.com/milvus-io/milvus/is...

0
13
发表于开发技能专区
2020/03/13 11:21

向量搜索引擎 Milvus 发布新版本 0.7.0

版本兼容 新增功能 向量删除 新增了对单条或多条向量的删除功能。如果您对一个集合进行了向量删除操作,后续对这个集合的搜索操作仅支持一部分索引类型,包括在CPU上运行的 Flat、IVFlat、IVFSQ8 等。Milvus 的后续版本将为其他索引类型提供支持。#86 向量读取 新增了通过向量 ID 读取对应的向量值的功能。#861 数据落盘与压缩 新增了数据落盘与压缩功能。您可以设置定时落盘或者手动落盘,从而避免数据丢失。如果一个段中的向量...

0
3
发表于AI & 大数据专区
2019/12/20 10:12

Milvus 向量搜索引擎 0.6.0 新功能介绍

Gitee: https://gitee.com/milvus-io/milvus 发布时间:2019-12-07 版本兼容 Milvus 版本 pymilvus 版本 Java SDK 版本 0.6.0 0.2.6 0.4.0 ✨ 新增功能 仅需 CPU 的 Milvus 在之前的版本,我们只提供了 GPU 版本的 Milvus。为了降低用户使用门槛,从 v0.6.0 开始,Milvus 提供仅需 CPU 和支持 GPU 两个版本的 Docker 镜像。CPU 版适合百万级数据的查询,而 GPU 版在超大数据集搜索情况下性能优势更明显。 您也可以源码编...

2
8
发表于AI & 大数据专区
2019/11/08 16:42

Milvus 纯 CPU 预览版来了

你可以下载 Milvus 0.6.0 分支进行编译,目前默认编译就是纯 CPU 版本的。 编译指南请参考:https://gitee.com/milvus-io/milvus/blob/master/install.md 对于 Intel CPU,可以在编译的时候可以加上 -m 选项以启用 Intel MKL 。 目前纯 CPU 上面 IVF SQ8 索引是稳定性,适用性比较理想的一个索引类型。 SDK: Java SDK:milvus-io/milvus-sdk-java 的master分支 Python SDK:milvus-io/pymilvus 的master分支...

10
8
发表于AI & 大数据专区
2019/10/22 08:59

Milvus 0.5.0 发布,新增 Java SDK

Milvus 向量搜索引擎发布了 0.5.0 版本。 主要更新内容如下: - 新增 Java SDK(文档); - 支持全新的 IVF SQ8 混合计算索引; - 系统启动可以设置预加载向量数据,免去首次查询时的加载时间; - 为开源而进行的大量重构; 更多内容可以参考项目的更新日志。 https://github.com/milvus-io/milvus

2
4
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于AI & 大数据专区
2020/02/24 12:00

Milvus 线上问答来了~ Chat with Milvus!

足不出户的第 N 天,你们是不是也和小编一样很想来个灵魂的呐喊? 直播看腻了,好想和谁来畅谈一下 技术 ! 对 Milvus 有问题吗?还是有什么想来吐槽的? 既然不能线下面基,我们何不来线上聊个痛快! 因此, Milvus 团队 决定在 2.25 (Tue.) 晚上 8 点 举办我们第一期的 线上问答 活动。 不管你是新朋友还是已经对 Milvus 颇为熟悉的老朋友,都非常欢迎来我们的 ZOOM 会议室与 Milvus 开发者聊聊喔! Chat with Milvus 活动时间...

0
0
发表于AI & 大数据专区
2020/02/17 18:55

Milvus 线上问答来了~ Chat with Milvus!

足不出户的第 N 天,你们是不是也和小编一样很想来个灵魂的呐喊? 直播看腻了,好想和谁来畅谈一下 技术 ! 对 Milvus 有问题吗?还是有什么想来吐槽的? 既然不能线下面基,我们何不来线上聊个痛快! 因此, Milvus 团队 决定在 2.25 (Tue.) 晚上 8 点 举办我们第一期的 线上问答 活动。 不管你是新朋友还是已经对 Milvus 颇为熟悉的老朋友,都非常欢迎来我们的 ZOOM 会议室与 Milvus 开发者聊聊喔! Chat with Milvus 活动时间...

0
0
发表于AI & 大数据专区
2020/08/21 09:00

Chat with Milvus #24 回顾-Milvus 数据管理

这次 Milvus 线上问答, 我们请到了 Milvus 的老莫老师来与我们分享 Milvus 的数据管理机制。视频链接:https://www.bilibili.com/video/BV1oT4y157Mm 因观众需求,本次视频中的 PPT 也已上传到示说网上,欢迎到此下载:https://www.slidestalk.com/Milvus/milvusdatamanagement81651!下面我们就来稍稍剧透一下~ | 基本概念 集合、分区和段的关系如下所示: Metadata 元数据: 不管是分区还是段,都只是数据在物理存储中的组织...

0
0
发表了博客
2020/10/14 07:06

Milvus Windows

https://www.bookstack.cn/read/milvus-0.8/guides-get_started-install_milvus-cpu_milvus_docker.md 在 Windows 上安装 Milvus 在 Windows 上安装 Milvus 的步骤和在 Ubuntu/CentOS 上几乎一样,只不过 第三步 和 第四步 略有不同。 在第三步中,不同于使用 wget 来获取配置文件,使用 Windows 安装时,建议在 C 盘,或其它合适的位置创建 milvus 文件夹,下面包含 db,conf,logs 和 wal 等文件夹,然后分别复制 server con...

0
0
发表于AI & 大数据专区
2020/07/03 09:40

Chat with Milvus #18- Milvus在GPU上的性能?如何成为Milvus社区开发者?

点击观看完整视频实录 ⌛ 时间戳 02:31-09:07 Attendee A:Milvus 在 GPU 的支持与性能上的一些问题 09:17-21:00 Attendee B:Milvus 分布式相关讨论 视频后半段画面遗失了 但很谢谢另外两位小伙伴的参与 | Milvus Q&A 部分文字实录 Attendee= 参会者 Attendee B: 我本身对分布式这块还是满感兴趣的, 想问一下社区这边之后的规划?也希望有机会和大家一起做开发促进这块的推动、落地。 顾老师@Milvus: 现在分布式的话,其实整...

0
0
发表于AI & 大数据专区
2020/08/04 09:00

Milvus 实战 | Milvus 与 BERT 搭建文本搜索

Google 的 BERT 模型在 NLP 领域中具有巨大的影响力。 它是一个通用的语言表示模 型,可以应用于诸多领域。 本文的项目是将 Milvus 与 BERT 模型结合搭建文本搜索引擎,使用 BERT 模型将文本数据转成向量,结合 Milvus 特征向量相似度搜索引擎可以快速搜索相似文本。 | 关键技术 1 Milvus Milvus 是一款开源向量相似度搜索引擎,建立在 Faiss、NMSLIB、Annoy 等向量索引库基础之上,具有功能强大、稳定可靠以及易于使用等特点。...

0
1
发表于AI & 大数据专区
2020/04/30 11:25

Chat with Milvus #10 回顾- Milvus 性能指标

如果你不知道 Milvus 性能指标要怎么看或是在哪里看的话,可以看此视频- Milvus 的顾老师教你怎么看 Milvus 性能报告与如何达到最佳性能。 也可以到以下这两个地方,有非常详细的关于 Milvus 性能的集合: https://github.com/milvus-io/bootcamp/blob/master/benchmark_test/performance_benchmark.md https://www.milvus.io/cn/docs/benchmarks_aws 关于ANN-Benchmarks 更多的讨论, 可以看我们前期的内容: Chat with Milvus...

0
0
发表于AI & 大数据专区
2020/11/24 14:45

Milvus 实战 | 基于 Milvus 的食谱检索系统

概述 现在,社交媒体、电商网站以及短视频应用源源不断地产生大量多模态数据。这些数据包含了自然语言、视觉信号、声音信号等多种类型。由于单一模式的数据分析已经不能满足日益复杂的查询需求,如何高效利用这些多模态数据变得至关重要。 跨模态检索是指用一种类型的数据去查询另一种不同类型的数据。处理跨模态检索问题通过把不同模态的数据映射到同一高维向量空间进行比较来完成检索任务。跨模态检索有着丰富的应用场景,如使...

0
0
发表于程序人生专区
2020/11/25 18:21

Milvus 实战 | 基于 Milvus 的食谱检索系统

概述 现在,社交媒体、电商网站以及短视频应用源源不断地产生大量多模态数据。这些数据包含了自然语言、视觉信号、声音信号等多种类型。由于单一模式的数据分析已经不能满足日益复杂的查询需求,如何高效利用这些多模态数据变得至关重要。 跨模态检索是指用一种类型的数据去查询另一种不同类型的数据。处理跨模态检索问题通过把不同模态的数据映射到同一高维向量空间进行比较来完成检索任务。跨模态检索有着丰富的应用场景,如使...

0
0
发表了博客
2020/10/03 12:47

Milvus 笔记

https://gitee.com/mirrors/Milvus?_from=gitee_search 参考;https://blog.csdn.net/yangschfly/article/details/105292534 Milvus 高性能向量搜索引擎已经开源了。GitHub Repo:https://github.com/milvus-io/milvus (或点击阅读原文查看)。 Milvus 能够帮助用户轻松应对海量非结构化数据(图片/视频/语音/文本)检索。单节点 Milvus 可以在秒内完成十亿级的向量搜索,分布式架构亦能满足用户的水平扩展需求。 18位贡献者;...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了问答
2020/05/08 08:44

有奖征文活动结束,我们选出了这几篇文章

在首期「OSC 开源软件趋势榜」结果出炉,又经过大半个月的征文后,我们选出了以下几篇文章,先来与大家分享看看。 征文活动说明及奖品详情见:https://www.oschina.net/question/2918182_2315921 本文评论区加送奖品,可下拉至文末查看。 一等奖 题目:为二次开发而生的流媒体服务器框架 作者:@一个灰 相关软件:Monibuca 文章节选: 在发布者的定义中有一个 InputStream 的结构体,用来和房间进行互操作。所有具体的发布者都应...

8
3
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
5 评论
177 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部