Milvus 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Milvus 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Milvus 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java C/C++ Python Google Go
操作系统 Linux
软件类型 开源软件
所属分类 程序开发搜索引擎
开源组织
地区 国产
投 递 者 Zilliz
适用人群 未知
收录时间 2019-10-16

软件简介

Milvus 向量数据库能够帮助用户轻松应对海量非结构化数据(图片/视频/语音/文本)检索。单节点 Milvus 可以在秒内完成十亿级的向量搜索(请参考:在线教程),分布式架构亦能满足用户的水平扩展需求。

Milvus 向量数据库的应用场景包括:互联网娱乐(图片搜索/视频搜索)、新零售(以图搜商品)、智慧金融(用户认证)和智能物流(车辆识别)等领域。

希望 Milvus 向量数据库能帮助更多的用户应对非结构数据和AI带来的机遇与挑战。

数据智能的挑战

随着信息化技术的不断进步,人们正经历爆炸式的数据增长。非结构数据(如图片、视频、语音和文字)比传统的结构化数据增长更快,数据量更大。之所以称其为非结构数据,是因为这些数据无法以传统方式进行处理与价值挖掘。如何从非结构数据中提取有价值的内容与信息,已经逐渐成为企业进一步挖掘数据价值的关键。

深度学习目前被认为是最有效的非结构数据处理方式之一。非结构数据经过深度学习模型的处理,会被向量化。于是,海量非结构数据的分析处理被转化为对海量向量的近似搜索。虽然处理图片,视频,语音和文字的深度学习模型各不相同,但最终的向量处理需求却是相同的。因此,向量数据库是 AI 应用的基石之一。

Milvus,开源 AI 基础组件

Milvus 是一个开源的分布式向量数据库。Milvus 数据库不但集成了业界成熟的向量相似度搜索技术,更在此基础上对高性能计算框架进行了大幅度优化。Milvus 为 AI 应用开发者带来了如下价值:

高性能

Milvus 数据库为海量向量搜索场景而设计。Milvus 不但集成了业界成熟的向量搜索技术如 Faiss 和 SPTAG,Milvus 也实现了高效的 NSG 图索引。同时,Milvus 团队针对 Faiss IVF 索引进行了深度优化,实现了 CPU 与多 GPU 的融合计算,大幅提高了向量搜索性能。Milvus 数据库可以在单机环境下完成 SIFT1b 十亿级向量搜索任务。

更多信息请参考 GitHub 文档:https://github.com/milvus-io/bootcamp/blob/master/docs/milvus101/hardware_platform.md

智能索引

针对不同应用场景,Milvus 数据库提供多种向量相似度计算方式和索引类型。Milvus 数据库目前支持主流的欧式距离、点积、余弦相似度(未来 Milvus 数据库会集成更多的相似度计算方式)。同时,Milvus 数据库提供适用于 n:N 查询的量化索引,适用于 1:N 查询的图索引或树图混合索引。

Milvus 索引类型:

  • IVF:Faiss IVF(CPU计算,或GPU计算),Milvus 深度优化的IVF(CPU/GPU混合计算)
  • Graph:Milvus 数据库实现的 NSG 索引
  • Tree & Graph:集成微软 SPTAG
  • IVF & Graph:Milvus 实现中

易于开发

Milvus 数据库为用户提供向量数据管理服务,以及集成的应用开发 SDK(Java/Python/C++/RESTful API)。相比直接调用 Faiss 和 SPTAG 那样的程序库,Milvus 数据库上的应用开发更便捷,数据管理更简单。

计算成本可控

Milvus 数据库不仅提供传统的 CPU 计算方案,通过引入 GPU 等高算力 ASIC,Milvus 数据库可以有效降低大规模向量搜索所需的硬件规模,从而降低系统的成本。

应用场景广泛

Milvus 向量数据库可以对接包括图片识别,视频处理,声音识别,自然语言处理等深度学习模型。为向量化后的非结构数据提供搜索分析服务。

欢迎加入Milvus社区

  • 主页: milvus.io
  • Github:github.com/milvus-io/milvus
  • 知乎: zhuanlan.zhihu.com/milvus
  • Slack: milvusio.slack.com
  • Twitter:twitter.com/milvusio
  • Facebook:www.facebook.com/io.milvus.5
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(5)
发表了资讯
02/10 10:34

Milvus 2.0 GA :专为 AI 打造的云原生向量数据库

近日,获得 AI 开发者广泛关注(Github star 数 9000+)的“AI 神鸟项目” Milvus 向量数据库(Milvus 在英文中指鸢),正式宣布2.0 版本的 GA。全新的 Milvus 向量数据库具备支持大规模生产环境的能力,帮助开发者在构建深度学习、机器视觉、语义学习等大规模系统时,能够快速构建起高可靠、高性能、高检索效率、运维管理友好的向量数据(embedding vector)处理平台。 “这不是一次简单的版本升级,而是一次全面重构,也是我们...

0
12
发表了资讯
2021/07/07 16:09

六月Z星月度速览:Milvus 发布 2.0 新版本、Milvus 从顶级开源基金会 LF AI & Data 毕业……

#June Z星月度速览 Milvus 发布 2.0 新版本,重新定义向量数据库 向量数据库 Milvus 从顶级开源基金会 LF AI & Data 毕业 基于 KubeSphere 容器平台,一键可视化部署 Milvus 向量数据库 丁香园基于 Milvus 的向量召回应用,极大提高开发部署效率 Milvus 在唯品会搜索推荐的实践,搭建高效电商搜索推荐系统 Milvus 在 Tokopedia 的应用,让语义搜索更加智能 Zilliz 创始人星爵出席2021北京智源大会,谈非结构化数据处理的新CAP理...

0
2
发表了资讯
2021/06/29 18:12

Milvus 2.0 新版本一览:重新定义向量数据库

✏️ 作者:栾小凡, Zilliz 研发总监 2018 年 10 月,我们写下了向量数据库 Milvus 的第一行代码;在历经了 29 个月、19 个版本的迭代与全球 1000 家用户的实践验证后,终于在 2021 年 3月迎来了 Milvus 1.0 版本。Milvus 解决了对向量数据进行增删改查(CRUD)操作和数据持久化的问题,但随着新需求的出现,更多问题也逐渐浮现出来。本文旨在总结过去三年的经验,聊聊 Milvus 2.0 期待解决的问题,以及为什么 Milvus 2.0 是解...

1
13
发表了资讯
2021/06/28 09:21

LF AI & Data 基金会宣布 Milvus 项目毕业

LF AI & Data 基金会是一家致力于构建生态系统,以支持人工智能(AI)和数据开源项目的开源创新的组织,今天宣布,托管项目Milvus[1]将从一个孵化级项目推进到毕业级。这次毕业是 Milvus 展示了蓬勃发展的采用、来自多个组织的持续贡献流,以及文档化和结构化的开放治理过程的结果。Milvus 还获得了核心基础设施倡议最佳实践徽章(Core Infrastructure Initiative Best Practices Badge)[2],并展示了对其用户和贡献者社区的强...

2
7
发表了资讯
2021/06/27 10:03

Milvus 新版本 - v1.1.1 上线!

Milvus 又迎来了一新版本!此版本针对 Milvus v1.1 做了一些改进与修复,另外也增加了 S3 存储支持与支持在显存中缓存索引等两项新功能。详情请阅读以下的发版说明。 特别感谢以下社区贡献者,为此版本添砖加瓦: @shengjun1985 @op-hunter @cqy123456 @matrixji @yhmo @del-zhenwu @XuanYang-cn 发版说明 新增功能 #1434 支持 S3 存储(由紫光华智实现)。 #5142 支持在显存中缓存索引。 问题修复 #4897 已删除 entity 在后继查...

0
1
发表了资讯
2021/05/17 14:15

新版本来了! Milvus v1.1 发布!

在 Milvus 1.0 版本发布后的 2 个月,2021 年 5 月 7 日,Milvus 正式发布了 1.1 版本! Milvus 1.1 版本新增诸多优化改进,修复大量漏洞,进一步丰富和完善了 Milvus 第一个长期支持(LTS)版本[1]。 以下是 Milvus 1.1 发版说明,想了解更多详情,请见 Milvus GitHub: https://github.com/milvus-io/milvus/releases/tag/v1.1.0 。如需做数据迁移的朋友,可使用 Milvus 数据迁移工具 -- Milvusdm。 特别感谢以下社区贡献者,...

0
7
发表于AI & 大数据专区
2021/01/12 10:11

Milvus 新版本 v0.10.5 发布

发布时间:2020-01-07 版本兼容 升级必看 load_collection() 方法支持预加载指定分区 #4307 主要改进 优化了系统建索引和查询的过程。#4454 问题修复 在多线程中调用 load_collection() 和 search() 方法会造成 Milvus 死机。#4378 Milvus 在搜索参数 partition_tags 包含 _default 字样时仅搜索默认分区。#4484 详见 CHANGELOG 了解更多已修复问题! Milvus 向量搜索引擎能够帮助用户轻松应对海量非结构化数据(图片/视频/语音...

0
5
发表于开发技能专区
2020/10/20 10:36

Milvus 新版本 v0.11.0 重磅发布!新增标量字段过滤功能,使用更灵活!

发布时间:2020-10-16 版本兼容 升级必看 ⚠️ 1. 调整了 partition tag 的支持字符集: 不支持使用英文字母、数字、"_"、"$" 以外的字符命名 partition tag。 partition tag 的首字母不支持使用英文字母或下划线以外的字符。 2. 服务端配置文件结构调整 server_config.yaml 更名为 milvus.yaml, 配置参数兼容 a.b.c: value 的展平格式。 3. 调整了二值型向量支持索引名称: IVF_FLAT 变更为 BIN_IVF_FLAT, FLAT变更为...

0
1
发表于AI & 大数据专区
2020/09/22 10:28

Milvus 新版本 v0.10.3 上线!

发布时间:2020-9-21 版本兼容 主要改进 若用户使用 FLAT 索引,支持在查询时指定 metric_type。#3213 增加了 IVF_PQ 索引的建索引参数 m 的有效值:能被向量维度 dim 整除的 m 值均为有效值。#3254 将倒排文件(IVF)类索引的查询参数 nprobe 的有效范围增加至 [1, 16384]。#3606 将查询语句中 top_k 的有效范围增加至 [1, 16384]。#3639 优化了内存释放策略以避免内存过度使用。#3536 问题修复 修复了在多 GPU 设备上采用 IV...

1
7
发表于服务端专区
2020/08/18 10:27

Milvus 新版本 v0.10.2 上线!

发布时间:2020-8-15 版本兼容 主要改进 提升了大 nq 和大 nprobe 情况下的搜索性能。#2653 问题修复 修复了缓存中索引占用大小计算不准确的问题。#2890 修复了 IVF_PQ 索引中 IP 距离结果归并不正确的问题。#2952 修复了多 GPU 场景下,如果 cache.cache_size 设置小于单个索引文件大小,搜索时会造成系统崩溃的问题。#3012 修复了在 Mishards 中插入数据至多个分区,IP 距离结果归并不正确的问题。#3133 详见 CHANGELOG 了解更...

0
4
发表于AI & 大数据专区
2020/07/21 11:21

Milvus 新版本- v0.10.1 上线!

发布时间:2020-7-20 | 版本兼容 | 问题修复 修复了一个查询结果与查询行数不匹配的问题。#2578 修复了一个 GPU 上 IVF_PQ 索引无法支持 IP 的问题。#2585 修复了一些老的 CPU 上运行时出现 illegal instruction 的问题。#2598 调整了 HNSW 参数范围。#2637 修复了一个构建索引可能会导致 Milvus 进程崩溃退出的问题。#2642 修复了一个 ANNOY 索引默认参数与文档不对应的问题。#2649 修复了一个压力测试下出现的 Milvus 无响应的...

1
5
发表于AI & 大数据专区
2020/06/16 16:38

Milvus v0.10.0 正式发布!

发布时间:2020-6-15 | 版本兼容 | 兼容性改动 更新了 Milvus 配置文件。#2510 | 主要改进 优化了系统在存在多个小分段情况下的索引创建时间。 #2373 将 FAISS 升级至 1.6.3。 #2381 降低了系统在存在大量分区时删除集合需要的时间。#2394 在 GPU 版 Milvus 上优化了 k-selection 算法的实现。#2466 | 问题修复 修复了一个搜索性能降低的问题。#2429 详见 CHANGELOG 了解更多已修复问题。 | 欢迎加入 Milvus 社区 github.com/m...

0
5
发表于软件架构专区
2020/05/19 09:59

Milvus 新版本 v0.9.0 重磅推出!

发布时间:2020-5-15 | 版本兼容 | 新增功能 支持在 Milvus 启动时检查 CPU 指令集、GPU 驱动版本 和 CUDA 版本。 #2054 #2111 避免多个 Milvus 实例同时操作同一 Milvus 数据。 #2059 支持日志文件轮转。 #2206 处理搜索请求时暂停创建索引。#2283 | 主要改进 重构了日志输出。 #221 升级了 OpenBLAS 版本以提高 Milvus 性能。 #1796 统一了 FAISS、NSG、HNSW 和 ANNOY 的向量距离计算方法。#1965 支持 SSE4.2 指令集。 #2039 ...

0
3
发表于软件架构专区
2020/04/17 15:14

Milvus v0.8.0 发布: 新增 ANNOY 索引、向量删除与 Bug 修复

Milvus v0.8.0发布了,此版本主要包括:新增 ANNOY 索引、向量删除与Bug修复。 | 版本兼容 | 新增功能 ANNOY 索引的支持 增加 ANNOY 索引类型,关于 ANNOY 索引的详细介绍请参考文档。#261 向量删除 新增下列索引类型支持删除操作。#1655#1660#1661#1849 包括:Flat/IVFlat/IVFPQ/IVFSQ8/IVFSQ8H/NSG/HNSW/ANNOY | 主要改进 在 http 模块支持超集/子集距离。#1784 | Bug 修复 限制 partition 数目上限为4096。#1276 禁止创建 _d...

0
2
发表于软件架构专区
2020/04/03 10:26

中国开源项目 Milvus 加入 LF AI 孵化,立志成为最流行的 AI 数据平台

Milvus ( https://gitee.com/milvus-io/milvus) 特征向量相似度搜索引擎通过技术委员会投票,正式加入 Linux AI (LF AI)基金会成为其最新的孵化项目。 LF AI 基金会的使命是建立和支持开放的人工智能社区,通过促进协作和创新为社区所有成员创造新机会,推动人工智能(AI)、机器学习(ML)和深度学习(DL)领域的开源创新。 全球有超过100家组织和机构采用了 Milvus 引擎,它在各个 AI 应用领域都展现了强大的能力,包括图像...

7
17
发表于开发技能专区
2020/04/02 11:22

Milvus v0.7.1 发布:多并发下的性能大幅提升

Milvus 发布了 0.71 版本。Milvus 向量搜索引擎能够帮助用户轻松应对海量非结构化数据(图片/视频/语音/文本)检索。单节点 Milvus 可以在秒内完成十亿级的向量搜索,分布式架构亦能满足用户的水平扩展需求。 | 版本兼容 | 新增功能 针对 FLAT 索引类型,新增子结构(substructure)和超结构(superstructure)距离计算方式。这两种距离计算方式常用于化学分子式的子结构和超结构搜索。 https://github.com/milvus-io/milvus/is...

0
13
发表于软件架构专区
2020/03/13 11:21

向量搜索引擎 Milvus 发布新版本 0.7.0

版本兼容 新增功能 向量删除 新增了对单条或多条向量的删除功能。如果您对一个集合进行了向量删除操作,后续对这个集合的搜索操作仅支持一部分索引类型,包括在CPU上运行的 Flat、IVFlat、IVFSQ8 等。Milvus 的后续版本将为其他索引类型提供支持。#86 向量读取 新增了通过向量 ID 读取对应的向量值的功能。#861 数据落盘与压缩 新增了数据落盘与压缩功能。您可以设置定时落盘或者手动落盘,从而避免数据丢失。如果一个段中的向量...

0
3
发表于软件架构专区
2019/12/20 10:12

Milvus 向量搜索引擎 0.6.0 新功能介绍

Gitee: https://gitee.com/milvus-io/milvus 发布时间:2019-12-07 版本兼容 Milvus 版本 pymilvus 版本 Java SDK 版本 0.6.0 0.2.6 0.4.0 ✨ 新增功能 仅需 CPU 的 Milvus 在之前的版本,我们只提供了 GPU 版本的 Milvus。为了降低用户使用门槛,从 v0.6.0 开始,Milvus 提供仅需 CPU 和支持 GPU 两个版本的 Docker 镜像。CPU 版适合百万级数据的查询,而 GPU 版在超大数据集搜索情况下性能优势更明显。 您也可以源码编...

2
8
发表于AI & 大数据专区
2019/11/08 16:42

Milvus 纯 CPU 预览版来了

你可以下载 Milvus 0.6.0 分支进行编译,目前默认编译就是纯 CPU 版本的。 编译指南请参考:https://gitee.com/milvus-io/milvus/blob/master/install.md 对于 Intel CPU,可以在编译的时候可以加上 -m 选项以启用 Intel MKL 。 目前纯 CPU 上面 IVF SQ8 索引是稳定性,适用性比较理想的一个索引类型。 SDK: Java SDK:milvus-io/milvus-sdk-java 的master分支 Python SDK:milvus-io/pymilvus 的master分支...

10
8
发表于AI & 大数据专区
2019/10/22 08:59

Milvus 0.5.0 发布,新增 Java SDK

Milvus 向量搜索引擎发布了 0.5.0 版本。 主要更新内容如下: - 新增 Java SDK(文档); - 支持全新的 IVF SQ8 混合计算索引; - 系统启动可以设置预加载向量数据,免去首次查询时的加载时间; - 为开源而进行的大量重构; 更多内容可以参考项目的更新日志。 https://github.com/milvus-io/milvus

2
3
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
5 评论
197 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部
返回顶部
顶部