Amundsen 是一个数据发现和元数据引擎，用于提高数据分析师、数据科学家和工程师在与数据交互时的工作效率。
它通过索引数据资源（表、仪表板、流等）和基于使用模式（例如，查询次数多的表比次数少的表出现得更早）支持页面排名样式搜索来实现这一点。包括三个微服务、一个数据提取库和一个公共库。
- amundsenfrontendlibrary：前端服务，它是一个带有 React 前端的 Flask 应用程序。
- amundsensearchlibrary：利用 Elasticsearch 进行搜索功能的搜索服务用于支持前端元数据搜索。
- amundsenmetadatalibrary：元数据服务，利用 Neo4j 或 Apache Atlas 作为持久层，提供各种元数据。
- amundsendatabuilder : 用于构建元数据图和搜索索引的数据摄取库。用户可以使用带有库的 python 脚本或导入库的Airflow DAG加载数据。
- amundsencommon：Amundsen Common 库包含 Amundsen 微服务之间的通用代码。
- amundsengremlin：Amundsen Gremlin 库包含用于将模型对象转换为 gremlin 中的顶点和边的代码。它用于将数据加载到 AWS Neptune 后端。
- amundsenrds：Amundsenrds 包含 ORM 模型以支持关系数据库作为 Amundsen 中的元数据后端存储。ORM 模型中的模式遵循数据构建器模型的逻辑。Amundsenrds 将用于数据构建器和元数据库，用于关系数据库的元数据存储和检索。
主页
文档
要求
- Python = 3.6 或 3.7
- Node = v10 或 v12（v14 可能存在兼容性问题）
- npm >= 6
入门
请访问 Amundsen 安装文档以 快速开始 使用虚拟数据引导默认版本的 Amundsen。
Amundsen 是 LF AI & Data Foundation 的孵化阶段项目。
评论