Metacat 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Metacat 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Metacat 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Metacat 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Metacat 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache-2.0
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据其他
开源组织 Netflix
地区 不详
投 递 者 h4cd
适用人群 未知
收录时间 2018-06-15

软件简介

Metacat 是一个联合的元数据 API 服务,可以访问 Hive、RDS、Teradata、Redshift、S3 和 Cassandra。 Metacat 为您提供您所拥有的数据信息,包括位于何处以及如何处理。元数据说到底实际上还是关于数据的数据,所以 Metacat 的主要目的其实是给出一个地方来描述数据,以便我们可以用它做更多有用的事情。

Metacat 专注于解决以下三个问题:

  • 元数据系统的联合视图

  • 允许关于数据集的任意元数据存储 

  • 元数据发现

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
2020/11/11 08:08

数据治理方案技术调研 Atlas VS Datahub VS Amundsen

数据治理意义重大,传统的数据治理采用文档的形式进行管理,已经无法满足大数据下的数据治理需要。而适合于Hadoop大数据生态体系的数据治理就非常的重要了。 大数据下的数据治理作为很多企业的一个巨大的难题,能找到的数据的解决方案并不多,但是好在近几年,很多公司已经进行了尝试并开源了出来,本文将详细分析这些数据发现平台,在国外已经有了十几种的实现方案。 数据发现平台可以解决的问题 为什么需要一个数据发现平台?...

0
0
2020/11/11 09:00

数据治理方案技术调研 Atlas VS Datahub VS Amundsen

数据治理意义重大,传统的数据治理采用文档的形式进行管理,已经无法满足大数据下的数据治理需要。而适合于Hadoop大数据生态体系的数据治理就非常的重要了。 大数据下的数据治理作为很多企业的一个巨大的难题,能找到的数据的解决方案并不多,但是好在近几年,很多公司已经进行了尝试并开源了出来,本文将详细分析这些数据发现平台,在国外已经有了十几种的实现方案。 数据发现平台可以解决的问题 为什么需要一个数据发现平台?...

0
1
发表了博客
2020/08/29 15:35

大数据中台

数据中台的由来 数据中台最早是阿里提出的,但真正火起来是2018 年,我们能感受到行业文章谈论数据中台的越来越多。大量的互联网、非互联网公司都开始建设数据中台。为什么很多公司开始建设数据中台?尽管数据中台的文章很多,但是一千人眼里有一千个数据中台,到底什么是数据中台?数据中台包含什么? 当企业需要数据化转型、精细化运营,进而产生大规模数据应用需求的时候,就需要建设数据中台。数据中台是高质量、高效赋能数据...

0
1
发表了博客
2020/11/17 12:47

大数据平台 - 数据采集及治理

数据采集介绍 ETL基本上就是数据采集的代表,包括数据的提取(Extract)、转换(Transform)和加载(Load)。数据源是整个大数据平台的上游,数据采集是数据源与数仓之间的管道。在采集过程中针对业务场景对数据进行治理,完成数据清洗工作。 在大数据场景下,数据源复杂、多样,包括业务数据库、日志数据、图片、视频等多媒体数据等。数据采集形式也需要更加复杂,多样,包括定时、实时、增量、全量等。常见的数据采集工具也多...

0
0
2020/05/07 09:27

DataHub——实时数据治理平台

![file](https://oscimg.oschina.net/oscnet/up-f68f3dd20bbf686135c8ce3ca372d11f351.png) ## DataHub 首先,阿里云也有一款名为DataHub的产品,是一个流式处理平台,本文所述DataHub与其无关。 数据治理是大佬们最近谈的一个火热的话题。不管国家层面,还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量,数据管理,数据资产,数据安全等等。而数据治理的关键就在于**元数据管理**,我们要知道数据的来龙去脉,...

0
0
发表于DevOps专区
2020/01/21 17:15

元数据新型存储架构的探索

转载本文需注明出处:微信公众号EAWorld,违者必究。 引言: 一个软件产品存储架构是需要仔细斟酌和考虑的事情,既要保持稳定性也要保持跟上主流技术的发展趋势。元数据产品从最初主要支持关系型的数据管理到现在的大数据平台、数据湖、微服务这种新的数据架构形态的管理。原有的存储架构从分析元数据关系效率、检索速度都不能满足应用的需求了。 目录: 一、国内主流元数据产品发展现状 二、当前元数据存储架构存在的问题 三、...

0
0
2020/05/07 09:25

DataHub——实时数据治理平台

DataHub 首先,阿里云也有一款名为DataHub的产品,是一个流式处理平台,本文所述DataHub与其无关。 数据治理是大佬们最近谈的一个火热的话题。不管国家层面,还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量,数据管理,数据资产,数据安全等等。而数据治理的关键就在于元数据管理,我们要知道数据的来龙去脉,才能对数据进行全方位的管理,监控,洞察。 DataHub是由LinkedIn的数据团队开源的一款提供元数据搜...

0
0
发表了博客
2019/08/30 14:36

DataPipeline丨LinkedIn元数据之旅的最新进展—Data Hub

作者:Mars Lan, Seyi Adebajo, Shirshanka Das 译者: DataPiepline yaran 作为全球最大的职场社交平台,LinkedIn的数据团队不断致力于扩展其基础架构,以满足不断增长的大数据生态系统需求。随着数据量和丰富度的增长,对数据科学家和工程师而言:发现数据资产,理解它们的来源并基于这些见解采取适当的行动变得愈发具有挑战。 为了在数据增长的同时继续扩展数据的生产力和创新力,我们创建了一个通用的元数据搜索和发现工具D...

0
0
2020/07/20 21:49

进击的 Flink:网易云音乐实时数仓建设实践

作者 | 汪磊(网易云音乐 / 数据平台开发专家) 整理 | 杨涛(Flink 社区志愿者) 如何基于 Flink 的新 API 升级实时数仓架构? 背景介绍 网易云音乐从 2018 年开始搭建实时计算平台,到目前为止已经发展至如下规模: 机器数量:130+ 单 Kafka 峰值 QPS:400W+ 在线运行任务数:500+ 开发者:160+ 业务覆盖:在线业务支持,实时报表统计,实时特征处理,实时索引支持 2020 年 Q1 任务数增长 100%,处于高速发展中 这是网易云音乐...

0
1
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
18 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部