开源数据质量解决方案 Apache Griffin

开源数据质量解决方案 Apache Griffin

Apache-2.0
Java Python Scala TypeScript
跨平台
eBay
2016-12-21
红薯

Apache Griffin是一个应用于分布式数据系统中的开源数据质量解决方案。在Hadoop, Spark, Storm等分布式系统中,提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。  

Apache Griffin填补了开源世界里在大数据质量领域的空白。就像空气质量,水和食品安全等无时不刻地在影响人类的生命一样,数据质量在数据科学领域是至关重要的。在大数据时代,企业决策调整,商机发现等越来越依赖于大数据的数据分析和数据挖掘,而数据质量的保证是所有一切数据分析和数据挖掘的基础。

系统架构:

核心优势:

主要功能:


企业应用:

Apache Griffin已经部署在eBay的生产环境中,为eBay系统提供核心数据质量检测服务(例如:实时的个性化数据平台,Hadoop 数据集等),每天验证的记录超过8亿条,数据量约1.2PB。

团队成员:

Apache Griffin现在的团队成员全部来自eBay中国卓越技术中心,这又是一个由国人自主研发并贡献出来的开源项目。目前正在将Apache Griffin项目迁移到Apache社区,我们非常欢迎热心于开源软件的程序猿们,数据猿们参与进来,一起推动Apache Griffin更快更好的发展,回馈给全球软件开发者们。

的码云指数为
超过 的项目
加载中

评论(7)

x
xuyuan8003
mark
客气了_叫我码农就好
客气了_叫我码农就好
亲,404了
w
wudiilong
什么时候可以支持spark2.0.x
x
xieshiju
部署后,用户名和密码找不到?
涟漪巫师
涟漪巫师
loki_lan
loki_lan
不错呀!支持!
justintung
justintung
目测,年龄都在40左右

Apache 基金会正式宣布 Griffin 毕业成为顶级项目

Apache 软件基金会12月12日正式宣布 Apache Griffin 毕业成为 Apache 顶级项目。 Apache Griffin 是一个强大的开源大数据质量解决方案,适用于任意规模的分布式数据系统。它提供了一个统一的...

2018/12/14 08:07

没有更多内容

加载失败,请刷新页面

没有更多内容

1
回答
Apache Griffin在es里没有统计数据

@leslytt 你好,想跟你请教个问题: 我本地搭建了Apache Griffin,但是 1、HDFS的/griffin/persist目录下没有统计结...

02/15 10:08
1
回答
【开源访谈】eBay 刘力力:Griffin 在 Apache 孵化背后的那些事

Griffin 是一个应用于分布式数据系统中的开源数据质量解决方案,在 Hadoop、Spark、Storm 等分布式系统中,提供了一整套统一的流程来定义...

2017/05/17 08:02

没有更多内容

加载失败,请刷新页面

没有更多内容

Apache Griffin 入门指南

数据质量模块是大数据平台中必不可少的一个功能组件,Apache Griffin(以下简称Griffin)是一个开源的大数据数据质量解决方案,它支持批处理和流模式两种数据质量检测方式,可以从不同维度(...

01/18 15:55
100
0
数据质量监控工具-Apache Griffin

[TOC] 一、概述 随着业务发展和数据量的增加,大数据应用开发已成为部门应用开发常用的开发方式,由于部门业务特点的关系,spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量...

01/07 23:25
111
0
adidas originals superstar sneakers cheap

The particular shock absorption during this athletic shoe is without a doubt second to none. adidas nmd original sneakers Specialising through sports activities athletic shoes, ...

2017/11/08 15:30
4
0
Kobe 8 Sneakers more compact

KD 6 Preheat developing the illusion of more compact sides. Adidas Crazy 8(IIX); Blake Griffin Shoes; Kobe Hyperdunk TB; Nike Lunar Hyperenforcer; KD 6 N7 After so years of choo...

2014/09/30 16:34
2
0
Air Foamposite One select halter necks

KD 6 Preheat Pear formed bridesmaids should select halter necks as they possibly can broaden shoulders, Adidas Crazy 8(IIX); Blake Griffin Shoes; Kobe Hyperdunk TB; Nike Lunar H...

2014/09/30 16:26
4
0
e rupture and to gauge

e rupture and to gauge

2015/06/24 13:36
8
0
table总结insertRow、deleteRow

表格有几行: var trCnt = table.rows.length; (table为Id) 每行有几列:for (var i=0; i<trCnt; i++) table.rows[i].cells.length; javascript操作table: insertRow(),deleteRow(),insertC...

2014/05/20 15:56
187
0
PHP+MYSQL如何插入记录到数据库

“INSERT INTO”语句的作用是:向一个数据库的表中插入一条新的记录。 向一个数据库表中插入数据 “INSERT INTO”的作用是:向一个数据库的表中插入一条新的记录。 语法 INSERT INTO table_...

2013/07/11 16:28
16
0
together to remember

together to remember

2015/06/01 11:42
1
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部