授权协议: Apache-2.0
开发语言: Java Python Scala TypeScript
操作系统: 跨平台
开发厂商: Apache
收录时间: 2016-12-21
提 交 者: 钱巧能

Apache Griffin是一个应用于分布式数据系统中的开源数据质量解决方案。在Hadoop, Spark, Storm等分布式系统中,提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。  

Apache Griffin填补了开源世界里在大数据质量领域的空白。就像空气质量,水和食品安全等无时不刻地在影响人类的生命一样,数据质量在数据科学领域是至关重要的。在大数据时代,企业决策调整,商机发现等越来越依赖于大数据的数据分析和数据挖掘,而数据质量的保证是所有一切数据分析和数据挖掘的基础。

系统架构:

核心优势:

主要功能:

企业应用:

Apache Griffin已经部署在eBay的生产环境中,为eBay系统提供核心数据质量检测服务(例如:实时的个性化数据平台,Hadoop 数据集等),每天验证的记录超过8亿条,数据量约1.2PB。

团队成员:

Apache Griffin现在的团队成员全部来自eBay中国卓越技术中心,这又是一个由国人自主研发并贡献出来的开源项目。目前正在将Apache Griffin项目迁移到Apache社区,我们非常欢迎热心于开源软件的程序猿们,数据猿们参与进来,一起推动Apache Griffin更快更好的发展,回馈给全球软件开发者们。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

Apache Griffin 的相关资讯

Apache Griffin 的相关博客

Apache Griffin安装

介绍 1.原理: 从hive metadata中加载数据源 根据用户指定的数据质量检查的规则,将规则转换为Spark程序,利用Spark这种强大的...

Apache Griffin 入门指南

数据质量模块是大数据平台中必不可少的一个功能组件,Apache Griffin(以下简称Griffin)是一个开源的大数据数据质量解决方案...

数据质量监控工具-Apache Griffin

[TOC] 一、概述 随着业务发展和数据量的增加,大数据应用开发已成为部门应用开发常用的开发方式,由于部门业务特点的关系,s...

Appache Griffin 扩展Mysql数据源

概述 Apache Griffin定位为大数据的数据质量监控工具,支持批处理数据源hive、text文件、avro文件和实时数据源kafka,而一些以...

Griffin – 模型驱动的数据质量服务平台

作者:Lv, Alex 1概述 在eBay,当人们在处理大数据(Hadoop或者其它streaming系统)的时候,数据质量的检测是一个挑战。不同的团...

「网易官方」极客战记(codecombat)攻略-山峰-收割火焰-reaping-fire

(点击图片进入关卡) 用自己的手捍卫自己的雷区... 与格里芬一起! 简介 食人魔正在前进! 指挥飞行员 "griffin-riders" 飞越地...

PHP MySQL Delete

DELETE 语句用于从数据库表中删除行。 删除数据库中的数据 DELETE FROM 语句用于从数据库表中删除记录。 语法 DELETE FROM ta...

【MySQL】6、Delete From删除语句

6.Delete From删除语句 DELETE FROM 语句用于从数据库表中删除记录。 DELETE FROM table_name WHERE column_name = some_val...

顶级开源项目的成长故事 | COSCon'17特辑

你的开源项目该如何吸引贡献及关注?该如何增加用户?项目社区该如何发展及运营?甚至能够赚钱养活自己?COSCon'17的开源神告...

adidas originals superstar sneakers cheap

The particular shock absorption during this athletic shoe is without a doubt second to none. adidas nmd original snea...

评论 (10)

加载中
关键是UI 编译时报错啊,无法使用
07/14 13:29
回复
举报
有具体介绍方案?
03/12 23:02
回复
举报

引用来自“客气了_叫我码农就好”的评论

亲,404了
我也404了
2019/06/15 09:54
回复
举报
mark
2018/09/28 08:30
回复
举报
亲,404了
2018/06/12 11:13
回复
举报
什么时候可以支持spark2.0.x
2017/06/05 10:47
回复
举报
打分: 较差
部署后,用户名和密码找不到?
2017/03/02 17:01
回复
举报
打分: 力荐
2016/12/22 22:03
回复
举报
打分: 推荐
不错呀!支持!
2016/12/22 13:13
回复
举报
目测,年龄都在40左右
2016/12/22 10:52
回复
举报
更多评论
10 评论
131 收藏
分享
返回顶部
顶部