Apache Griffin 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache Griffin 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache Griffin 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
开发语言 Java Python Scala TypeScript
操作系统 跨平台
软件类型 开源软件
所属分类 大数据其他
开源组织 Apache
地区 国产
投 递 者 钱巧能
适用人群 未知
收录时间 2016-12-21

软件简介

Apache Griffin是一个应用于分布式数据系统中的开源数据质量解决方案。在Hadoop, Spark, Storm等分布式系统中,提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。  

Apache Griffin填补了开源世界里在大数据质量领域的空白。就像空气质量,水和食品安全等无时不刻地在影响人类的生命一样,数据质量在数据科学领域是至关重要的。在大数据时代,企业决策调整,商机发现等越来越依赖于大数据的数据分析和数据挖掘,而数据质量的保证是所有一切数据分析和数据挖掘的基础。

系统架构:

核心优势:

主要功能:

企业应用:

Apache Griffin已经部署在eBay的生产环境中,为eBay系统提供核心数据质量检测服务(例如:实时的个性化数据平台,Hadoop 数据集等),每天验证的记录超过8亿条,数据量约1.2PB。

团队成员:

Apache Griffin现在的团队成员全部来自eBay中国卓越技术中心,这又是一个由国人自主研发并贡献出来的开源项目。目前正在将Apache Griffin项目迁移到Apache社区,我们非常欢迎热心于开源软件的程序猿们,数据猿们参与进来,一起推动Apache Griffin更快更好的发展,回馈给全球软件开发者们。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(11)
2018/12/14 08:07

Apache 基金会正式宣布 Griffin 毕业成为顶级项目

Apache 软件基金会12月12日正式宣布 Apache Griffin 毕业成为 Apache 顶级项目。 Apache Griffin 是一个强大的开源大数据质量解决方案,适用于任意规模的分布式数据系统。它提供了一个统一的流程,可以从不同的角度来定义和检测数据集的质量,以及在流式传输或批处理上下文中构建和验证可信数据资产。 Griffin 起源于 eBay 中国,并于2016年12月进入 Apache 孵化器。 Apache Griffin VP William Guo 表示:“我们为 Griffin 到达...

5
26
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
Apache Thrift 安全漏洞
不可达退出条件的循环(无限循环)
Apache Thrift是美国阿帕奇(Apache)基金会的一个用于跨平台开发的框架。 Apache Thrift 0.12.0及之前版本中存在安全漏洞。攻击者可利用该漏洞造成服务器或客户端无限循环。
CVE-2019-0205 MPS-2019-13876
2022-08-08 18:54
Apache Log4j2 远程代码执行漏洞
反序列化
Apache log4j是java中常用的日志记录组件。 由于log4j2默认支持JNDI在内的Lookup查找机制,当日志内容中包含${foo.bar}样式的内容时,会查找相应的值进行替换。因此当用户请求中的内容通过log4j作为日志内容记录时,攻击者可能通过恶意构造的内容,触发log4j的lookup方法,进而执行恶意代码。
CVE-2021-44228 MPS-2021-38241
2022-08-08 18:54
com.beust:jcommander 存在从非可信控制范围包含功能例程漏洞
com.beust:jcommander 是 Java 的命令行解析框架。由于解决了不安全通道 (http) 上的依赖关系,因此此软件包的受影响版本容易受到不安全依赖关系解决的影响。
MPS-2022-12225
2022-08-08 18:54
Apache Log4j SQL注入漏洞
SQL注入
根据设计,Log4j 1.2.x 中的 JDBCAppender 接受 SQL 语句作为配置参数,其中要插入的值是来自 PatternLayout 的转换器。消息转换器 %m 可能总是包含在内。这允许攻击者通过将精心制作的字符串输入到记录的应用程序的输入字段或标题中来操纵 SQL,从而允许执行意外的 SQL 查询。请注意,此问题仅在专门配置为使用 JDBCAppender(不是默认设置)时才会影响 Log4j 1.x。从 2.0-beta8 版本开始,重新引入了 JDBCAppender,适当支持参数化 SQL 查询,并进一步自定义写入日志的列。 Apache Log4j 1.2 已于 2015 年 8 月结束生命周期。用户应升级到 Log4j 2,因为它解决了以前版本中的许多其他问题。
CVE-2022-23305 MPS-2022-1444
2022-08-08 18:54
Apache Hadoop 安全漏洞
访问控制不恰当
Apache Hadoop是美国阿帕奇(Apache)软件基金会的一套开源的分布式系统基础架构,它能够对大量数据进行分布式处理,并具有高可靠性、高扩展性、高容错性等特点。 Apache Hadoop 2.6.5之前的2.6.x版本和2.7.3之前的2.7.x版本中存在安全漏洞。远程攻击者可利用该漏洞运行任意命令。
CVE-2016-5393 MPS-2016-5884
2022-08-08 18:54
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML Jackson是美国FasterXML公司的一款适用于Java的数据处理工具。jackson-databind是其中的一个具有数据绑定功能的组件。 FasterXML jackson-databind 2.9.10之前版本中存在代码问题漏洞。攻击者可利用该漏洞执行代码。
CVE-2019-14540 MPS-2019-11529
2022-08-08 18:54
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 FasterXML jackson-databind 2.0.0版本至2.9.10版本中存在代码问题漏洞。该漏洞源于网络系统或产品的代码开发过程中存在设计或实现不当的问题。攻击者可利用该漏洞执行任意代码。
CVE-2019-16943 MPS-2019-12480
2022-08-08 18:54
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 FasterXML jackson-databind 2.9.10之前版本中存在代码问题漏洞。该漏洞源于网络系统或产品的代码开发过程中存在设计或实现不当的问题。
CVE-2019-17267 MPS-2019-12676
2022-08-08 18:54
spring-boot 安全漏洞
将资源暴露给错误范围
spring-boot是Pivotal团队的一种开源应用框架。 spring-boot 2.2.11 之前版本存在安全漏洞,该漏洞源于容易受到临时目录劫持。
CVE-2022-27772 MPS-2022-6780
2022-08-08 18:54
Netty 存在HTTP请求走私漏洞
HTTP请求的解释不一致性(HTTP请求私运)
Netty是Netty社区的一款非阻塞I/O客户端-服务器框架,它主要用于开发Java网络应用程序,如协议服务器和客户端等。 Netty 4.1.43.Final版本中存在HTTP请求走私。因为它不正确地处理了传输编码空白(例如[space] Transfer-Encoding:Chunked行)和后来的Content-Length标头。由于CVE-2019-16869的修复不完整而存在此问题。
CVE-2020-7238 MPS-2020-1320
2022-08-08 18:54
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 FasterXML jackson-databind 2.9.10.4之前的2.x版本中存在代码问题漏洞。攻击者可借助特制的输入利用该漏洞在系统上执行任意代码。
CVE-2020-11620 MPS-2020-5139
2022-08-08 18:54
Hibernate Validator 输入验证错误漏洞
输入验证不恰当
Hibernate Validator是一款参数校验框架。 Hibernate Validator 6.1.2.Final版本中存在输入验证错误漏洞。该漏洞源于网络系统或产品未对输入的数据进行正确的验证。
CVE-2020-10693 MPS-2020-7077
2022-08-08 18:54
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 com.newrelic.agent.deps.ch.qos.logback.core.db.DriverManagerConnectionSource 相关的序列化小工具和类型之间的交互。
CVE-2020-36189 MPS-2021-0212
2022-08-08 18:54
Apache Commons HttpClient Amazon FPS 输入验证错误漏洞
证书验证不恰当
HttpClient是Apache Jakarta Common下的子项目,用来提供高效的支持HTTP协议的客户端编程工具包。 Apache Commons HttpClient 3.x版本使用在Amazon Flexible Payments Service (FPS) merchant Java SDK以及其他产品中时存在漏洞,该漏洞源于在主题Common Name(CN)或X.509证书的subjectAltName字段中,程序没有对服务器主机名与域名的匹配进行校验。中间人攻击者利用该漏洞通过任意有效的证书欺骗SSL服务器。
CVE-2012-5783 MPS-2012-4618
2022-08-08 18:54
Netty和Play Framework 输入验证错误漏洞
输入验证不恰当
Netty是Netty项目社区的一个提供了异步的、事件驱动的Java网络应用程序框架和工具,它用以快速开发高性能、高可靠性的网络服务器和客户端程序。Play Framework是一套开源的Java Web应用框架。 Netty和Play Framework中存在安全漏洞。远程攻击者可利用该漏洞绕过cookies上的httpOnly标识,获取敏感信息。 以下产品和版本受到影响:Netty 3.9.8.Final之前的版本,3.10.3.Final之前的3.10.x版本,4.0.28.Final之前的4.0.x版本,4.1.0.Beta5之前的4.1.x版本;Play Framework 2.3.9之前的2.x版本。
CVE-2015-2156 MPS-2017-11682
2022-08-08 18:54
Google Guava 代码问题漏洞
不加限制或调节的资源分配
Google Guava是美国谷歌(Google)公司的一款包括图形库、函数类型、I/O和字符串处理等的Java核心库。 Google Guava 11.0版本至24.1.1版本(不包括24.1.1版本)中存在代码问题漏洞。该漏洞源于网络系统或产品的代码开发过程中存在设计或实现不当的问题。
CVE-2018-10237 MPS-2018-5515
2022-08-08 18:54
Terracotta Quartz Scheduler 代码问题漏洞
XXE
Terracotta Quartz Scheduler是一款开源的作业调度框架。 Terracotta Quartz Scheduler 2.3.0及之前版本中的xml/XMLSchedulingDataProcessor.java文件的‘initDocumentParser’函数存在代码问题漏洞。该漏洞源于网络系统或产品的代码开发过程中存在设计或实现不当的问题。
CVE-2019-13990 MPS-2019-8669
2022-08-08 18:54
Apache Tomcat 信息泄露漏洞
信息暴露
Apache Tomcat是美国阿帕奇(Apache)基金会的一款轻量级Web应用服务器。 Apache Tomcat的漏洞版本中,使用 NTFS 文件系统从网络位置提供资源时,某些配置中容易受到 JSP 源代码泄露的影响,从而导致信息泄露
CVE-2021-24122 MPS-2021-1722
2022-08-08 18:54
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML Jackson是美国FasterXML公司的一款适用于Java的数据处理工具。jackson-databind是其中的一个具有数据绑定功能的组件。 FasterXML jackson-databind 2.9.10之前版本中存在代码问题漏洞。该漏洞源于网络系统或产品未对输入的数据进行正确的验证。
CVE-2019-16335 MPS-2019-11533
2022-08-08 18:54
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 FasterXML jackson-databind 2.x before 2.9.10.8 存在代码问题漏洞,该漏洞源于org.apache.tomcat.dbcp.dbcp2.datasources.PerUserPoolDataSource错误地处理serialization gadgets 和 typing的交互。
CVE-2020-36184 MPS-2021-0207
2022-08-08 18:54
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
11 评论
134 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部