Oryx 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Oryx 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Oryx 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
开源组织
地区 不详
投 递 者 红薯
适用人群 未知
收录时间 2014-03-02

软件简介

Oryx的目标是帮助Hadoop用户搭建并部署能够实时查询的机器学习模型,例如垃圾邮件过滤和推荐引擎。随着数据的不断流入,Oryx还将支持自我更新。

无论从建模还是部署,Oryx都可以随需扩展,Owen认为这是Oryx与Hadoop的传统“甜蜜点”——探索性分析和运营性分析最大的不同。

Owen认为传统的在Hadoop上部署机器学习的技术——Apache Mahout已经走到尽头。

“Mahout受制于第一代MapReduce只能处理批任务的局限,用户需要做大量的工作才能搭建并让机器学习系统运转起来,而Myrrix重写 了Mahout,解决了所有老问题。如果Mahout还有药可救,Cloudera就不会收购Myrrix。Oryx差不多有90%的代码都来自 Myrrix,也有一些代码来自Cloudera”Owen说道。

人人都能使用的开源推荐引擎?

Oryx的定位不是机器学习算法的程序库,Owen关注的重点有四个:回归、分类、集群和协作式过滤(也就是推荐)。其中推荐系统非常热门,Owen正在与几个Cloudera的客户合作,帮他们使用Oryx部署推荐系统。

 

将Oryx打造成开发推荐系统的标准化工具的做法将使这个项目赢得极大关注,因为推荐系统几乎已经成了主流网站的标配,无论是电商还是内容网站都需要推荐系统提高网站的用户体验和转化率。但是推荐引擎技术目前面临的最大问题就是缺乏标准和开源工具。

致力于推荐技术标准化的公司不仅是Oryx一家,另外一家云计算创业公司Mortar Data也在积极推动用户推荐引擎技术的开发,并展现其开源推荐框架的优点。其他一些公司注入Expect Labs虽然没有开源,但试图通过人工智能API接口实现推荐系统的自动化。

目前还不是一个产品

Owen认为Cloudera的所有客户(以及绝大多数的Hadoop用户)最终都想要部署运营型机器分析系统——不仅仅是推荐,Oryx将来有可能成为实现工具,但目前Oryx还只是一个实验性项目。

目前Owen还在花费大量时间担当Apache Spark目的贡献者,他想重写Oryx,将Spark而不是MapReduce作为主要的处理框架,因为Spark已经成为下一代大数据应用的热门技术。由于性能 和速度优于MapReduce,且更加容易使用,Spark目前已经拥有一个庞大的用户和贡献者社区。这意味着Spark更加符合下一代低延迟、实时处 理、迭代计算的大数据应用的要求,包括基于Oryx开发的实时机器学习系统。

介绍内容来自IT经理网

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(2)
暂无内容
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
Apache Commons Beanutils 不可信数据的反序列化
反序列化
在 Apache Commons Beanutils 1.9.2 中,添加了一个特殊的 BeanIntrospector 类,它允许抑制攻击者通过所有 Java 对象上可用的类属性访问类加载器的能力。然而,我们并没有使用 PropertyUtilsBean 的默认特性。
CVE-2019-10086 MPS-2019-10233
2022-08-08 18:13
Apache Log4j 代码问题漏洞
反序列化
Log4j是美国阿帕奇(Apache)软件基金会的一款基于Java的开源日志记录工具。Log4j 1.2版本中包含一个SocketServer类,在未经验证的情况下,该SocketServe类很容易接受序列化的日志事件并对其进行反序列化,在结合反序列化工具使用时,可以利用该类远程执行任意代码。
CVE-2019-17571 MPS-2019-17271
2022-08-08 18:13
Apache Log4j 代码问题漏洞
反序列化
CVE-2020-9493 发现了 Apache Chainsaw 中存在的反序列化问题。在 Chainsaw V2.0 之前,Chainsaw 是 Apache Log4j 1.2.x 的一个组件,存在同样的问题。
CVE-2022-23307 MPS-2022-1445
2022-08-08 18:13
Apache Hadoop路径遍历漏洞
路径遍历
Apache Hadoop是美国阿帕奇(Apache)基金会的一套开源的分布式系统基础架构。该产品能够对大量数据进行分布式处理,并具有高可靠性、高扩展性、高容错性等特点。Apache Hadoop存在安全漏洞,该漏洞源于TAR条目可能会在指向外部目录的预期提取目录下创建符号链接,并使用符号链接名称将任意文件提取到外部目录中。攻击者可以利用该漏洞造成信息泄露。
CVE-2022-26612 MPS-2022-5920
2022-08-08 18:13
Hadoop 存在shell命令注入漏洞
命令注入
Hadoop 是一款分布式系统基础架构和开发开源软件。 由于 Hadoop 中 org.apache.hadoop.fs.FileUtill 类的 unTar 中针对 tar 文件的处理使用了系统命令去解压,造成了 shell 命令注入的风险。 攻击者可以通过该漏洞实现任意命令执行。
CVE-2022-25168 MPS-2022-6800
2022-08-08 18:13
Google protobuf 缓冲区错误漏洞
跨界内存写
Google protobuf是美国谷歌(Google)公司的一种数据交换格式。 Google protobuf中存在缓冲区错误漏洞。远程攻击者可利用该漏洞执行代码。
CVE-2015-5237 MPS-2017-10841
2022-08-08 18:13
Connect2id Nimbus JOSE+JWT 存在对异常或异常情况的不当检查漏洞
对异常条件的处理不恰当
Connect2id Nimbus JOSE+JWT是Connect2id公司的一款基于Java的开源JWT(JSON Web Tokens)实现。 在受影响版本内,解析 JWT 时可能会抛出各种未捕获的异常。 攻击者通过此缺陷绕过身份认证。
CVE-2019-17195 MPS-2019-13154
2022-08-08 18:13
Eclipse Jetty 跨站脚本漏洞
XSS
Eclipse Jetty是Eclipse基金会的一个开源的、基于Java的Web服务器和Java Servlet容器。 Eclipse Jetty 9.2.26及之前版本、9.3.25及之前版本和9.4.15及之前版本中存在跨站脚本漏洞,该漏洞源于WEB应用缺少对客户端数据的正确验证。攻击者可利用该漏洞执行客户端代码。
CVE-2019-10241 MPS-2019-4268
2022-08-08 18:13
Apache Spark加密问题漏洞
使用捕获-重放进行的认证绕过
Apache Spark 支持通过“spark.authenticate”和“spark.network.crypto.enabled”对 RPC 连接进行端到端加密。在 3.1.2 及更早版本中,它使用定制的相互身份验证协议,允许完全加密密钥恢复。在初始交互式攻击之后,这将允许某人离线解密明文流量。请注意,这不会影响由“spark.authenticate.enableSaslEncryption”、“spark.io.encryption.enabled”、“spark.ssl”、“spark.ui.strictTransportSecurity”控制的安全机制。更新到 Apache Spark 3.1.3 或更高版本
CVE-2021-38296 MPS-2021-28996
2022-08-08 18:13
Apache Log4j 安全漏洞
当攻击者对 Log4j 配置具有写访问权限时,Log4j 1.2 中的 JMSAppender 容易受到不受信任数据的反序列化。攻击者可以提供 TopicBindingName 和 TopicConnectionFactoryBindingName 配置,导致 JMSAppender 执行 JNDI 请求,从而以类似于 CVE-2021-44228 的方式执行远程代码。请注意,此问题仅在专门配置为使用 JMSAppender(不是默认设置)时影响 Log4j 1.2。 Apache Log4j 1.2 已于 2015 年 8 月结束生命周期。用户应升级到 Log4j 2,因为它解决了以前版本中的许多其他问题。
CVE-2021-4104 MPS-2021-38359
2022-08-08 18:13
org.apache.spark:spark-core_2.12 存在命令注入漏洞
命令注入
org.apache.spark:spark-core_2.12 是用于大规模数据处理的统一分析引擎。它提供了 Scala、Java、Python 和 R 中的高级 API,以及支持用于数据分析的通用计算图的优化引擎。它还支持一组丰富的高级工具,包括用于 SQL 和 DataFrames 的 Spark SQL、用于 Pandas 工作负载的 Spark 上的 Pandas API、用于机器学习的 MLlib、用于图形处理的 GraphX 和用于流处理的结构化流。此软件包的受影响版本容易通过 Utils 执行任意命令。
MPS-2022-13519
2022-08-08 18:13
Apache Log4j 代码问题漏洞
反序列化
当攻击者对 Log4j 配置具有写访问权限或配置引用攻击者有权访问的 LDAP 服务时,所有 Log4j 1.x 版本中的 JMSSink 都容易受到不受信任数据的反序列化。攻击者可以提供一个 TopicConnectionFactoryBindingName 配置,使 JMSSink 执行 JNDI 请求,从而以类似于 CVE-2021-4104 的方式执行远程代码。请注意,此问题仅在专门配置为使用 JMSSink(不是默认设置)时影响 Log4j 1.x。 Apache Log4j 1.2 已于 2015 年 8 月结束生命周期。用户应升级到 Log4j 2,因为它解决了以前版本中的许多其他问题。
CVE-2022-23302 MPS-2022-1446
2022-08-08 18:13
Apache Spark UI shell 命令注入漏洞
命令注入
Apache Spark是美国阿帕奇(Apache)软件基金会的一款支持非循环数据流和内存计算的大规模数据处理引擎。 如果Apache Spark UI启用了 ACL,则 HttpSecurityFilter 中的代码路径允许通过提供任意用户名来模拟执行。恶意用户能够访问权限检查功能,根据他们的输入构建一个 Unix shell 命令并执行。攻击者可利用此漏洞任意执行shell 命令。
CVE-2022-33891 MPS-2022-19085
2022-08-08 18:13
Apache Commons Compress 资源管理错误漏洞
不可达退出条件的循环(无限循环)
Apache Commons Compress是美国阿帕奇(Apache)基金会的一个用于处理压缩文件的库。 Apache Commons Compress 1.7版本至1.17版本中存在资源管理错误漏洞,该漏洞源于在数据流结束后,ZipArchiveInputStream的读取方法没有返回正确的文件结束符指示。攻击者可通过发送特制的ZIP归档文件利用该漏洞造成拒绝服务。
CVE-2018-11771 MPS-2018-11233
2022-08-08 18:13
Apache Commons Compress 无限循环漏洞
不可达退出条件的循环(无限循环)
Apache Commons Compress是美国阿帕奇(Apache)基金会的一个用于处理压缩文件的库。 Apache Commons Compress存在安全漏洞,该漏洞源于当读取一个特殊制作的7Z归档文件时,构造解码器列表来解压缩条目可能会导致无限循环。
CVE-2021-35515 MPS-2021-10565
2022-08-08 18:13
Google protobuf 安全漏洞
不正确的行为次序
Google protobuf是美国谷歌(Google)公司的一种数据交换格式。 protobuf-java 存在安全漏洞,该漏洞允许一个小的恶意负载可以通过创建大量导致频繁、重复暂停的短期对象来占用解析器几分钟。
CVE-2021-22569 MPS-2021-19066
2022-08-08 18:13
netplex json-smart-v 代码问题漏洞
对因果或异常条件的不恰当检查
netplex json-smart是开源的一个JSON Java解析器。 netplex json-smart-v1 through 2015-10-23 and json-smart-v2 through 2.4 存在代码问题漏洞,该漏洞源于如果没有捕获到异常,它可能会导致使用该库的程序崩溃或暴露敏感信息。
CVE-2021-27568 MPS-2021-2102
2022-08-08 18:13
Spark 存在shell命令注入漏洞
命令注入
Spark 是用于大规模数据处理的统一分析引擎。 由于 Hadoop 中"org.apache.hadoop.fs.FileUtill"类的“unTar”中针对 tar 文件的处理调了系统命令去解压,spark使用了 hadoop 的 unTar 方法,造成了 shell 命令注入的风险。 攻击者可以通过该问题实现任意命令执行。
MPS-2022-6786
2022-08-08 18:13
Github json-smart-v1 缓冲区错误漏洞
跨界内存写
netplex json-smart是开源的一个JSON Java解析器。 在 JSON Smart 版本 1.3 和 2.4 中的 JSONParserByteArray 的 indexOf 函数中发现了一个漏洞,该漏洞通过精心设计的 Web 请求导致拒绝服务 (DOS)。
CVE-2021-31684 MPS-2021-7737
2022-08-08 18:13
commons-codec:commons-codec 存在信息暴露漏洞
信息暴露
commons-codec:commons-codec 是一个包含各种格式(如 Base64 和 Hexadecimal)的简单编码器和解码器的包。此软件包的受影响版本容易受到信息泄露的影响。
MPS-2022-11853
2022-08-08 18:13
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2 评论
322 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部