Firestorm 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Firestorm 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Firestorm 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
开发语言 Java
操作系统 跨平台
软件类型 开源软件
开源组织 腾讯
地区 国产
投 递 者 白开水不加糖
适用人群 未知
收录时间 2021-11-11

软件简介

Firestorm 是一个远程 Shuffle 服务,它为 Apache Spark 应用程序提供了在远程服务器上存储 shuffle 数据的能力。

特性:

  • 支持多种集群部署模式。Firestorm将Shuffle数据存储在了远程,因此计算集群将不再需要大量存储空间。同时,大数据集群的部署模式也变得更加灵活,基于Firestorm,计算存储分离,计算存储混布,在线离线混布等部署模式都得到很好的支撑。
  • 支持Shuffle数据聚合。Firestorm通过服务端对Shuffle数据进行分拣操作,从而达到了数据聚合的目的,大幅降低了在Shuffle过程中对于磁盘的随机访问。同时,Firestorm在客户端和服务端都使用了数据缓存机制,最大化利用内存资源,从而降低了磁盘访问的性能损耗。
  • 灵活适配各种计算引擎和存储方式。Firestorm在实现上采用了计算引擎和存储方式的解耦,因此能通过实现引擎侧接口,灵活支持各类计算引擎(如Spark,MR等)。同样,对于Shuffle数据的存储方式也能支持,如本地文件,HDFS文件及混合模式等。
  • 支持Shuffle数据的正确性校验。Firestorm以Block为单位存储Shuffle数据,对于每个Block都会存储CRC值等元数据。基于这些元数据,不但能过滤无效数据,还能检测数据在整条链路的传递过程中是否缺失,完整,保障计算任务执行过程中的数据正确性。
  • 支持整体架构多活模式。Firestorm采用了主从架构,能更好的管理集群的状况,在任务调度过程中也能采用更灵活的调度方式,提高整体集群资源利用率。为了满足服务高可用,对于主节点还增加了主-备多活模式,提升了集群服务的稳定性。
  • 支持多种指标监控。Firestorm对于集群的运行状况,采集了大量的运行时指标,基于这些指标能实时掌握集群的负载及健康状况,在使用过程中及时准确地发现问题,便于问题的排查。
  • 支持服务在线升级。Firestorm具备节点黑名单功能,客户端和服务端也采用了版本匹配机制。基于这些特征,Firestorm能实现在生产环境在线升级,同时做到应用无感知,增强了生产的实用性。
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣 发布并加入讨论🔥
发表了资讯
2022/02/13 07:57

Firestorm 0.2.0 发布:首个支持混合存储的开源 Remote Shuffle Service

一、背景 Firestorm自2021年11月上线开源 0.1.0 版本后,该项目受到了业界的广泛关注。 Firestorm是为了加速分布式计算引擎能上云的重要组件,同时也能解决在大Shuffle场景下,计算任务由于Shuffle过程异常而导致的任务失败。(更详细的背景可以参考此文:[ Firestorm - 腾讯自研Remote Shuffle Service在Spark云原生场景的实践]) 目前Firestorm迎来了0.2.0 版本的正式发布,而Firestorm也成为了第一个支持混合存储的开源Remot...

0
6
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
Google protobuf 安全漏洞
不正确的行为次序
Google protobuf是美国谷歌(Google)公司的一种数据交换格式。 protobuf-java 存在安全漏洞,该漏洞允许一个小的恶意负载可以通过创建大量导致频繁、重复暂停的短期对象来占用解析器几分钟。
CVE-2021-22569 MPS-2021-19066
2022-08-08 18:06
Eclipse Jetty 代码问题漏洞
不充分的会话过期机制
Eclipse Jetty是Eclipse基金会的一个开源的、基于Java的Web服务器和Java Servlet容器。 Eclipse Jetty versions<= 9.4.40存在安全漏洞,该漏洞源于SessionListener抛出异常。
CVE-2021-34428 MPS-2021-8884
2022-08-08 18:06
Apache Log4j SQL注入漏洞
SQL注入
根据设计,Log4j 1.2.x 中的 JDBCAppender 接受 SQL 语句作为配置参数,其中要插入的值是来自 PatternLayout 的转换器。消息转换器 %m 可能总是包含在内。这允许攻击者通过将精心制作的字符串输入到记录的应用程序的输入字段或标题中来操纵 SQL,从而允许执行意外的 SQL 查询。请注意,此问题仅在专门配置为使用 JDBCAppender(不是默认设置)时才会影响 Log4j 1.x。从 2.0-beta8 版本开始,重新引入了 JDBCAppender,适当支持参数化 SQL 查询,并进一步自定义写入日志的列。 Apache Log4j 1.2 已于 2015 年 8 月结束生命周期。用户应升级到 Log4j 2,因为它解决了以前版本中的许多其他问题。
CVE-2022-23305 MPS-2022-1444
2022-08-08 18:06
Apache Log4j 代码问题漏洞
反序列化
CVE-2020-9493 发现了 Apache Chainsaw 中存在的反序列化问题。在 Chainsaw V2.0 之前,Chainsaw 是 Apache Log4j 1.2.x 的一个组件,存在同样的问题。
CVE-2022-23307 MPS-2022-1445
2022-08-08 18:06
Google protobuf 缓冲区错误漏洞
跨界内存写
Google protobuf是美国谷歌(Google)公司的一种数据交换格式。 Google protobuf中存在缓冲区错误漏洞。远程攻击者可利用该漏洞执行代码。
CVE-2015-5237 MPS-2017-10841
2022-08-08 18:06
Eclipse Jetty 缓存中毒漏洞
HTTP请求的解释不一致性(HTTP请求私运)
Eclipse Jetty是Eclipse基金会的一个开源的、基于Java的Web服务器和Java Servlet容器。 Eclipse Jetty中存在安全漏洞,该漏洞源于程序未能正确的处理HTTP/0.9版本协议。攻击者可利用该漏洞造成缓存中毒。
CVE-2017-7656 MPS-2018-8346
2022-08-08 18:06
Apache Log4j 代码问题漏洞
反序列化
Log4j是美国阿帕奇(Apache)软件基金会的一款基于Java的开源日志记录工具。Log4j 1.2版本中包含一个SocketServer类,在未经验证的情况下,该SocketServe类很容易接受序列化的日志事件并对其进行反序列化,在结合反序列化工具使用时,可以利用该类远程执行任意代码。
CVE-2019-17571 MPS-2019-17271
2022-08-08 18:06
Apache Log4j 信任管理问题漏洞
证书验证不恰当
Apache Log4j是美国阿帕奇(Apache)基金会的一款基于Java的开源日志记录工具。 Apache Log4j中存在信任管理问题漏洞,该漏洞源于SmtpAppender没有验证主机名称与SMTPS连接的SSL/TLS证书是否匹配。攻击者可通过实施中间人攻击利用该漏洞拦截SMTPS连接,获取日志消息。
CVE-2020-9488 MPS-2020-6684
2022-08-08 18:06
Apache Log4j 代码问题漏洞
反序列化
当攻击者对 Log4j 配置具有写访问权限或配置引用攻击者有权访问的 LDAP 服务时,所有 Log4j 1.x 版本中的 JMSSink 都容易受到不受信任数据的反序列化。攻击者可以提供一个 TopicConnectionFactoryBindingName 配置,使 JMSSink 执行 JNDI 请求,从而以类似于 CVE-2021-4104 的方式执行远程代码。请注意,此问题仅在专门配置为使用 JMSSink(不是默认设置)时影响 Log4j 1.x。 Apache Log4j 1.2 已于 2015 年 8 月结束生命周期。用户应升级到 Log4j 2,因为它解决了以前版本中的许多其他问题。
CVE-2022-23302 MPS-2022-1446
2022-08-08 18:06
Eclipse Jetty 信息泄露漏洞
信息暴露
Eclipse Jetty是Eclipse基金会的一个开源的、基于Java的Web服务器和Java Servlet容器。 Eclipse Jetty中存在安全漏洞。攻击者可利用该漏洞泄露信息。以下版本受到影响:Eclipse Jetty 7.x版本,8.x版本,9.2.27及之前版本,9.3.26及之前版本,9.4.16及之前版本。
CVE-2019-10247 MPS-2019-4270
2022-08-08 18:06
Apache Log4j 安全漏洞
当攻击者对 Log4j 配置具有写访问权限时,Log4j 1.2 中的 JMSAppender 容易受到不受信任数据的反序列化。攻击者可以提供 TopicBindingName 和 TopicConnectionFactoryBindingName 配置,导致 JMSAppender 执行 JNDI 请求,从而以类似于 CVE-2021-44228 的方式执行远程代码。请注意,此问题仅在专门配置为使用 JMSAppender(不是默认设置)时影响 Log4j 1.2。 Apache Log4j 1.2 已于 2015 年 8 月结束生命周期。用户应升级到 Log4j 2,因为它解决了以前版本中的许多其他问题。
CVE-2021-4104 MPS-2021-38359
2022-08-08 18:06
Eclipse Jetty 资源管理错误漏洞
对异常条件的处理不恰当
在 Eclipse Jetty 7.2.2 到 9.4.38、10.0.0.alpha0 到 10.0.1 和 11.0.0.alpha0 到 11.0.1 中,当接收到一个大的无效 TLS 帧时,CPU 使用率可以达到 100%。攻击者可利用此缺陷进行拒绝服务攻击。
CVE-2021-28165 MPS-2021-3864
2022-08-08 18:06
Eclipse Jetty 输入验证不恰当漏洞
输入验证不恰当
Eclipse Jetty是Eclipse基金会的一个开源的、基于Java的Web服务器和Java Servlet容器。 Eclipse Jetty 存在安全漏洞,该漏洞源于无效的 URI 解析可能会产生无效的 HttpURI.authority。攻击者利用此漏洞会导致Proxy scenario失败。
CVE-2022-2047 MPS-2022-18060
2022-08-08 18:06
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
3 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部