Flink Remote Shuffle 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Flink Remote Shuffle 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Flink Remote Shuffle 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache 2.0
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据处理
开源组织
地区 不详
投 递 者 罗奇奇
适用人群 未知
收录时间 2021-12-01

软件简介

Flink Remote Shuffle 是一种批场景下利用外部服务完成任务间数据交换的 Shuffle 实现,本文后续将详细介绍 Flink Remote Shuffle 研发的背景,以及 Flink Remote Shuffle 的设计与使用。

重要特性

  1. 存储计算分离:存储计算分离使计算资源与存储资源可以独立伸缩,计算资源可以在计算完成后立即释放,Shuffle 稳定性不再受计算稳定性影响。

  2. 支持多种部署模式:支持 Kubernetes、Yarn 以及 Standalone 环境下部署。

  3. 采用了类似 Flink Credit-Based 流量控制机制,实现了零拷贝数据传输,最大限度的使用受管理的内存 (managed memory) 以避免 OOM,提高了系统稳定性与性能。

  4. 实现了包括负载均衡、磁盘 IO 优化、数据压缩、连接复用、小包合并等诸多优化,实现了优秀的性能与稳定性表现。

  5. 支持 Shuffle 数据正确性校验,能够容忍 Shuffle 进程乃至物理节点重启。

  6. 结合 FLIP-187: Flink Adaptive Batch Job Scheduler[11] 可支持动态执行优化,如动态决定算子并发度。

设计思路与原理介绍

参阅此文章:https://www.oschina.net/news/171564/flink-remote-shuffle-open-source

 

展开阅读全文

代码

评论

点击引领话题📣 发布并加入讨论🔥
暂无内容
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
Netty createTempFile信息泄露漏洞
Netty是Netty社区的一款非阻塞I/O客户端-服务器框架,它主要用于开发Java网络应用程序,如协议服务器和客户端等。 Netty 4.1.59之前版本存在安全漏洞,由于使用了createTempFile函数会在系统临时目录中创建一个权限为rw-r--r--的临时文件。因此,如果将敏感信息写入该文件,则其他本地用户就可以读取该信息。造成信息泄露的危害。
CVE-2021-21290 MPS-2021-1580
2022-08-08 19:19
com.fasterxml.jackson.core:jackson-databind 存在拒绝服务漏洞
拒绝服务
com.fasterxml.jackson.core:jackson-databind 是一个库,其中包含Jackson Data Processor的通用数据绑定功能和树模型。当使用 JDK 序列化来序列化和反序列化 JsonNode 值时,此包的受影响版本容易受到拒绝服务 (DoS) 的攻击。
MPS-2022-12500
2022-08-08 19:19
Fastjson <= 1.2.60 版本远程代码执行漏洞
使用外部可控制的输入来选择类或代码(不安全的反射)
Fastjson 是Java语言实现的快速JSON解析和生成器,在<=1.2.60的版本中攻击者可通过精心构造的JSON请求,在autoType显式开启的情况下,绕过黑名单机制,远程执行任意代码。 漏洞原因: 攻击者发现了两个类JNDIConfiguration和OracleManagedConnectionFactory不在黑名单中,可调用连接远程rmi主机,通过其中的恶意类执行代码。
MPS-2019-28847
2022-08-08 19:19
Fastjson < 1.2.60 版本拒绝服务漏洞
拒绝服务
Fastjson 是Java语言实现的快速JSON解析和生成器,在<1.2.60的版本中攻击者可通过精心构造的JSON请求,造成服务器内存和CPU等资源耗尽,最终系统宕机。 漏洞原因: fastjson处理\x转义字符不当,json中包含恶意构造的请求时可能引发OOM。
MPS-2019-28848
2022-08-08 19:19
Google Guava 访问控制错误漏洞
关键资源的不正确权限授予
Google Guava是美国谷歌(Google)公司的一款包括图形库、函数类型、I/O和字符串处理等的Java核心库。 Guava 30.0版本之前存在访问控制错误漏洞,该漏洞源于Guava存在一个临时目录创建漏洞,允许访问机器的攻击者可利用该漏洞潜在地访问由Guava com.google.common.io. Files. createTempDir() 创建的临时目录中的数据。攻击者可以利用该漏洞访问特殊目录。
CVE-2020-8908 MPS-2020-17429
2022-08-08 19:19
Fastjson <=1.2.68 远程代码执行漏洞
使用外部可控制的输入来选择类或代码(不安全的反射)
Fastjson 是Java语言实现的快速JSON解析和生成器,在<=1.2.68的版本中攻击者可通过精心构造的JSON请求,远程执行恶意代码。 漏洞原因: Fastjson采用黑白名单的方法来防御反序列化漏洞,导致当黑客不断发掘新的反序列化Gadgets类时,发现在AutoTypeSupport关闭的情况下仍然可能可以绕过黑白名单防御机制,造成远程命令执行漏洞。 本次绕过通过继承自 Throwable 异常类的白名单类gadget实现,漏洞点为ThrowableDeserializer#deserialze。
MPS-2020-39708
2022-08-08 19:19
org.glassfish.jersey.media:jersey-media-jaxb 存在XXE漏洞
XXE
org.glassfish.jersey.media:jersey-media-jaxb 是一个 REST 框架,提供 JAX-RS 参考实现等。此软件包的受影响版本容易受到 XML 实体扩展的影响。 SAXParserFactory 提供程序仅禁用外部实体,并不能防止 XML 实体扩展。
MPS-2022-12234
2022-08-08 19:19
Eclipse Jetty 输入验证不恰当漏洞
输入验证不恰当
Eclipse Jetty是Eclipse基金会的一个开源的、基于Java的Web服务器和Java Servlet容器。 Eclipse Jetty 存在安全漏洞,该漏洞源于无效的 URI 解析可能会产生无效的 HttpURI.authority。攻击者利用此漏洞会导致Proxy scenario失败。
CVE-2022-2047 MPS-2022-18060
2022-08-08 19:19
Netty 安全漏洞
Netty 是一个开源的、异步事件驱动的网络应用框架。版本 4.1.77.Final 之前的包 io.netty:netty-codec-http 包含对 CVE-2021-21290 的不充分修复。当使用 Netty 的多部分解码器时,如果启用了在磁盘上临时存储上传,则可以通过本地系统临时目录发生本地信息泄露。这只会影响在 Java 版本 6 及更低版本上运行的应用程序。此外,此漏洞会影响在类 Unix 系统以及非常旧版本的 Mac OSX 和 Windows 上运行的代码,因为它们都在所有用户之间共享系统临时目录。版本 4.1.77.Final 包含针对此漏洞的补丁。作为一种解决方法,在启动 JVM 时指定自己的 `java.io.tmpdir` 或使用 DefaultHttpDataFactory.setBaseDir(...) 将目录设置为只能由当前用户读取的目录。
CVE-2022-24823 MPS-2022-3790
2022-08-08 19:19
Netty Bzip2Decoder资源穷尽漏洞
拒绝服务
Netty 是一个异步事件驱动的网络应用程序框架。 Netty的Bzip2 decompression decoder功能不允许对解压输出数据设置大小限制造成安全漏洞。攻击者可利用该漏洞引发DoS攻击
CVE-2021-37136 MPS-2021-28116
2022-08-08 19:19
Netty Snappy资源穷尽漏洞
拒绝服务
Netty是Netty社区的一款非阻塞I/O客户端-服务器框架,它主要用于开发Java网络应用程序,如协议服务器和客户端等。 netty存在资源管理错误漏洞,该漏洞源于Snappy frame decoder函数不限制块长度,这可能会导致过度内存使用。
CVE-2021-37137 MPS-2021-28117
2022-08-08 19:19
fastjson < 1.2.83 任意代码执行漏洞
反序列化
Fastjson 是Java语言实现的快速JSON解析和生成器。 fastjson 使用黑白名单用于防御反序列化漏洞,1.2.80及以下版本在特定条件下可绕过默认autoType关闭限制,攻击远程服务器。 攻击者可利用该漏洞远程执行恶意代码。
CVE-2022-25845 MPS-2022-11320
2022-08-08 19:19
io.netty:netty-handler 存在证书验证不恰当漏洞
证书验证不恰当
io.netty:netty-handler 是一个提供异步事件驱动的网络应用程序框架和工具的库,用于快速开发可维护的高性能和高可扩展性协议服务器和客户端。换句话说,Netty 是一个 NIO 客户端服务器框架,可以快速轻松地开发协议服务器和客户端等网络应用程序。它极大地简化和流线了网络编程,例如 TCP 和 UDP 套接字服务器。此软件包的受影响版本容易受到不正确的证书验证的影响。在 Netty 4.1.x 中默认禁用证书主机名验证,这使得它可能容易受到中间人攻击。
MPS-2022-12067
2022-08-08 19:19
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
4 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部