Uber JVM Profiler 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Uber JVM Profiler 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Uber JVM Profiler 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache 2.0
开发语言 Java
操作系统 跨平台
软件类型 开源软件
开源组织 Uber
地区 不详
投 递 者 王练
适用人群 未知
收录时间 2018-08-21

软件简介

JVM Profiler 是 Uber Engineering 团队开源的一个分布式探查器,用于收集性能和资源使用率指标为进一步分析提供服务。尽管它是为 Spark 应用而构建的, 但它的通用实现使其适用于任何基于 JVM 的服务或应用。


JVM Profiler 由三项主要功能组成, 它使收集性能和资源使用率指标变得更容易, 然后可以将这些指标 (如 Apache Kafka) 提供给其他系统进行进一步分析:

  • 代理功能 ( java agent ) : 支持用户以分布式的方式收集各种指标 (例如如 CPU/内存利用率) ,用于 JVM 进程的堆栈跟踪。

  • 高级分析功能(Advanced profiling capabilities): 支持跟踪任意 Java 方法和用户代码中的参数, 而不进行任何实际的代码更改。此功能可用于跟踪 Spark 应用的 HDFS NameNode RPC 调用延迟, 并标识慢速方法调用。它还可以跟踪每个 Spark 应用读取或写入的 HDFS 文件路径, 用以识别热文件后进一步优化。

  • 数据分析报告( Data analytics reporting ): 使用 JVM Profile 可以将指标数据推送给 Kafka topics 和 Apache Hive tables , 提高数据分析的速度和灵活性。

典型用例

JVM Profiler 支持各种用例, 最典型的是能够检测任意 Java 代码。基于简单的配置, JVM Profiler 就可以附加到 Spark 应用中的每个执行者(executor)收集 Java 方法运行时度量。下面, 我们对其中的一些用例进行讨论:

  • Right-size executor : JVM Profiler 中的内存度量支持跟踪每个执行者的实际内存使用情况。借此 可以在 Spark 应用中 ”executor-memory” 设置最优参数。

  • 监视 HDFS NameNode RPC 延迟: 例如在 Spark 应用中对类 org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB 的方法进行了分析并确定 NameNode 调用的延迟。Uber 每天都要监控5万多个 Spark 应用, 其中有数以亿计的这种 RPC 调用。

  • 监视驱动程序丢弃的事件: 例如监视 org.apache.spark.scheduler.LiveListenerBus.onDropEvent, 跟踪 Spark 驱动程序事件队列太长、队列删除事件。

  • 跟踪数据沿袭: 例如分析 Java 方法上的文件路径参数 ( org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations , org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock ) , 可以跟踪哪些文件是由 Spark 应用读取和写入的。

 介绍来源:RiboseYim

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(1) 发布并加入讨论🔥
暂无内容
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 org.apache.commons.dbcp2.datasources.SharedPoolDataSource 相关的序列化小工具和类型之间的交互。
CVE-2020-35491 MPS-2020-17697
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 jackson-databind before 2.9.10.7 存在代码问题漏洞,该漏洞源于fastxml错误地处理了序列化小部件和类型之间的交互。
CVE-2021-20190 MPS-2021-1625
2022-08-08 18:12
Apache Kafka 输入验证错误漏洞
Apache Kafka是美国阿帕奇(Apache)软件基金会的一套开源的分布式流媒体平台。该平台能够获取实时数据,用于构建对数据流的变化进行实时反应的应用程序。 Apache Kafka 0.11.0.0版本至2.1.0版本中存在安全漏洞。攻击者可通过构建Produce请求利用该漏洞绕过ACL验证。
CVE-2018-17196 MPS-2019-7904
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 org.apache.tomcat.dbcp.dbcp.cpdsadapter.DriverAdapterCPDS 相关的序列化小工具和类型之间的交互。
CVE-2020-36181 MPS-2021-0203
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 org.apache.tomcat.dbcp.dbcp2.cpdsadapter.DriverAdapterCPDS 相关的序列化小工具和类型之间的交互。
CVE-2020-36182 MPS-2021-0205
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 org.apache.tomcat.dbcp.dbcp2.datasources.SharedPoolDataSource 相关的序列化小工具和类型之间的交互。
CVE-2020-36185 MPS-2021-0208
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 org.apache.tomcat.dbcp.dbcp.datasources.PerUserPoolDataSource 相关的序列化小工具和类型之间的交互。
CVE-2020-36186 MPS-2021-0209
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 com.newrelic.agent.deps.ch.qos.logback.core.db.DriverManagerConnectionSource 相关的序列化小工具和类型之间的交互。
CVE-2020-36189 MPS-2021-0212
2022-08-08 18:12
Apache Kafka 安全漏洞
通过差异性导致的信息暴露
Apache Kafka是美国阿帕奇(Apache)软件基金会的一套开源的分布式流媒体平台。该平台能够获取实时数据,用于构建对数据流的变化进行实时反应的应用程序。 Apache Kafka 中的一些组件使用 Arrays.equals 来验证密码或密钥,这很容易受到定时攻击,从而使对此类凭据的暴力攻击更有可能成功。用户应升级到 2.8.1 或更高版本,或已修复此漏洞的 3.0.0 或更高版本。
CVE-2021-38153 MPS-2021-28892
2022-08-08 18:12
commons-codec:commons-codec 存在信息暴露漏洞
信息暴露
commons-codec:commons-codec 是一个包含各种格式(如 Base64 和 Hexadecimal)的简单编码器和解码器的包。此软件包的受影响版本容易受到信息泄露的影响。
MPS-2022-11853
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 FasterXML jackson-databind 2.x before 2.9.10.8 存在代码问题漏洞,该漏洞源于oadd.org.apache.commons.dbcp.cpdsadapter.DriverAdapterCPDS错误地处理serialization gadgets 和 typing的交互。
CVE-2020-36179 MPS-2021-0202
2022-08-08 18:12
org.apache.httpcomponents:httpclient 存在相对路径遍历漏洞
相对路径遍历
org.apache.httpcomponents:httpclient 是 Apache HttpComponents 项目的一个 HttpClient 组件。此软件包的受影响版本容易受到目录遍历的影响。
MPS-2022-12292
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 FasterXML jackson-databind 2.x版本至2.9.10.8版本存在代码问题漏洞,该漏洞源于错误地处理了序列化小工具和类型之间的交互,涉及到com.oracle.wls.shaded.org.apache.xalan.lib.sql.JNDIConnectionPool (aka embedded Xalan in org.glassfish.web/javax.servlet.jsp.jstl)。
CVE-2020-35728 MPS-2020-18089
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 org.apache.commons.dbcp2.cpdsadapter.DriverAdapterCPDS 相关的序列化小工具和类型之间的交互。
CVE-2020-36180 MPS-2021-0204
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 FasterXML jackson-databind 2.x before 2.9.10.8 存在代码问题漏洞,该漏洞源于org.apache.tomcat.dbcp.dbcp2.datasources.PerUserPoolDataSource错误地处理serialization gadgets 和 typing的交互。
CVE-2020-36184 MPS-2021-0207
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 org.apache.tomcat.dbcp.dbcp.datasources.SharedPoolDataSource 相关的序列化小工具和类型之间的交互。
CVE-2020-36187 MPS-2021-0210
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 FasterXML jackson-databind 2.x before 2.9.10.8 存在代码问题漏洞,该漏洞源于com.newrelic.agent.deps.ch.qos.logback.core.db.JNDIConnectionSource错误地处理serialization gadgets 和 typing的交互。
CVE-2020-36188 MPS-2021-0211
2022-08-08 18:12
FasterXML jackson-databind反序列化漏洞
反序列化
Fasterxml Jackson是美国 Fasterxml 公司的一款适用于 Java 的数据处理工具。jackson-databind 是其中的一个具有数据绑定功能的组件。 FasterXML jackson-databind存在安全漏洞。该漏洞源于进行了不安全的反序列化。远程攻击者可通过精心构造的恶意载荷通过利用该漏洞在系统上执行任意代码。
CVE-2020-24616 MPS-2020-11987
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 FasterXML jackson-databind 2.0系列2.9.10.6之前版本存在代码问题漏洞,该漏洞源于com.pastdev.httpcomponents.configuration.JndiConfiguration。
CVE-2020-24750 MPS-2020-13151
2022-08-08 18:12
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 org.apache.commons.dbcp2.datasources.PerUserPoolDataSource 相关的序列化小工具和类型之间的交互。
CVE-2020-35490 MPS-2020-17696
2022-08-08 18:12
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
1 评论
61 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部