Secor 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Secor 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Secor 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
开源组织 Pinterest
地区 不详
投 递 者 红薯
适用人群 未知
收录时间 2016-02-13

软件简介

Secor 是 Pinerest 公司开发的一个服务,用来将 Kafka 日志持久化到 Amazon S3, Google Cloud StorageOpenstack Swift

特性:

  • 强大的一致性:只要Kafka在Secor能够读取邮件之前不丢弃邮件(例如,由于积极的清除策略),就可以确保将每封邮件保存在一个S3文件中。最终一致性模型导致的S3众所周知的时间不一致不会损害此属性,
  • 容错:Secor的任何组件都可以在任何给定时间崩溃,而不会影响数据完整性,
  • 负载分配:Secor可以分布在多台机器上,
  • 水平可扩展性:扩展系统以处理更多负载就像启动额外的Secor流程一样容易。可以通过取消任何正在运行的Secor进程来减少资源占用。增长或下降都不会对数据一致性产生任何影响,
  • 输出分区:Secor解析传入的消息,并将它们放在分区的s3路径下,以便直接导入到Hive等系统中。secor支持日期,小时,分钟级别的分区
  • 可配置的上传策略:通过基于大小和基于时间的策略来配置控制何时将数据保留在S3中的提交点​​(例如,当本地缓冲区达到100MB且每小时至少一次时上传数据),
  • 监视:跟踪各种性能属性的度量标准通过OstrichMicrometer公开,并可以选择导出到OpenTSDB / statsD
  • 可定制性:可以通过更新配置来加载外部日志消息解析器,
  • 事件转换:外部消息级别转换可以通过使用自定义类来完成。
  • Qubole接口:Secor连接到Qubole,以将最终的输出分区添加到Hive表。
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣
暂无内容
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
Apache Log4j 信任管理问题漏洞
证书验证不恰当
Apache Log4j是美国阿帕奇(Apache)基金会的一款基于Java的开源日志记录工具。 Apache Log4j中存在信任管理问题漏洞,该漏洞源于SmtpAppender没有验证主机名称与SMTPS连接的SSL/TLS证书是否匹配。攻击者可通过实施中间人攻击利用该漏洞拦截SMTPS连接,获取日志消息。
CVE-2020-9488 MPS-2020-6684
2022-08-08 18:13
Apache Thrift 资源管理错误漏洞
拒绝服务
Apache Thrift是美国阿帕奇(Apache)基金会的一个用于跨平台开发的框架。 该框架存在资源管理错误漏洞,使用 Thrift 的应用程序在收到声明容器大小大于有效负载的消息时不会出错。 因此,恶意 RPC 客户端可能会发送短消息,这将导致大量内存分配,从而可能导致拒绝服务。
CVE-2020-13949 MPS-2021-1609
2022-08-08 18:13
Apache HttpComponents Incomplete Fix SSL证书验证安全绕过漏洞
输入验证不恰当
HttpComponents简称HttpCore, 是一组底层Http传输协议组件,支持两种I/O模型,阻塞I/O模型和和非阻塞I/O模型。 Apache HttpComponents不安全修复SSL证书验证存在安全绕过漏洞,允许攻击者进行中间人攻击或冒充受信任的服务器发起进一步攻击
CVE-2012-6153 MPS-2014-4288
2022-08-08 18:13
Netty 环境问题漏洞
HTTP请求的解释不一致性(HTTP请求私运)
Netty是Netty社区的一款非阻塞I/O客户端-服务器框架,它主要用于开发Java网络应用程序,如协议服务器和客户端等。 Netty 4.1.42.Final之前版本中存在安全漏洞。攻击者可利用该漏洞实施HTTP请求走私攻击。
CVE-2019-16869 MPS-2019-12064
2022-08-08 18:13
Connect2id Nimbus JOSE+JWT 存在对异常或异常情况的不当检查漏洞
对异常条件的处理不恰当
Connect2id Nimbus JOSE+JWT是Connect2id公司的一款基于Java的开源JWT(JSON Web Tokens)实现。 在受影响版本内,解析 JWT 时可能会抛出各种未捕获的异常。 攻击者通过此缺陷绕过身份认证。
CVE-2019-17195 MPS-2019-13154
2022-08-08 18:13
Apache Zookeeper 授权问题漏洞
授权机制缺失
Apache Zookeeper是美国阿帕奇(Apache)软件基金会的一个软件项目,它能够为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册等功能。 Apache ZooKeeper 1.0.0版本至3.4.13版本和3.5.0-alpha版本至3.5.4-beta版本中存在授权问题漏洞。该漏洞源于网络系统或产品中缺少身份验证措施或身份验证强度不足。
CVE-2019-0201 MPS-2019-5668
2022-08-08 18:13
Apache Hadoop授权问题漏洞
认证机制不恰当
Apache Hadoop是美国阿帕奇(Apache)软件基金会的一套开源的分布式系统基础架构。 Apache Hadoop存在授权问题漏洞,该漏洞源于启用Kerberos身份验证和禁用HTTP SPNEGO时Web接口中的漏洞造成的。攻击者可以利用漏洞访问servlet。
CVE-2018-11765 MPS-2020-13793
2022-08-08 18:13
Bouncy Castle BC 信息泄漏漏洞
通过差异性导致的信息暴露
Bouncy Castle BC是Bouncy Castle组织的一个用于C#和Java应用程序的加密库。 Bouncy Castle BC 1.55之前版本的Legion 和BC-FJA 1.0.1.2之前版本存在安全漏洞,该漏洞可使攻击者获取一些敏感信息。
CVE-2020-26939 MPS-2020-16513
2022-08-08 18:13
AWS SDK for Java 路径遍历漏洞
路径遍历
AWS SDK for Jav是一款适用于 Java 的 AWS 开发工具包。 AWS SDK for Java v1 的 AWS S3 TransferManager 组件中的downloadDirectory方法中存在部分路径遍历问题。该downloadDirectory方法允许调用者在对象键中传递文件系统对象,但在键名的验证逻辑中包含问题。攻击者可以通过在存储桶键中包含..来绕过验证逻辑。在某些情况下,这可能允许他们从 S3 存储桶中检索一个目录,该目录在其工作目录的文件系统中上一级。
CVE-2022-31159 MPS-2022-11189
2022-08-08 18:13
org.apache.directory.server:apacheds-kerberos-codec 存在使用具有密码学弱点缺陷的PRNG漏洞
此软件包的受影响版本容易受到加密问题的影响。静态 IV 用于具有 CBC 模式的对称加密。 CBC模式的IV预计是随机的。静态 IV 使生成的密文更加可预测并且容易受到字典攻击。
MPS-2022-12540
2022-08-08 18:13
Apache Commons HttpClient Amazon FPS 输入验证错误漏洞
证书验证不恰当
HttpClient是Apache Jakarta Common下的子项目,用来提供高效的支持HTTP协议的客户端编程工具包。 Apache Commons HttpClient 3.x版本使用在Amazon Flexible Payments Service (FPS) merchant Java SDK以及其他产品中时存在漏洞,该漏洞源于在主题Common Name(CN)或X.509证书的subjectAltName字段中,程序没有对服务器主机名与域名的匹配进行校验。中间人攻击者利用该漏洞通过任意有效的证书欺骗SSL服务器。
CVE-2012-5783 MPS-2012-4618
2022-08-08 18:13
Apache Zookeeper 访问控制错误漏洞
授权机制缺失
Apache Zookeeper是美国阿帕奇(Apache)软件基金会的一个软件项目,它能够为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册等功能。 Apache ZooKeeper 3.4.10之前版本和3.5.0-alpha版本至3.5.3-beta版本中存在访问控制错误漏洞,该漏洞源于程序没有强制执行身份验证/授权检测。攻击者可利用该漏洞修改目标系统上的数据。
CVE-2018-8012 MPS-2018-6313
2022-08-08 18:13
Bouncy Castle JCE Provider 加密问题漏洞
密钥管理错误
Bouncy Castle JCE Provider是一款基于Java的加密包。 Bouncy Castle JCE Provider 1.55及之前版本中存在安全漏洞,该漏洞源于程序没有充分的验证DH公钥。
CVE-2016-1000346 MPS-2018-7044
2022-08-08 18:13
Apache Kafka 安全漏洞
通过差异性导致的信息暴露
Apache Kafka是美国阿帕奇(Apache)软件基金会的一套开源的分布式流媒体平台。该平台能够获取实时数据,用于构建对数据流的变化进行实时反应的应用程序。 Apache Kafka 中的一些组件使用 Arrays.equals 来验证密码或密钥,这很容易受到定时攻击,从而使对此类凭据的暴力攻击更有可能成功。用户应升级到 2.8.1 或更高版本,或已修复此漏洞的 3.0.0 或更高版本。
CVE-2021-38153 MPS-2021-28892
2022-08-08 18:13
Apache Commons IO 路径遍历漏洞
路径遍历
在 2.7 之前的 Apache Commons IO 中,当使用不正确的输入字符串(如“//../foo”或“\\..\foo”)调用方法 FileNameUtils.normalize 时,结果将是相同的值,因此可能如果调用代码将使用结果来构造路径值,则提供对父目录中文件的访问,但不能进一步访问(因此“有限”路径遍历)。
CVE-2021-29425 MPS-2021-4531
2022-08-08 18:13
org.apache.httpcomponents:httpclient 存在相对路径遍历漏洞
相对路径遍历
org.apache.httpcomponents:httpclient 是 Apache HttpComponents 项目的一个 HttpClient 组件。此软件包的受影响版本容易受到目录遍历的影响。
MPS-2022-12292
2022-08-08 18:13
com.fasterxml.jackson.core:jackson-databind 存在拒绝服务漏洞
拒绝服务
com.fasterxml.jackson.core:jackson-databind 是一个库,其中包含Jackson Data Processor的通用数据绑定功能和树模型。当使用 JDK 序列化来序列化和反序列化 JsonNode 值时,此包的受影响版本容易受到拒绝服务 (DoS) 的攻击。
MPS-2022-12500
2022-08-08 18:13
Hadoop 存在shell命令注入漏洞
命令注入
Hadoop 是一款分布式系统基础架构和开发开源软件。 由于 Hadoop 中 org.apache.hadoop.fs.FileUtill 类的 unTar 中针对 tar 文件的处理使用了系统命令去解压,造成了 shell 命令注入的风险。 攻击者可以通过该漏洞实现任意命令执行。
CVE-2022-25168 MPS-2022-6800
2022-08-08 18:13
Jetty输入验证漏洞
密码学问题
Jetty是Eclipse基金会的一个自由和开源项目,是一个基于Java的Web服务器和Java Servlet容器。 Jetty在处理哈希表单张贴和更新哈希表单时,哈希生成函数中存在漏洞。攻击者可利用此漏洞通过在HTTP POST请求中发送特制的表单,造成哈希冲突,导致较高的CPU消耗。
CVE-2011-4461 MPS-2011-4130
2022-08-08 18:13
Apache Zookeeper 安全漏洞
Apache Zookeeper是美国阿帕奇(Apache)软件基金会的一个软件项目,它能够为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册等功能。 Apache Zookeeper 3.4.9版本和3.5.2版本中存在安全漏洞。攻击者可利用该漏洞造成拒绝服务。
CVE-2017-5637 MPS-2017-11297
2022-08-08 18:13
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
10 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部