Apache Storm 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache Storm 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache Storm 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java Groovy Lisp
操作系统 跨平台
软件类型 开源软件
开源组织 Apache
地区 不详
投 递 者 红薯
适用人群 未知
收录时间 2014-10-01

软件简介

Apache Storm 的前身是 Twitter Storm 平台,目前已经归于 Apache 基金会管辖。

Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。Apache Storm 采用 Clojure 开发。

Storm 有很多应用场景,包括实时数据分析、联机学习、持续计算、分布式 RPC、ETL 等。Storm 速度非常快,一个测试在单节点上实现每秒一百万的组处理。

目前已经有包括阿里百度在内的数家大型互联网公司在使用该平台。

展开阅读全文

评论 (3)

加载中
不是早就成为Apache管理的项目了吗?现在是顶级项目了? Apache Storm
2014/10/01 11:00
回复
举报
不是closure语言开发的吗? Apache Storm
2014/10/01 15:37
回复
举报
昨天才收录的? Apache Storm
2014/10/02 10:18
回复
举报
更多评论
2021/10/16 09:56

Apache Storm 2.1.1 发布,分布式实时计算

Apache Storm 2.1.1 现已发布。Apache Storm 是一个分布式的、容错的、高性能的实时计算系统,为数据的处理提供了有力的保障。 主要更新内容 将日志级别更改为 info 以显示用于验证的配置类 修复错误的参数顺序 Nimbus 日志充斥着 TTransportException 错误消息 Storm CLI set_log_level 不再更新日志级别 如果未安排,拓扑 UI 页面将显示每个组件的总资源 拓扑 UI 页面 "更改日志级别" 不应允许空记录器名称 上传凭证破坏安全集...

0
2
2021/09/29 07:22

Apache Storm 2.3.0 发布,分布式实时计算

Apache Storm 2.3.0 现已发布。Apache Storm 是一个分布式的、容错的、高性能的实时计算系统,为数据的处理提供了有力的保障。 主要更新内容 新功能 在 docker 容器中启动 Storm Worker 使用 runc 运行时在容器内启动工作器 改进 添加快速、更可靠的进程活跃度检查 将 JCQueue 指标切换到新的指标 API 将 AutoTGT 指标更新为新 API 改进 PacemakerClient 错误消息 为类似于 LIMIT-MEM 的 worker childopts 添加 OFF-HEAP 宏 Ac...

2
1
发表于开发技能专区
2020/07/03 07:44

Apache Storm 2.2.0 发布,分布式实时计算

Apache Storm 2.2.0 发布了,更新内容如下: 新特性 将 backtype.storm.messaging.netty-integration-test 端口移植到 Java 将 backtype.storm.submitter-test 端口移植到 Java NUMA 支持 HB 超时可在拓扑级别配置 每个 Worker RAS 选项实施一个执行程序 添加配置以将调度程序行为列入黑名单 更改 ConstraintSolverStrategy 以允许扩展组件的最大共置位计数 允许为 Metrics-V2 中的 worker 使用 Metrics 的简称 为 Storm UI、L...

0
5
发表于AI & 大数据专区
2019/07/20 07:27

Apache Storm 1.2.3 发布,分布式实时计算

Apache Storm 1.2.3 发布了,更新内容如下: 新特性 [STORM-3233] - zookeeper 客户端升级到最新版本 (3.4.13) 改进 [STORM-3077] - Disruptor 升级至 3.3.11 [STORM-3083] - HikariCP 升级至 2.4.7 [STORM-3094] - 拓扑名称需要在 storm-client 上进行验证 [STORM-3222] - 修复 KafkaSpout 内部,以使用 LinkedList 代替 ArrayList [STORM-3292] - Trident HiveState 必须在批量提交时刷新编写器 新版本还包含不少 bug 修复,可...

0
6
发表于运维专区
2019/06/03 07:04

Apache Storm 2.0.0 发布,基于 Java ​​​​​​​的新架构

Apache Storm 2.0.0 发布了,距离它上次更新已过去一年,新版本在性能、新功能和与外部系统的集成方面进行了重大改进,下面是一些主要功能及改进: 用 Java 实现的新架构 在之前的版本中,Storm 的核心功能很大一部分是在 Clojure 中实现的。Storm 2.0.0 已经重新设计,它的核心功能用纯 Java 实现。新的基于 Java 的实现显著提高了性能,使 Storm 的内部 API 更易于维护和扩展。 新的高性能核心 Storm 2.0.0 引入了一个新的核心...

5
22
发表于服务端专区
2018/06/06 07:34

Apache Storm 1.1.3 和 1.2.2 发布,分布式实时计算

Apache Storm 1.1.3 和 1.2.2 已发布,这是一个常规维护版本,其中包含许多重要的错误修复,可以提高 Storm 的性能,稳定性和容错能力。建议以前版本的用户升级到最新版本。 更新内容较多,详情请查看发布说明: http://storm.apache.org/2018/06/04/storm122-released.html http://storm.apache.org/2018/06/04/storm113-released.html 下载地址:http://storm.apache.org/downloads.html Apache Storm 是一个免费开源的分布式...

3
5
2018/02/18 08:32

Apache Storm 1.2.0,1.1.2 和 1.0.6 发布

Apache Storm 1.2.0,1.1.2 和 1.0.6 发布了。主要更新内容及下载地址如下: 1.2.0 New Feature [STORM-2383] - [storm-hbase] Support HBase as state backend [STORM-2484] - Flux: support bolt+spout memory configuration [STORM-2648] - Kafka spout can't show acks/fails and complete latency when auto commit is enabled [STORM-2694] - Create a listener to handle tuple state changes of the KafkaSpout Improv...

0
4
发表了资讯
2017/09/16 06:52

Apache Storm 1.0.5 发布,分布式实时计算

Apache Storm 1.0.4 已发布,Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。Apache Storm 采用 Clojure 开发。 Storm 有很多应用场景,包括实时数据分析、联机学习、持续计算、分布式 RPC、ETL 等。Storm 速度非常快,一个测试在单节点上实现每秒一百万的组处理。 这是一个维护版本,包含许多重要的 bug 修复,以改善 Storm 的性...

5
12
发表了资讯
2017/07/29 07:31

Apache Storm 1.0.4 发布,分布式实时计算

Apache Storm 1.0.4 已发布,Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。Apache Storm 采用 Clojure 开发。 Storm 有很多应用场景,包括实时数据分析、联机学习、持续计算、分布式 RPC、ETL 等。Storm 速度非常快,一个测试在单节点上实现每秒一百万的组处理。 这是一个维护版本,包含许多重要的 bug 修复,可以改善 Storm ...

0
15
发表了资讯
2017/02/05 05:22

Apache Storm 1.0.3 发布,分布式实时计算

Apache Storm 1.0.3 发布了,Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。Apache Storm 采用 Clojure 开发。 Storm 有很多应用场景,包括实时数据分析、联机学习、持续计算、分布式 RPC、ETL 等。Storm 速度非常快,一个测试在单节点上实现每秒一百万的组处理。 更新内容: STORM-2337: Broken documentation generation for ...

0
20
发表了资讯
2016/09/15 00:00

Apache Storm 0.10.2 发布,分布式实时计算

Apache Storm 0.10.2 发布了,Apache Storm 的前身是 Twitter Storm 平台,目前已经归于 Apache 基金会管辖。 Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。Apache Storm 采用 Clojure 开发。 Storm 有很多应用场景,包括实时数据分析、联机学习、持续计算、分布式 RPC、ETL 等。Storm 速度非常快,一个测试在单节点上实现每秒...

0
14
2016/09/08 00:00

Apache Storm 0.9.7 发布,分布式实时计算

Apache Storm 0.9.7 发布了,Apache Storm 的前身是 Twitter Storm 平台,目前已经归于 Apache 基金会管辖。 Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。Apache Storm 采用 Clojure 开发。 Storm 有很多应用场景,包括实时数据分析、联机学习、持续计算、分布式 RPC、ETL 等。Storm 速度非常快,一个测试在单节点上实现每秒一...

1
8
发表了资讯
2016/05/07 00:00

Apache Storm 1.0.1 发布,分布式实时计算

Apache Storm 1.0.1 发布了,这是一个维护版本,主要修复了一些重要的Bugs,提升性能、稳定性、以及容错能力。内部通信机制消息吞吐量是之前的一倍多,这使得任务间通信效率大大提升。 完整改进记录如下: STORM-1741: remove unconditional setting of JAVA_HOME from storm-env.sh STORM-1739: update the minor JAVA version dependency in 0.10.0 and above STORM-1727: document 1.0 package renaming and how to use the ...

0
10
发表了资讯
2016/04/13 00:00

Apache Storm 1.0.0 发布,分布式实时计算

Apache Storm 1.0.0 发布了,Apache Storm 的前身是 Twitter Storm 平台,目前已经归于 Apache 基金会管辖。 Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。Apache Storm 采用 Clojure 开发。 Storm 有很多应用场景,包括实时数据分析、联机学习、持续计算、分布式 RPC、ETL 等。Storm 速度非常快,一个测试在单节点上实现每秒一...

9
30
发表了资讯
2015/11/06 00:00

Apache Storm 0.9.6/0.10.0 发布

Apache Storm 0.10.0 发布,此版本是个稳定版本,相比之前的 Beta 版本主要包括 bug 修复和改进: STORM-1108: Fix NPE in simulated time STORM-1106: Netty should not limit attempts to reconnect STORM-1099: Fix worker childopts as arraylist of strings STORM-1096: Fix some issues with impersonation on the UI STORM-912: Support SSL on Logviewer STORM-1094: advance kafka offset when deserializer yields n...

8
27
发表了资讯
2015/06/16 00:00

Apache Storm 0.10.0-beta 发布

Apache Storm 0.10.0-beta 发布,值得关注的更新如下: 安全,多租户部署: Kerberos Authentication with Automatic Credential Push and Renewal Pluggable Authorization and ACLs Multi-Tenant Scheduling with Per-User isolation and configurable resource limits. User Impersonation SSL Support for Storm UI, Log Viewer, and DRPC (Distributed Remote Procedure Call) Secure integration with other Hadoop Proje...

0
1
发表了资讯
2015/06/05 00:00

Apache Storm 0.9.5 发布,分布式实时计算

Apache Storm 0.9.5 发布,此版本是个维护版本,包括重要的 bug 修复,提升了系统的稳定性和容错能力。强烈建议大家升级到最新版本。 此版本的源代码和二进制包现已提供下载:http://storm.apache.org/downloads.html 更新日志: STORM-790: Log "task is null" instead of letting worker die when task is null in transfer-fn STORM-796: Add support for "error" command in ShellSpout STORM-745: fix storm.cmd to evalua...

6
27
发表了资讯
2015/03/27 00:00

Apache Storm 0.9.4 发布,分布式实时计算

Apache Storm 0.9.4 发布了,这是一个维护版本,主要是一些重要的 bug 修复,提升了稳定性和容错,建议用户升级。 该版本改进内容包括: STORM-559: ZkHosts in README should use 2181 as port. STORM-682: supervisor should handle worker state corruption gracefully. STORM-693: when kafka bolt fails to write tuple, it should report error instead of silently acking. STORM-329: fix cascading Storm failure by ...

6
31
发表了资讯
2014/11/26 00:00

Apache Storm 0.9.3 发布,分布式实时计算系统

Apache Storm 0.9.3 发布,此版本现已提供下载。此版本总共包括 62 位独立贡献者,超过 100 处的改进和修复。 此版本主要改进了 Kafka 集成,添加了 HDFS 集成和 HBase 集成。更多内容请看发行说明。 Maven 中心: groupId: org.apache.storm artifactId: storm-core version: 0.9.3 相关链接: [1]: https://github.com/apache/incubator-storm/blob/v0.9.3/CHANGELOG.md [2]: https://issues.apache.org/jira/browse/STORM...

9
38
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2019/04/17 16:22

Apache Storm

作者:jiangzz 电话:15652034180 微信:jiangzz_wx 微信公众账号:jiangzz_wy 背景介绍 流计算:将大规模流动数据在不断变化的运动过程中实现数据的实时分析,捕捉到可能有用的信息,并把结果发送到下一计算节点。 主流流计算框架:Kafka Streaming、Apache Storm、Spark Streaming、Flink DataStream等。 Kafka Streaming:是一套基于Kafka-Streaming库的一套流计算工具jar包,具有简单容易集成等特点。 Apache Storm:流处理框架...

0
0
发表于AI & 大数据专区
2020/06/06 15:15

Apache Storm

Apache storm是一个分布式的实时大数据处理系统。用于在容错和水平可拓展方法中处理大量数据。 它是一个流数据框架,具有很高的摄取率,无状态。通过zk管理分布式环境和集群状态,并行地对实时数据执行各种操作。 storm易于设置和操作,并且它保证每个消息将通过拓扑至少处理一次。 基本上Hadoop和Storm框架用于分析大数据。两者互补,在某些方面有所不同。Apache Storm执行除持久性之外的所有操作,而Hadoop在所有方面都很好,...

0
0
发表于AI & 大数据专区
2016/09/21 16:54

Apache Slider + Storm

#Apache Slider + Storm ##系统环境 安装如下组件,部署可用环境 - JDK 1.7.0_79 - Apache Zookeeper 3.4.* [Apache Zookeeper](https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ "Zookeeper") - Apache Hadoop 2.6.* [Apache Hadoop](https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/core/ "Apache Hadoop") - Apache Storm 0.9.4 [Apache Storm Download](http://www.apache.org/dyn/closer.lua/storm/ "storm")...

0
0
发表了博客
2018/02/25 17:53

storm之 Storm 工作原理

Storm 工作原理 Storm简介 1.Storm是一套分布式的、可靠的,可容错的用于处理流式数据的系统。 2.Storm也是基于C/S架构来进行工作的,C负责将数据处理的方式的jar(Topology)发送给S,S解析C发送过来的jar(Topology),并按一定规则jar变成多个Task((Spout/Bolt)),生成相关的进程和线程运行里面的Task。 相关述语说明: 1.Topology(拓扑):storm中运行的一个实时应用程序(Storm的一个任务单元),因为各个组件间的消息流动形成逻辑上的...

0
0
发表于云计算专区
2014/06/23 09:17

Storm【技术文档】 - Storm的Acker机制

基本概念的解析 对于Storm,有一个相对比较重要的概念就是 "Guarantee no data loss" -- 可靠性 很明显,要做到这个特性,必须要tracker 每一个data的去向和结果,Storm是如何做到的 -》 那就是我们接下来要说的 Acker 机制,先概括下Acker所参与的工作流程 1 Spout 创建一个新的Tuple时候,会发射一个消息通知acker去跟踪; 2 Bolt 在处理Tuple成功或者失败的时候,也会发送一个消息通知Acker 3 Acker会好到发射该Tuple的Spout...

0
2
发表于云计算专区
2015/06/16 19:52

二、Storm入门之Hello Storm

本章我们将会创建一个Storm工程和我们的第一个Storm topology。 提示:下述假设你已经安装JRE1.6或者更高级版本。推荐使用Oracle提供的JRE:http://www.java.com/downloads/. 操作模式 在开始创建项目之前,了解Storm的操作模式(operation modes)是很重要的。Storm有两种运行方式: 本地模式 在本地模式下,Storm topologies 运行在本地机器的一个JVM中。因为本地模式下查看所有topology组件共同工作最为简单,所以这种模式被用...

0
1
发表了博客
2018/01/24 15:04

Storm 第二章 Storm安装

1 strom集群规划   Nimbus:hadoop1   zookeeper:hadoop2,hadoop3,hadoop4   supervisor:hadoop5,hadoop6,hadoop7   安装文件:apache-storm-1.0.0.tar 2 配置文件  storm.zookeeper.servers: - "hadoop2" - "hadoop3" - "hadoop4" nimbus.seeds: ["hadoop1"] supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 storm.local.dir: "/home/hadoop/storm-dir/"   sto...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了问答
2016/09/21 16:03

storm中task到底是什么?

storm中task到底是什么?它和组件(spout或bolt)的关系是什么?和tuple又是什么关系呢?

2
0
发表了问答
2015/11/26 17:06

storm的nimbus和supervisor线程自动crash

安装的是storm-0.8.1版本 启动之后,查看nimbus和supervisor的日志是正常的。 2015-11-26 01:58:05 ClientCnxn [INFO] Opening socket connection to server /9.119.123.145:2182 2015-11-26 01:58:05 ClientCnxn [INFO] Socket connection established to nnode.big/9.119.123.145:2182, initiating session 2015-11-26 01:58:05 ClientCnxn [INFO] Session establishment complete on server nnode.big/9.119.123.145:2182, s...

1
0
发表了问答
2016/11/03 10:23

Storm集群的监控,哪位大神有做过,求指点该怎么做?

Storm自身的UI只能反映storm在运行时的各个参数,但是不能实时去告警。 需要做一个监控storm运行情况的告警系统,若storm自身的nimbus、supervisor、worker在工作中挂掉了,可以检测出来并调用指定的发送邮件的接口(接口以及完成了)。 哪位大神有做过这个监控,跪求指点下。

1
0
发表了问答
2016/03/11 17:02

启动 apache storm 时提示“系统找不到文件 -Xmx1024m。”

在windows server 2012 r2 上运行 storm nimbus ,提示“系统找不到文件 -Xmx1024m。”这是什么问题?

1
0
发表了问答
2015/08/03 14:31

hadoop2.6 和storm 对比 ,哪个更好用

hadoop2.6 和storm 对比 ,哪个更好用

1
0
发表了问答
2014/12/08 09:50

怎么没有分布式的日志分析系统的介绍呢???

由于刚开始研究这块分布式日志系统的研究,还不是很熟悉,网上查了很多资料,了解一点知识,可是有没有讲解比较完全的一整套的分布式日志系统的介绍呢?就是flume+kafka+storm+hadoop实施实时和离线的日志分析,我看了一些文章说它们之间还需要做一些整合,貌似还需要写代码之类的,对于一个不懂java的人来说,这套日志分析系统是否合适呢?有没有那种部署完之后有web界面可以分析的功能!!! 请教了!!!!!...

1
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
3 评论
375 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部