Hadoop 数据管理平台 Apache Falcon

Hadoop 数据管理平台 Apache Falcon

Apache
Java
跨平台
Apache
2015-01-20
红薯

Apache Falcon 提供了一个用于治理和编排 Hadoop 内部和周边数据流的数据处理框架。该框架为获取和处理数据集、复制与保留数据集、重新定向位于非Hadoop扩展中的数据集、维护审核跟踪与沿袭提供了关键性的管控框架。Knox拓展了Hadoop的安全边界,实现了与LDAP、用于证书管理的活动目录等框架进行了充分整合,为跨Hadoop和所有相关项目的授权提供了一个通用服务。

整体架构:

Feed Schedule flow

Process Schedule flow

加载中

评论(1)

Apache 基金会宣布 Falcon 成为顶级项目

Apache 基金会宣布了 Apache Falcon 项目通过了孵化阶段,目前已经成为基金会的顶级项目。 新的项目网址:http://falcon.apache.org/ Apache Falcon 提供了一个用于治理和编排 Hadoop 内部和...

2015/01/20 08:03

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

Apache Falcon数据集管理和数据处理平台

jopen 4年前发布 | 67K 次阅读 分布式/云计算/大数据 Apache Falcon Apache Falcon 是一个面向Hadoop的、新的数据处理和管理平台,设计用于数据移动、数据管道协调、生命周期管理和数据发现。...

05/24 16:58
77
0
大数据生命周期管理框架Apache Falcon简介

Apache Falcon是一个开源的hadoop数据生命周期管理框架, 它提供了数据源 (Feed) 的管理服务,如生命周期管理,备份,存档到云等,通过Web UI可以很容易地配置这些预定义的策略, 能够大大简化had...

06/20 16:41
151
0
Open-Falcon监控系统安装和使用

0. 运维监控工具选择 1. 安装脚本(主服务) 常规安装环境搭建太复杂, dashboard安装碰到python依赖不容易解决, 直接使用docker安装, 这里总结除了一个安装 shell script, 如下: #!/bin/sh ## ...

2018/12/26 18:19
207
0
golang toolkits包的使用方法介绍

在查看 open-falcon 项目源码时,经常会看到其引用了一个类库 https://github.com/toolkits ,而仔细查看该类库的作者为秦晓辉(UlricQin)--- 原Open-Falcon主程,现滴滴云运维负责人 。所以...

2018/12/18 21:50
144
0
开源工具推荐Open-Falcon

以下来源于网络 前言 监控系统,可以从运营级别(基本配置即可),以及应用级别(二次开发,通过端口进行日志上报),对服务器、操作系统、中间件、应用进行全面的监控,及报警,对我们的系统...

2018/09/06 14:45
496
0
golang toolkits包的使用方法介绍

在查看 open-falcon 项目源码时,经常会看到其引用了一个类库 https://github.com/toolkits ,而仔细查看该类库的作者为秦晓辉(UlricQin)--- 原Open-Falcon主程,现滴滴云运维负责人 。所以...

2018/12/18 11:12
43
0
MongoDB的sharding功能

MongoDB的auto-sharding功能是指mongodb通过mongos自动建立一个水平扩展的数据库集群系统,将数据库分表存储在sharding的各个节点上。 一个mongodb集群包括一些shards(包括一些mongod进程)...

2013/09/09 21:40
182
0
运维监控工具选择

1. 参考资料 详解十三款运维监控工具 (2017年08月17日) 开源IT监控系统对比 (2014年9月15日) 2. 选择结果-- open-falcon 理由 国内开源(小米) 文档完整 插件扩展 开源背景决定其更考虑互联网...

2018/12/24 11:40
100
0
数据库监控——mymon

mymon(MySQL-Monitor) 是Open-Falcon用来监控MySQL数据库运行状态的一个插件,采集包括global status, global variables, slave status以及innodb status等MySQL运行状态信息。 安装和配置(...

2018/09/17 15:30
498
0
元数据治理 Apache Atlas

Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括 数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能...

06/20 18:45
314
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部