Apache Falcon 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache Falcon 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache Falcon 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 大数据其他
开源组织 Apache
地区 不详
投 递 者 红薯
适用人群 未知
收录时间 2015-01-20

软件简介

Apache Falcon 提供了一个用于治理和编排 Hadoop 内部和周边数据流的数据处理框架。该框架为获取和处理数据集、复制与保留数据集、重新定向位于非Hadoop扩展中的数据集、维护审核跟踪与沿袭提供了关键性的管控框架。Knox拓展了Hadoop的安全边界,实现了与LDAP、用于证书管理的活动目录等框架进行了充分整合,为跨Hadoop和所有相关项目的授权提供了一个通用服务。

整体架构:

Feed Schedule flow

Process Schedule flow

展开阅读全文

评论 (1)

加载中
2016/11/04 14:55
回复
举报
更多评论
04/02 08:05

数据处理框架 Apache Falcon 宣布退役

经由 Apache Falcon 的提交者投票决定,Apache Falcon 正式退役。 Apache Falcon 是一个治理和编排 Hadoop 内部和周边数据流的数据处理框架,用于数据运动、数据管道的协调、生命周期管理和数据发现,帮助终端消费者能够在 Hadoop 集群上快速上手他们的数据及其相关的处理和管理任务。2015 年 1 月,Apache Falcon 成为 Apache 顶级项目。 然而,由于项目的不活跃,Apache Falcon 于 2019 年 6 月搬进了 “阁楼”(Attic),并于...

4
2
发表了资讯
2015/01/20 00:00

Apache 基金会宣布 Falcon 成为顶级项目

Apache 基金会宣布了 Apache Falcon 项目通过了孵化阶段,目前已经成为基金会的顶级项目。 新的项目网址:http://falcon.apache.org/ Apache Falcon 提供了一个用于治理和编排 Hadoop 内部和周边数据流的数据处理框架。该框架为获取和处理数据集、复制与保留数据集、重新定向位于非Hadoop扩展中的数据集、维护审核跟踪与沿袭提供了关 键性的管控框架。Knox拓展了Hadoop的安全边界,实现了与LDAP、用于证书管理的活动目录等框架进...

7
34
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2018/01/09 19:04

Falcon安装

1 安装需要准备: (1)Python2.7.9 下载地址:https://docs.continuum.io/anaconda/install (2)pypeFLOW https://github.com/pb-jchin/pypeFLOW (3)DAZZ_DB https://github.com/pb-jchin/DAZZ_DB.git (4)DALIGNER https://github.com/pb-jchin/DALIGNER.git (5) FALCON https://github.com/PacificBiosciences/FALCON 2 安装步骤 2.1 Anaconda的安装: 从上面的网址下载安装包2.2.0版本(对应的Python2.7.9) 然后sh运行, 点回车...

0
0
发表了博客
2019/08/16 10:46

falcon的api

一、判断session是否有效 # -*- coding: UTF-8 -*- #!/usr/bin/env python # Created by Administrator on 2017/12/15 import json import requests user = 'admin' sig = '1a7521abad6c11e9b4b3000c29a13d5d' domain = 'http://172.20.16.5:8080' api_token = '{"name":"' + user + '", "sig":"' + sig + '"}' directiry = "/api/v1/user/auth_session" print directiry falcon_header = { "Apitok...

0
0
发表于开发技能专区
2015/05/10 13:45

open-falcon

https://github.com/open-falcon

0
0
发表了博客
2018/08/02 18:38

open-falcon的falcon-log-agent日志监控

falcon-log-agent 简介 falcon-log-agent是一个开源版的日志采集工具,旨在从流式的日志中抓取、统计日志中的特征信息。 获取的特征信息,与开源版Open-Falcon监控系统打通。可用于业务指标的衡量、也可用于稳定性的建设。 Feature 准确可依赖:历经滴滴线上业务近一年考验,统计准确性高。 性能高、资源消耗可控:性能优化程度高,单核单策略可支撑日志分析:20W条/秒 接入成本低:外挂式采集,只需要标准化日志即可;输出数据直...

0
0
发表了博客
2018/08/07 14:39

open-falcon

之前看到了这个监控工具,在这里记录一下,相关的介绍以及基础操作在gitbook里都有介绍,链接如下 open-falcon

0
0
发表了博客
2013/12/26 11:24

Falcon安装

首先安装inotify-tools: 详细见 http://my.oschina.net/tuyang/blog/187462 安装完成后,照下面步骤: libiconv安装 http://ftp.gnu.org/pub/gnu/libiconv/libiconv-1.13.1.tar.gz # tar -zxvf libiconv-x.x.x.tar.gz # cd libiconv-x.x.x # ./configure --prefix=/usr/local # make # make install # make clean 然后按照falcon安装步骤: tar -zxvf falcon.tar.gz cd Release/ ./check.sh 看到以下信息证明程序编译环境准备就...

0
1
发表了博客
2018/03/11 21:34

【Open-Falcon】Linux下安装Open-Falcon

一、Open-Falcon组件简述 【Open-Falcon绘图相关组件】 Agent: 部署在目标机器采集机器监控项 Transfer : 数据接收端,转发数据到后端Graph和Judge Graph:操作rrd文件存储监控数据 Query:查询各个Graph数据,提供统一http查询接口 Dashboard:查询监控历史趋势图的web端 Task:负责一些定时任务,索引全量更新、垃圾索引清理、自身组件监控等 【Open-Falcon报警相关组件】 Sender :报警发送模块,控制并发度,提供发送的缓冲...

0
0
发表了博客
2019/07/15 14:42

falcon 监控

版权声明:转载请标明原文链接。 https://blog.csdn.net/happy_85/article/details/71302220 CPU.xxx cpu.idle cpu.idle表示除硬盘IO等待时间以外其它等待时间,这个值越大,表示cpu越空闲,还可以执行更多的任务,反之亦然,此处我们falcon展示的是idle的波动情况, cpu.busy 与cpu.idle相对,他的值等于100减去cpu.idle。 cpu.steal cpu.steal表示被同一宿主机上的其他vm所占用的超出指定cpu配额的程度,例如一台宿主机中每台...

0
1
发表了博客
2020/05/22 15:26

falcon-plus安装学习

安装步骤: https://www.cnblogs.com/straycats/p/7199209.html 结果: 地址 https://github.com/open-falcon/falcon-plus

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
1 评论
51 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部