Apache Airflow

Airflow 被 Airbnb 内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用 Python 编写的平台上运行(目前加入 Apache 基金会孵化器)。 Airflow 允许工作流开发人员轻松创建、维护和周期性地调度运行工作流(即有向无环图或成为DAGs)的工具。在Airbnb中,这些工作流包括了如数据存储、增长分析、Email发送、A/B测试等等这些跨越多部门的用例。这个平台拥有和 Hive、Presto、MySQL、HDFS、Postgres和S3交互的能力,并...

相关文章

加载中

[博客] airflow

https://my.oschina.net/u/4319329/blog/4231311

教程:https://airflow.apache.org/docs/stable/index.html 官网: http://airflow.incubator.apache.org/index.html airflow源码:https://github.com/apache/incubator-airflow 参考资料:...

2018/02/07 00:00

[博客] airflow

https://my.oschina.net/u/3371661/blog/3120759

该博客属于私人博客,由于作者设置了权限,您没法阅读此文,请与作者联系。

2019/10/22 00:00

[博客] airflow 笔记

https://my.oschina.net/u/4341165/blog/3851511

首先是一个比较好的英文网站,可能要fq:http://site.clairvoyantsoft.com/installing-and-configuring-apache/ ======================================================== py3venv...

2018/08/28 00:00

[博客] airflow的安装

https://my.oschina.net/u/4324157/blog/4202056

1.环境准备 1.1 安装环境 1.2 创建用户 2.安装airflow 2.1 安装python 2.2 安装pip 2.3 安装数据库 2.4 安装airflow 2.4.1 安装主模块 2.4.2 安装数据库模块、密码模块 2.5 配置airflown 2....

2018/01/12 00:00

[博客] airflow 记录

https://my.oschina.net/u/4212431/blog/3106635

该博客属于私人博客,由于作者设置了权限,您没法阅读此文,请与作者联系。

2019/09/16 00:00

[博客] 【异常】lockfile.AlreadyLocked: ~/airflow/airflow-scheduler.pid is already locked

https://my.oschina.net/u/4396177/blog/3476125

1 完整异常信息 File "/usr/bin/airflow", line 32, in File "/usr/lib/python2.7/site-packages/airflow/utils/cli.py", line 74, in wrapper File "/usr/lib/python2.7/site-packages/airf...

2019/07/04 00:00

[博客] airflow笔记

https://my.oschina.net/u/4408350/blog/4244957

官网:http://airflow.incubator.apache.org/project.html Here we pass a string that defines the dagid, which serves as a unique identifier for your DAG. The first argument taskid ...

2018/02/27 00:00

[博客] airflow介绍

https://my.oschina.net/u/4257851/blog/3461376

1. airflow 介绍 1.1 airflow 是什么 Airflow is a platform to programmatically author, schedule and monitor workflows. airflow 是一个编排、调度和监控workflow的平台,由Airbnb开源,...

2019/07/17 00:00

[博客] AirFlow-Install

https://my.oschina.net/u/2306127/blog/1843512

AirFlow-Installation https://airflow.incubator.apache.org/installation.html Getting Airflow The easiest way to install the latest stable version of Airflow is with : pip install...

2018/07/10 00:00

[博客] 安装airflow

https://my.oschina.net/u/4290481/blog/3373928

1. 设置环境变量 2.pip install apache==1.10.5 3.修改airflow.cfg 配置 注释默认的DB 配置,设置为mysql DB url,在MySQL中 新建数据库 airflow 4. airflow initdb 如果报错 Module...

2019/10/12 00:00

[博客] AirFlow-Tutorial

https://my.oschina.net/u/2306127/blog/1843515

AirFlow-Tutorial https://airflow.incubator.apache.org/tutorial.html This tutorial walks you through some of the fundamental Airflow concepts, objects, and their usage while writ...

2018/07/10 00:00

[博客] Scheduler(Airflow)

https://my.oschina.net/u/98127/blog/1838566

airflow

2018/07/02 00:00

[博客] AirFlow简介

https://my.oschina.net/u/4263245/blog/3860611

1, 简介 Airflow是一个可编程,调度和监控的工作流平台,基于有向无环图(DAG),airflow可以定义一组有依赖的任务,按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控,而其web管...

2018/08/19 00:00

[博客] airflow docker

https://my.oschina.net/u/4395983/blog/4247338

https://github.com/puckel/docker-airflow 镜像介绍:https://hub.docker.com/r/puckel/docker-airflow/ FROM puckel/docker-airflow:1.8.1 MAINTAINER zhangchunyang@goldwind.com USER 0...

2018/03/01 00:00

[博客] airflow部署

https://my.oschina.net/u/4390999/blog/3419090

官网: http://airflow.apache.org/installation.html https://github.com/apache/airflow 原理: https://www.cnblogs.com/cord/p/9450910.html 安装: https://www.cnblogs.com/cord/p/922660...

2019/08/21 00:00

[博客] airflow 简介

https://my.oschina.net/u/4410118/blog/3344833

转载:https://zhuanlan.zhihu.com/p/36043468 简介 Apache 是Airbnb开源的一款数据流程工具,目前是Apache孵化项目。以非常灵活的方式来支持数据的ETL过程,同时还支持非常多的插件...

2019/11/19 00:00

[博客] Airflow速用

https://my.oschina.net/u/4319036/blog/3248859

AirflowApache用python编写的,用到了 flask框架及相关插件,rabbitmq,celery等(windows不兼容);、 主要实现的功能 编写 定时任务,及任务间的编排; 提供了web界面 可以手动触发任务,分...

04/16 00:00

[博客] Airflow速用

https://my.oschina.net/u/4289498/blog/3358688

AirflowApache用python编写的,用到了 flask框架及相关插件,rabbitmq,celery等(windows不兼容);、 主要实现的功能 编写 定时任务,及任务间的编排; 提供了web界面 可以手动触发任务,分...

2019/10/30 00:00

[博客] Airflow教程-使用Airflow实现ETL调度

https://my.oschina.net/u/4397674/blog/3446237

一、Airflow是什么 airflow 是一个编排、调度和监控workflow的平台,由Airbnb开源,现在在Apache Software Foundation 孵化。airflow 将workflow编排为由tasks组成的DAGs(有向无环图),调度器...

2019/07/30 00:00

[博客] Airflow在Kubernetes上的操作器

https://my.oschina.net/u/2306127/blog/1841937

Airflow在Kubernetes (第一部分): 一种不同类型的Operator 作者: Daniel Imberman (Bloomberg LP) 译者:openthings,2019.02.26. 原文:https://kubernetes.io/blog/2018/06/28/airflow-on-...

2018/07/07 00:00
返回顶部
顶部