多读书多实践,勤思考善领悟

Azkaban Flow 2.0的使用

Azkaban Flow 2.0的使用

一、Flow 2.0 简介1.1 Flow 2.0 的产生Azkaban 目前同时支持 Flow 1.0 和 Flow2.0 ,但是官方文档上更推荐使用Flow 2.0,因为Flow 1.0会在将来的版本被移除。Flow 2.0的主要...

Azkaban Flow 1.0 的使用

Azkaban Flow 1.0 的使用

一、简介Azkaban主要通过界面上传配置文件来进行任务的调度。它有两个重要的概念: Job: 你需要执行的调度任务; Flow:一个获取多个Job及它们之间的依赖关系所组成的图表叫做Flow。 目前 Azkaban 3.x 同时...

Azkaban简介

Azkaban简介

一、Azkaban 介绍1.1 背景一个完整的大数据分析系统,必然由很多任务单元(如数据收集、数据清洗、数据存储、数据分析等)组成,所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题: 如何定时调度某...

Azkaban编译及部署

Azkaban编译及部署

一、Azkaban 源码编译1.1 下载并解压Azkaban 在3.0版本之后就不提供对应的安装包,需要自己下载源码进行编译。 下载所需版本的源码,Azkaban的源码托管在GitHub上,地址为https://github.com/...