多读书多实践,勤思考善领悟

Flink DataStream API使用

Flink DataStream API使用

从头开始,从设置Flink项目到在Flink集群上运行流分析程序。 Wikipedia提供了一个IRC频道,其中记录了对Wiki的所有编辑。我们将在Flink中读取此通道,并计算每个用户在给定时间窗口内编辑的字节数。这很容易使用Fli...

Flink命令行界面

Flink命令行界面

Flink提供命令行界面(CLI)来运行打包为JAR文件的程序,并控制它们的执行。CLI是任何Flink设置的一部分,可在本地单节点设置和分布式设置中使用。它位于<flink-home>/bin/flink 默认情况下,并...

Flink完整配置

Flink完整配置

对于单节点设置,Flink已准备好开箱即用,您无需更改默认配置即可开始使用. 开箱即用的配置将使用您的默认Java安装.您可以手动设置环境变量JAVA_HOME或配置项env.java.home中conf/flink-conf.yam...

Flink高可用集群部署

Flink高可用集群部署

JobManager高可用性(HA)JobManager协调每个Flink部署。它负责调度和资源管理。 默认情况下,每个Flink群集都有一个JobManager实例。这会产生单点故障(SPOF):如果JobManager崩溃,则无法...

Flink集群部署

Flink集群部署

独立群集此页面提供有关如何在静态(但可能是异构)集群上以完全分布式方式运行Flink的说明。 要求软件要求Flink可在所有类UNIX环境中运行,例如Linux,Mac OS X和Cygwin(适用于Windows),并期望集群由一个...

Flink本地安装

Flink本地安装

Flink可在Linux,Mac OS X和Windows上运行。为了能够运行Flink,唯一的要求是安装一个有效的Java 8.x. 在Linux,Mac OS X上设置:下载并启动Flink您可以通过发出以下命令来检查Java正...

Flink内部原理

Flink内部原理

一、组件堆栈作为软件堆栈,Flink是一个分层系统。堆栈的不同层构建在彼此之上,并提高它们接受的程序表示的抽象级别: 在运行时层中的形式接收节目JobGraph。JobGraph是一个通用的并行数据流,具有消耗和生成数据流的任意任务...

Flink概念

Flink概念

一、数据流编程模型抽象层次Flink提供不同级别的抽象来开发流/批处理应用程序。 最低级抽象只提供有状态流。它 通过Process Function(过程函数)嵌入到DataStream API(流式传输)中。它允许用户自由处理来...

Flink介绍

Flink介绍

一、Flink介绍既然有了Apache Spark,为什么还要使用Apache Flink? 因为Flink是一个纯流式计算引擎,而类似于Spark这种微批的引擎,只是Flink流式引擎的一个特例。 Flink是一款分布式的计算引擎,...