多读书多实践,勤思考善领悟

Flink SQL编程

Flink SQL编程

SQL是数据处理中使用最广泛的语言。它允许用户简明扼要地声明他们的业务逻辑。大数据批计算使用SQL很常见,但是支持SQL的实时计算并不多。Apache Flink是一款同时支持批和流计算的引擎,Flink SQL的实现完全遵循ANSI...

Flink Table API编程

Flink Table API编程

一. 什么是Table API1.1 Flink API总览首先:flink根据使用的便捷性提供了三种API,自下而上是: Table API & SQL 声明行:用户只关心做什么,不用关心怎么做 高性能:支持性能优化,...

Flink状态管理和容错机制介绍

Flink状态管理和容错机制介绍

本文主要内容如下: 有状态的流数据处理; Flink中的状态接口; 状态管理和容错机制实现; 一、有状态的流数据处理1.1 什么是有状态的计算计算任务的结果不仅仅依赖于输入,还依赖于它的当前状态,其实大多数的计算都是有状态的...

Flink Time & Window深度解析

Flink Time & Window深度解析

1、 Window & Time 介绍Apache Flink(以下简称 Flink) 是一个天然支持无限流数据处理的分布式计算框架,在 Flink 中 Window 可以将无限流切分成有限流,是处理有限流的核心组件,现在 F...

Flink Scala REPL

Flink Scala REPL

Flink附带了一个集成的交互式Scala Shell。它可以在本地设置和群集设置中使用。 要将shell与集成的Flink集群一起使用,只需执行: 1bin/start-scala-shell.sh local 在二进制Flink目...

Flink客户端操作的五种模式

Flink客户端操作的五种模式

1. 概要如下图所示,Flink 提供了丰富的客户端操作来提交任务和与任务进行交互,包括 Flink 命令行,Scala Shell,SQL Client,Restful API 和 Web。Flink 首先提供的最重要的是命令行,其...

Flink DataStream API编程

Flink DataStream API编程

1. 流处理基本概念对于什么是流处理,从不同的角度有不同的定义。其实流处理与批处理这两个概念是对立统一的,它们的关系有点类似于对于 Java 中的 ArrayList 中的元素,是直接看作一个有限数据集并用下标去访问,还是用迭代器去访...

Flink开发环境搭建、集群环境搭建和应用部署

Flink开发环境搭建、集群环境搭建和应用部署

本文主要内容包括: Flink 开发环境的部署和配置 运行 Flink 应用(包括:单机 Standalone 模式、多机 Standalone 模式和 Yarn 集群模式) 一、Flink 开发环境部署和配置Flink 是一个以...

Flink基础概念

Flink基础概念

一、Apache Flink 的定义、架构及原理Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速计算。 1. Flink A...

Flink批处理示例(java和Scala)

Flink批处理示例(java和Scala)

以下示例程序展示了Flink的不同应用程序,从简单的字数统计到图形算法。代码示例说明了Flink的DataSet API的使用。 可以在Flink源存储库的flink-examples-batch模块中找到以下和更多示例的完整源代码。...