云计算 云计算概念 云计算技术 大数据 大数据学习路线 hadoop生态圈介绍 大数据技术栈思维导图 Hadoop部署技术选型 大数据常用软件安装指南 一、Hadoop 分布式文件存储系统——HDFS 分布式计算框...

SQL是数据处理中使用最广泛的语言。它允许用户简明扼要地声明他们的业务逻辑。大数据批计算使用SQL很常见，但是支持SQL的实时计算并不多。Apache Flink是一款同时支持批和流计算的引擎，Flink SQL的实现完全遵循ANSI...

一. 什么是Table API1.1 Flink API总览首先：flink根据使用的便捷性提供了三种API，自下而上是： Table API & SQL 声明行：用户只关心做什么，不用关心怎么做 高性能：支持性能优化，...

本文主要内容如下： 有状态的流数据处理； Flink中的状态接口； 状态管理和容错机制实现； 一、有状态的流数据处理1.1 什么是有状态的计算计算任务的结果不仅仅依赖于输入，还依赖于它的当前状态，其实大多数的计算都是有状态的...

1、 Window & Time 介绍Apache Flink（以下简称 Flink） 是一个天然支持无限流数据处理的分布式计算框架，在 Flink 中 Window 可以将无限流切分成有限流，是处理有限流的核心组件，现在 F...

Flink附带了一个集成的交互式Scala Shell。它可以在本地设置和群集设置中使用。 要将shell与集成的Flink集群一起使用，只需执行： 1bin/start-scala-shell.sh local 在二进制Flink目...

1. 概要如下图所示，Flink 提供了丰富的客户端操作来提交任务和与任务进行交互，包括 Flink 命令行，Scala Shell，SQL Client，Restful API 和 Web。Flink 首先提供的最重要的是命令行，其...

1. 流处理基本概念对于什么是流处理，从不同的角度有不同的定义。其实流处理与批处理这两个概念是对立统一的，它们的关系有点类似于对于 Java 中的 ArrayList 中的元素，是直接看作一个有限数据集并用下标去访问，还是用迭代器去访...

本文主要内容包括： Flink 开发环境的部署和配置 运行 Flink 应用（包括：单机 Standalone 模式、多机 Standalone 模式和 Yarn 集群模式） 一、Flink 开发环境部署和配置Flink 是一个以...

一、Apache Flink 的定义、架构及原理Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算。 1. Flink A...