多读书多实践,勤思考善领悟

Flink集群部署

Flink集群部署

独立群集此页面提供有关如何在静态(但可能是异构)集群上以完全分布式方式运行Flink的说明。 要求软件要求Flink可在所有类UNIX环境中运行,例如Linux,Mac OS X和Cygwin(适用于Windows),并期望集群由一个...

Flink本地安装

Flink本地安装

Flink可在Linux,Mac OS X和Windows上运行。为了能够运行Flink,唯一的要求是安装一个有效的Java 8.x. 在Linux,Mac OS X上设置:下载并启动Flink您可以通过发出以下命令来检查Java正...

Flink内部原理

Flink内部原理

一、组件堆栈作为软件堆栈,Flink是一个分层系统。堆栈的不同层构建在彼此之上,并提高它们接受的程序表示的抽象级别: 在运行时层中的形式接收节目JobGraph。JobGraph是一个通用的并行数据流,具有消耗和生成数据流的任意任务...

Flink概念

Flink概念

一、数据流编程模型抽象层次Flink提供不同级别的抽象来开发流/批处理应用程序。 最低级抽象只提供有状态流。它 通过Process Function(过程函数)嵌入到DataStream API(流式传输)中。它允许用户自由处理来...

Flink介绍

Flink介绍

一、Flink介绍既然有了Apache Spark,为什么还要使用Apache Flink? 因为Flink是一个纯流式计算引擎,而类似于Spark这种微批的引擎,只是Flink流式引擎的一个特例。 Flink是一款分布式的计算引擎,...

jira使用教程

jira使用教程

介绍Jira是Atlassian公司出品的一款事务管理软件。无论是“需求”,还是“BUG”,或是“任务”,都是“事务”的一种,所以Jira可以胜任非常多的角色:需求管理、缺陷跟踪、任务管理等等……因为Jira提供了专门的Scrum视图...

大数据hadoop应用常用打包方式

大数据hadoop应用常用打包方式

一、简介在提交大数据作业到集群上运行时,通常需要先将项目打成JAR包。这里以Maven为例,常用打包方式如下: 不加任何插件,直接使用mvn package打包; 使用maven-assembly-plugin插件; 使用maven...

Scala隐式转换和隐式参数

Scala隐式转换和隐式参数

一、隐式转换1.1 使用隐式转换隐式转换指的是以implicit关键字声明带有单个参数的转换函数,它将值从一种类型转换为另一种类型,以便使用之前类型所没有的功能。示例如下: 12345678910111213141516171819/...

Scala类型参数

Scala类型参数

一、泛型Scala支持类型参数化,使得我们能够编写泛型程序。 1.1 泛型类Java中使用<>符号来包含定义的类型参数,Scala则使用[]。 123class Pair[T, S](val first: T, val s...