多读书多实践,勤思考善领悟

Hbase过滤器详解

Hbase过滤器详解

一、HBase过滤器简介Hbase提供了种类丰富的过滤器(filter)来提高数据处理的效率,用户可以通过内置或自定义的过滤器来对数据进行过滤,所有的过滤器都在服务端生效,即谓词下推(predicate push down)。这样可以...

HBase Java API 的基本使用

HBase Java API 的基本使用

一、简述截至到目前(2019.04),HBase 有两个主要的版本,分别是1.x 和 2.x ,两个版本的Java API有所不同,1.x 中某些方法在2.x中被标识为@deprecated过时。所以下面关于API的样例,我会分别给出...

Hbase系统架构及数据结构

Hbase系统架构及数据结构

一、基本概念一个典型的Hbase Table 表如下: 1.1 Row Key (行键)Row Key是用来检索记录的主键。想要访问HBase Table中的数据,只有以下三种方式: 通过指定的Row Key进行访问; 通...

HBase简介

HBase简介

一、Hadoop的局限HBase是一个构建在Hadoop文件系统之上的面向列的数据库管理系统。 要想明白为什么产生HBase,就需要先了解一下Hadoop存在的限制?Hadoop可以通过HDFS来存储结构化、半结构甚至非结构化...

Storm集成Kafka

Storm集成Kafka

一、整合说明Storm官方对Kafka的整合分为两个版本,官方说明文档分别如下: Storm Kafka Integration : 主要是针对0.8.x版本的Kafka提供整合支持; Storm Kafka Integration...

Storm集成HDFS和HBase

Storm集成HDFS和HBase

一、Storm集成HDFS1.1 项目结构 本用例源码下载地址:storm-hdfs-integration 1.2 项目主要依赖项目主要依赖如下,有两个地方需要注意: 这里由于我服务器上安装的是CDH版本的Hadoop,...

Storm集成Redis详解

Storm集成Redis详解

一、简介Storm-Redis提供了Storm与Redis的集成支持,你只需要引入对应的依赖即可使用: 123456<dependency> <groupId>org.apache.storm</g...

Storm三种打包方式对比分析

Storm三种打包方式对比分析

一、简介在将Storm Topology提交到服务器集群运行时,需要先将项目进行打包。本文主要对比分析各种打包方式,并将打包过程中需要注意的事项进行说明。主要打包方式有以下三种: 第一种:不加任何插件,直接使用mvn package...

Storm编程模型

Storm编程模型

一、简介下图为Strom的运行流程图,在开发Storm流处理程序时,我们需要采用内置或自定义实现spout(数据源)和bolt(处理单元),并通过TopologyBuilder将它们之间进行关联,形成Topology。 二、I...

Storm核心概念详解

Storm核心概念详解

一、Storm核心概念 1.1 Topologies(拓扑)一个完整的Storm流处理程序被称为Storm topology(拓扑)。它是一个是由Spouts 和Bolts通过Stream连接起来的有向无环图,Storm会保持...