一、介绍HDFS （Hadoop Distributed File System）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 二、HDFS 设计原理 2.1 HDFS 架构HDFS ...

大数据学习路线一、大数据处理流程 上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解： 1.1 数据收集大数据处理的第一步是数...

大数据常用软件安装指南为方便大家查阅，软件的安装方式单独整理如下： 一、基础软件安装 Linux环境下JDK安装 Linux环境下Python安装 虚拟机静态IP及多IP配置 二、Hadoop Hadoop单机环境搭建 Hadoop...

一、Zookeeper集群搭建为保证集群高可用，Zookeeper集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。 1.1 下载 & 解压下载对应版本Zookeeper，这里我下载的版本3.4.14。官...

一、单机环境搭建1.1 下载下载对应版本Zookeeper，这里我下载的版本3.4.14。官方下载地址：https://archive.apache.org/dist/zookeeper/ 1# wget https://archiv...

一、安装Hive1.1 下载并解压下载所需版本的Hive，这里我下载版本为cdh5.15.2。下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 12# 下载后进行解压 tar -zxvf hiv...

一、Azkaban 源码编译1.1 下载并解压Azkaban 在3.0版本之后就不提供对应的安装包，需要自己下载源码进行编译。 下载所需版本的源码，Azkaban的源码托管在GitHub上，地址为https://github.com/...

一、前置条件Flume需要依赖JDK 1.8+，JDK安装方式见本仓库： Linux环境下JDK安装 二 、安装步骤2.1 下载并解压下载所需版本的Flume，这里我下载的是CDH版本的Flume。下载地址为：http://arc...

一、集群规划这里搭建一个3节点的HBase集群，其中三台主机上均为Regin Server。同时为了保证高可用，除了在hadoop001上部署主Master服务外，还在hadoop002上部署备用的Master服务。Master服务由...