一、安装Spark1.1 下载并解压官方下载地址：http://spark.apache.org/downloads.html ，选择Spark版本和对应的Hadoop版本后再下载： 解压安装包： 12# tar -zxvf ...

一、高可用简介Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceMan...

一、集群规划这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManager服务，但只有hadoop001上部署NameNode和ResourceManager服务。 二、前置条件Hadoop的...

一、前置条件Hadoop的运行依赖JDK，需要预先安装，安装步骤见： Linux下JDK的安装 二、配置免密登录Hadoop组件之间需要基于SSH进行通讯。 2.1 配置映射配置ip地址和主机名映射： 1234vim /etc/h...

一、虚拟机静态IP配置1. 编辑网络配置文件1# vim /etc/sysconfig/network-scripts/ifcfg-enp0s3 添加如下网络配置： IPADDR需要和宿主机同一个网段； GATEWAY保持和宿主机一...

Linux下Python安装 系统环境：centos 7.6 Python版本：Python-3.6.8 1. 环境依赖Python3.x的安装需要依赖这四个组件：gcc， zlib，zlib-devel，openssl-devel...

Linux下JDK的安装 系统环境：centos 7.6 JDK版本：jdk 1.8.0_20 1. 下载并解压在官网下载所需版本的JDK，这里我下载的版本为JDK 1.8 ,下载后进行解压： 1[root@ java]# tar ...

Bootstrapping： Kickstart、Cobbler、rpmbuild/xen、kvm、lxc、 Openstack、 Cloudstack、Opennebula、Eucalyplus、RHEV 配置类工具: Capist...

一. 操作系统 Linux操作系统（检查操作系统版本号） Linux操作系统概述 安装Linux操作系统 CentOS、Ubuntu Linux Shell相关工具的使用 Xshell、Xftp Linux图形界面、字...

Hadoop Apache Tez – 它是一个针对Hadoop数据处理应用程序的新分布式执行框架，该框架基于YARN； SpatialHadoop – SpatialHadoop是Apache Hadoop的MapReduce扩展，...