一、Hive CLI1.1 Help使用hive -H或者 hive --help命令可以查看所有命令的帮助，显示如下： 12345678910111213usage: hive -d,--define <key=value&g...

一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。 特点： 简单、容易上手(提供了类...

一、 简介想要使用HDFS API，需要导入依赖hadoop-client。如果是CDH版本的Hadoop，还需要额外指明其仓库地址： 1234567891011121314151617181920212223242526272829...

HDFS文件操作       HDFS是一种文件系统,专为MapReduce这类框架下的大规模分布式数据处理而设计,你可以把一个大数据集(比如说100TB)在HDFS中存储为单个文件,而大多数其...

一、hadoop yarn 简介Apache YARN (Yet Another Resource Negotiator) 是hadoop 2.0 引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地...

一、MapReduce概述Hadoop MapReduce是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集。 MapReduce作业通过将输入的数据集拆分为独立的块，这些...

一、介绍HDFS （Hadoop Distributed File System）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 二、HDFS 设计原理 2.1 HDFS 架构HDFS ...

大数据学习路线一、大数据处理流程 上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解： 1.1 数据收集大数据处理的第一步是数...

大数据常用软件安装指南为方便大家查阅，软件的安装方式单独整理如下： 一、基础软件安装 Linux环境下JDK安装 Linux环境下Python安装 虚拟机静态IP及多IP配置 二、Hadoop Hadoop单机环境搭建 Hadoop...