多读书多实践,勤思考善领悟

大数据hadoop之 十五.Hive1.1.1的安装

大数据hadoop之 十五.Hive1.1.1的安装

Hive的安装-MySQL作为元数据库 安装JDK-略过 安装Hadoop-略过 安装Mysql-略过 1. 建立Hive数据库,用户,赋予权限1234567#mysql虚拟机的默认密码,在我做试验的时候是123456#mysql ...

大数据hadoop之 十四.Hive原理解析

大数据hadoop之 十四.Hive原理解析

一 Hive介绍即使像Hadoop这样强大的工具,也不能满足每个人的需求,许多项目如雨后春笋般涌现出来,为特定的扩展了Hadoop,那些比较突出的并且得到很好维护的项目已经正式成为Apache Hadoop项目下的子项目.Hive是H...

大数据hadoop之 十三.Ambari集群管理

大数据hadoop之 十三.Ambari集群管理

Ambari简介Ambari概述Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件,Hadoop 整个生态圈包括HDFS、MapReduce...

大数据hadoop之 十二.SSH免密钥登录

大数据hadoop之 十二.SSH免密钥登录

一 生产环境描述正常情况下,我们需要连上SSH的控制台输入用户名及其密码才行。如果两者全部正确,我们就可以访问,反之访问被服务端拒绝。不过相比而言还有一种比用密码更安全的登录方式,我们可以在登录SSH时通过加密密钥进行无密码登录。 如...

大数据hadoop之 十一.组件HDFS

大数据hadoop之 十一.组件HDFS

HDFS常用Shell命令HDFS文件操作       HDFS是一种文件系统,专为MapReduce这类框架下的大规模分布式数据处理而设计,你可以把一个大数据集(比如说100TB)在HDFS中...

大数据hadoop之 九.Hadoop的伪分布式搭建

大数据hadoop之 九.Hadoop的伪分布式搭建

一 JDK的安装 下载JDK安装包,建议去Oracle官方下载,地址自行百度 下载Hadoop2.6的安装包,建议官方下载,地址自行百度 如果是在Windows端进行终端操作,建议使用XFTP与XShell,有Free版本 之后用XF...

大数据hadoop之 八.Hadoop部署技术选型

大数据hadoop之 八.Hadoop部署技术选型

一、背景介绍生产环境中,hadoop的版本选择是一个公司架构之时,很重要的一个考虑因素。 Apache Hadoop:Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在...

大数据hadoop之 七.hadoop生态圈介绍

大数据hadoop之 七.hadoop生态圈介绍

1. hadoop 生态概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 具有可靠、高效、可伸缩的特点。 Hadoo...

大数据hadoop之 六.Hadoop原理漫画

大数据hadoop之 六.Hadoop原理漫画

HDFS存储原理1. 发送写数据请求 2. 文件切分 3. DN分配 4. 数据写入 5. 完成写入 6. 用户读文件 7. 下载数据 8. HDFS容错机制 9. 节点监测机制 10. 写容错 11. 读容错 12. DN失效 13...