多读书多实践,勤思考善领悟

大数据hadoop之 五.Hadoop的一些基本概念

大数据hadoop之 五.Hadoop的一些基本概念

一. Hadoop的构建模块 NameNode(名字节点) DataNode(数据节点) Secondary NameNode(次名字节点) JobTracker(作业跟踪节点) TaskTracker(任务跟踪节点) 1. HDF...

大数据hadoop之 四.Hadoop是什么?

大数据hadoop之 四.Hadoop是什么?

Hadoop是什么? Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS(文件系统,数据存储技术相关)+ M...

大数据hadoop之 三.结构化数据与非结构化数据

大数据hadoop之 三.结构化数据与非结构化数据

结构化数据与非结构化数据       相对于结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式...

大数据hadoop之 二.云计算技术

大数据hadoop之 二.云计算技术

云计算技术:首先让大家明白什么是云端,所谓云端需要两层理解 服务不在本地,这一层可以理解为服务器 它和普通的服务器是不一样的,这些云端的服务器的资源是共享的,一旦一个服务器不能承受,将会把任务分配给其他机器。 云技术与其他技术的区别...

大数据hadoop之 一.云计算概念

大数据hadoop之 一.云计算概念

概述大家知道什么叫做云计算吗?事实上,目前并没有一个确定的定义。然而概括来讲,所谓的云计算,指的就是把你的软件和服务统一部署在数据中心,统一管理,从而实现高伸缩性。 云计算具有以下特性: 虚拟化和自动化 服务器,存储介质,网络等资源都...

kubernetes监控组件Metrics Server安装

kubernetes监控组件Metrics Server安装

kubernetes 集群资源监控之前可以通过 heapster 来获取数据,在 1.11 开始开始逐渐废弃 heapster 了,采用 metrics-server 来代替,metrics-server 是集群的核心监控数据的聚合器...

Jenkins Pipeline脚本Groovy语言使用说明

Jenkins Pipeline脚本Groovy语言使用说明

Jenkins 官方文档去查看资料的时候发现并非如此简单,无论是声明式还是脚本式的 Pipeline 都依赖了 Groovy 脚本,所以如果要很好的掌握 Pipeline 脚本的用法,我们非常有必要去了解下 Groovy 语言。 什么...

通常排查Kubernetes网络故障的方法

通常排查Kubernetes网络故障的方法

网络可以说是 Kubernetes 部署和使用过程中最容易出问题的了,最主要的是对网络技术非常熟悉的人员相对较少,和 Kubernetes 结合后能搞透彻网络这块的就更加稀少了,导致我们在部署使用过程中经常遇到一些网络问题。本文将重点...

kubernetes CI/CD建设之 八.Devops

kubernetes CI/CD建设之 八.Devops

接上文: kubernetes CI/CD建设之 七.Gitlab CI与Kubernetes结合 现在结合前面所学的知识点给大家介绍一个完整的示例:使用 Jenkins + Gitlab + Harbor + Helm + Kub...