多读书多实践,勤思考善领悟

Zookeeper ACL权限控制

Zookeeper ACL权限控制

一、前言为了避免存储在Zookeeper上的数据被其他程序或者人为误修改,Zookeeper提供了ACL(Access Control Lists)进行权限控制。只有拥有对应权限的用户才可以对节点进行增删改查等操作。下文分别介绍使用原...

Zookeeper Java 客户端 ——Apache Curator

Zookeeper Java 客户端 ——Apache Curator

一、基本依赖Curator是Netflix公司开源的一个Zookeeper客户端,目前由Apache进行维护。与Zookeeper原生客户端相比,Curator的抽象层次更高,功能也更加丰富,是目前Zookeeper使用范围最广的Ja...

Zookeeper常用Shell命令

Zookeeper常用Shell命令

一、节点增删改查1.1 启动服务和连接服务12345# 启动服务bin/zkServer.sh start#连接服务 不指定服务地址则默认连接到localhost:2181zkCli.sh -server hadoop001:2181...

Zookeeper简介及核心概念

Zookeeper简介及核心概念

一、Zookeeper简介Zookeeper是一个开源的分布式协调服务,目前由Apache进行维护。Zookeeper可以用于实现分布式系统中常见的发布/订阅、负载均衡、命令服务、分布式协调/通知、集群管理、Master选举、分布式锁...

基于Zookeeper搭建Kafka高可用集群

基于Zookeeper搭建Kafka高可用集群

一、Zookeeper集群搭建为保证集群高可用,Zookeeper集群的节点数最好是奇数,最少有三个节点,所以这里搭建一个三个节点的集群。 1.1 下载 & 解压下载对应版本Zookeeper,这里我下载的版本3.4.14。官...

Zookeeper单机环境和集群环境搭建

Zookeeper单机环境和集群环境搭建

一、单机环境搭建1.1 下载下载对应版本Zookeeper,这里我下载的版本3.4.14。官方下载地址:https://archive.apache.org/dist/zookeeper/ 1# wget https://archiv...

基于ZooKeeper搭建Spark高可用集群

基于ZooKeeper搭建Spark高可用集群

一、集群规划这里搭建一个3节点的Spark集群,其中三台主机上均部署Worker服务。同时为了保证高可用,除了在hadoop001上部署主Master服务外,还在hadoop002和hadoop003上分别部署备用的Master服务,...

基于ZooKeeper搭建Hadoop高可用集群

基于ZooKeeper搭建Hadoop高可用集群

一、高可用简介Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceMan...