HDFS 高可用(HA)集群搭建记录

什么是 HA ?
High Available : 高可用
虽然 HDFS 存在多个副本,但 NameNode 可能会出现单节点故障。对于只有一个 NameNode 节点的集群,一旦该节点出现故障,集群将无法使用直至重新启动。
通过开启 HDFS 的 HA 功能,通过在不同节点上设置 Active/Standby 多个 NameNode,当 Active NameNode 出现故障时,可以很快的将 Standby NameNode 切换至 Active 状态。只有 Active NameNode 才能对外提供读写服务。

环境:

  • CentOS 7.6.1810 Minimal
  • NAT 网络模式(虚拟机)
  • JDK 1.8
  • Hadoop 3.2.0
  • Zookeeper 3.4.13

集群规划(3 台):

主机名 NameNode DataNode ResourceManager NodeManager Zookeeper JournalNode ZKFC
master
master2
slave1
Read more
用 Photoshop 批量给图片添加水印/LOGO

利用 Photoshop 中的动作来给大量图片添加水印,可以是文字,图片Logo 等。

Read more
Hadoop笔记(二):虚拟机下 Hadoop-2.6.1 完全分布式集群搭建

配置Hadoop-2.6.1集群(3台),准备工作:

目标:

  • 修改虚拟机主机名,添加域名映射
  • 完成虚拟机的 JDKHadoop 的环境搭建
  • 成功启动 HDFS 集群
  • 测试 HDFS 的 上传,下载 等一些基础功能
Read more
Hadoop笔记(一):为仅主机模式下的虚拟机 (CentOS) 分配静态 IP,使主机可访问

准备工作:

  • 安装 VMWare Workstation
  • 使用 ISO 镜像文件安装虚拟机
  • 启动虚拟机

目标:

  • 使主机能够 ping 通虚拟机,通过 远程登录工具 登陆虚拟机
Read more