基于Docker的Hadoop集群搭建

ShiDai 字数: 5475 阅读耗时: 13 分钟 2025/05/21 2025/09/03 博客独享热度: 45 评论: 0

基于Docker的Hadoop集群搭建连接

SSH连接服务器

ssh [user_name]@[your_server_ip] -p [port]

切换root

sudo -i

查看系统

uname -a

更换系统对应的软件源并更新软件包

sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
sudo tee /etc/apt/sources.list <<EOF
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ noble main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ noble-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ noble-security main restricted universe multiverse
EOF

apt update
apt upgrade -y

展示服务器信息

展示系统

sudo apt install neofetch -y
neofetch

效果如下

root@win-ubuntu-server:~# neofetch
            .-/+oossssoo+/-.               root@win-ubuntu-server 
        `:+ssssssssssssssssss+:`           ---------------------- 
      -+ssssssssssssssssssyyssss+-         OS: Ubuntu 24.04.2 LTS x86_64 
    .ossssssssssssssssssdMMMNysssso.       Host: Virtual Machine Hyper-V UEFI Release v4.1 
   /ssssssssssshdmmNNmmyNMMMMhssssss/      Kernel: 6.8.0-59-generic 
  +ssssssssshmydMMMMMMMNddddyssssssss+     Uptime: 6 days, 14 hours 
 /sssssssshNMMMyhhyyyyhmNMMMNhssssssss/    Packages: 798 (dpkg) 
.ssssssssdMMMNhsssssssssshNMMMdssssssss.   Shell: bash 5.2.21 
+sssshhhyNMMNyssssssssssssyNMMMysssssss+   Terminal: /dev/pts/0 
ossyNMMMNyMMhsssssssssssssshmmmhssssssso   CPU: AMD EPYC 9654 (96) @ 2.396GHz 
ossyNMMMNyMMhsssssssssssssshmmmhssssssso   Memory: 9281MiB / 12162MiB 
+sssshhhyNMMNyssssssssssssyNMMMysssssss+
.ssssssssdMMMNhsssssssssshNMMMdssssssss.                 
 /sssssssshNMMMyhhyyyyhdNMMMNhssssssss/                  
  +sssssssssdmydMMMMMMMMddddyssssssss+
   /ssssssssssshdmNNNNmyNMMMMhssssss/
    .ossssssssssssssssssdMMMNysssso.
      -+sssssssssssssssssyyyssss+-
        `:+ssssssssssssssssss+:`
            .-/+oossssoo+/-.

展示进程

sudo apt install btop -y
btop

安装Docker

安装所需软件包

sudo apt-get install -y ca-certificates curl

安装Docker

方法1：使用Docker官方软件包安装

sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/ubuntu noble stable" | sudo tee /etc/apt/sources.list.d/docker.list
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io

方法2：使用Docker 安装与换源脚本【推荐】

bash <(curl -sSL https://linuxmirrors.cn/docker.sh)

部署Hadoop集群

克隆Hadoop仓库

sudo apt install git -y
git clone https://gitee.com/hadoop-bigdata/docker-compose-hadoop.git

Hadoop 部署

cd docker-compose-hadoop/hadoop

docker compose up -d

查看部署状态

docker compose logs -f

HDFS：http://[your_hadoop_ip]:30070/

YARN：http://[your_hadoop_ip]:30070/