15158846557 在线咨询 在线咨询
15158846557 在线咨询
所在位置: 首页 > 营销资讯 > 网站运营 > 虚拟机部署hadoop集群

虚拟机部署hadoop集群

时间:2023-06-28 18:48:02 | 来源:网站运营

时间:2023-06-28 18:48:02 来源:网站运营

虚拟机部署hadoop集群:参考文章

一、配置虚拟机以及本地IP

vmware中编辑-虚拟网络编辑器







本地网络共享中心-适配器-vmnet8







二、配置开发机器环境

为了用xshell时,不用一直写ip地址,我们可以在自己的开发机器上进行配置C:/Windows/System32/drivers/etc/hosts

192.168.10.100 hadoop100192.168.10.101 hadoop101192.168.10.102 hadoop102192.168.10.103 hadoop103192.168.10.104 hadoop104192.168.10.105 hadoop105

三、配置服务器

执行命令

vi /etc/sysconfig/network-scripts/ifcfg-ens33进行修改添加

TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=no# 将dhcp改为static,dhcp表示动态获取ip,static为固定ipBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=058b7a7a-1bea-4058-be18-2244d061018cDEVICE=ens33ONBOOT=yes# 添加ip地址IPADDR=192.168.10.100# 网关GATEWAY=192.168.10.2# dns解析器DNS1=192.168.10.2修改主机的hostname

vi /etc/hostname配置host映射,相当于ip地址起别名(跟绑定域名一个道理)

vi /etc/hosts添加如下

192.168.10.100 hadoop100192.168.10.101 hadoop101192.168.10.102 hadoop102192.168.10.103 hadoop103192.168.10.104 hadoop104192.168.10.105 hadoop105重启服务器

reboot测试是否有网络

ping meethigher.top由于跟多rpm包在官方仓库是没有的,Centos需要额外安装一个软件仓库

yum install epel-release # 加上-y表示自动选是关闭防火墙、关闭防火墙自启

systemctl stop firewalldsystemctl disable firewalld.servicefirewall-cmd --state #查看防火墙状态
实际开发中,单个服务器的防火墙关闭,对整个集群设置防火墙
创建普通用户和其密码

useradd meethigher #创建用户passwd meethigher #设置该用户密码 提示输入密码授予用户最高权限

vi /etc/sudoers在wheel后面追加

## Allows members of the 'sys' group to run networking, software, ## service management apps and more.# %sys ALL = NETWORKING, SOFTWARE, SERVICES, STORAGE, DELEGATING, PROCESSES, LOCATE, DRIVERS## Allows people in group wheel to run all commands%wheel ALL=(ALL) ALL # 下面是追加内容 # 所有的用户都在wheel这个组里,所以需要放到他的后面,如果放到他的前面,最后会被wheel的值给覆盖# 第二个All如果改成NOPASSWD:ALL表示切换root时可以不用输密码meethigher ALL=(ALL) ALL切换用户

su meethigher创建存储开发工具的文件夹

sudo mkdir /opt/modulesudo mkdir /opt/software如果不是命令行版的系统,需要卸载自带的jdk

rpm -qa|grep -i java|xargs -nl rpm -e --nodeps# rpm -qa:查询所安装的所有 rpm 软件包# grep -i:忽略大小写# xargs -n1:表示每次只传递一个参数# rpm -e --nodeps:强制卸载软件reboot重启

四、克隆虚拟机

右键-管理-克隆自当前状态-完整克隆







分别配置ifcfg-ens33以及hostname即可







五、安装JDK

将JDK1.8解压到/opt/module下,自带jre,所以不用准备了。

配置环境变量

# 进入环境变量路径下cd /etc/profile.d/创建java_env.sh

sudo vi java_env.sh添加环境变量

JAVA_HOME=/opt/module/jdk1.8PATH=$PATH:$JAVA_HOME/binexport JAVA_HOME PATH然后刷新环境变量

source /etc/profile输入java -versionjavac -version查看版本

如果提示没有java命令,则可能是安错版本了。比如,你是64位(x64)的,结果安装了32(x86)位

六、安装hadoop

将hadoop解压到/opt/module下

配置环境变量

cd /etc/profile.d/创建hadoop_env.sh

sudo vim hadoop_env.sh添加环境变量

HADOOP_HOME=/opt/module/hadoop3.3PATH=$PATH:$HADOOP_HOME/binPATH=$PATH:$HADOOP_HOME/sbinexport HADOOP_HOME刷新环境变量

source /etc/profile输入hadoop version查看版本信息

hadoop中目录介绍

  1. bin:存储和hdfs、mapreduce、yarn有关的命令
  2. etc
  3. include:C++的头文件
  4. lib:库
  5. sbin:启动集群、启动yarn、启动历史服务器等的命令

关键词:部署,虚拟

74
73
25
news

版权所有© 亿企邦 1997-2025 保留一切法律许可权利。

为了最佳展示效果,本站不支持IE9及以下版本的浏览器,建议您使用谷歌Chrome浏览器。 点击下载Chrome浏览器
关闭