配置 hadoop环境
进入
/etc/profile.d
新的 my_env.sh,根据安装路径
配置定义文件
默认的配置文件存在于/opt/module/hadoop-3.1.3/etc/hadoop
默认全配置在安装包里面 hadoop-3.1.3sharedochadoophadoop-mapreduce-clienthadoop-mapreduce-client-core
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
配置启动文件
在下列文件中输入/opt/module/hadoop-3.1.3/sbin
start-dfs.sh和 stop-dfs.sh
start-yarn.sh和 stop-yarn.sh
配置workers
进入安装目录/opt/module/hadoop-3.1.3/etc/hadoop,编辑工人,添加如下
配置IP对应的别名
输入Linux主机/etc/hosts
输入Windows服务器C:WindowsSystem32driversetc
注意IP应该配置一个只有主机的网络卡,而不是NAT网络卡,否则主机无法访问虚拟机
初始化
输入第一个机器的 hadoop 安装目录
cd /opt/module/hadoop-3.1.3
初始化,乘以下列两个目录
hdfs namenode -format
启动HDFS
输入第一个机器的 hadoop 安装目录
sbin/start-dfs.sh
浏览网站 http://hadoop100:9870/
启动resourcemanager
输入第二台机器的 hadoop 安装目录
cd /opt/module/hadoop-3.1.3
开始, 网页 http://hadoop101:8088/
sbin/start-yarn.sh
启动历史服务器
输入第一个机器的 hadoop 安装目录
bin/mapred --daemon start historyserver
停止历史服务器
输入第一个机器的 hadoop 安装目录
bin/mapred --daemon stop historyserver
基本测试
创建路径
输入第一台机器的安装目录,并输入下列
hadoop fs -mkdir /wcinput
出现如下变化
上传文件
输入第一个机器 hadoop安装目录,并将根目录 word.txt 上传到 hadoop
hadoop fs -put wcinput/word.txt /wcinput
Word.txt内容
注:当 hadoop namenode格式被格式化多次时,它会造成spaceID不一致
https://blog.csdn.net/m0_54849873/article/details/124479234
上传后实际存储路径
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1431786564-192.168.56.100-1658914351556/current/finalized/subdir0/subdir0
输入Hadoop安装目录并执行字数统计
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput
