在Windows环境中,安装了Hadop3.x,以及当地开发。

下载安装

官网：https://hadoop.apache.org/

访问：https://archive.apache.org/dist/hadoop/common/我不知道你在说什么,但下载 hadoop.tar.gz 并提取到合适的地点。

访问https://github.com/cdarlint/winutils选择合适版本对应的我不知道你在说什么 维努提尔斯和哈多普

将我不知道你在说什么 维努提尔斯和哈多普拷贝到Hadoop/bin目录下和C:WindowsSystem32最后,在目录下重新启动机器。

配置环境变量

配置Hadoop

检查adoop-env.cmdJDK 配置配置配置配置配置, 通常未修改

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

名称不更改格式 :hdfs namenode -format

启动哈多普集束

输入 Hadop 解除压力目录 sbin 的 sbin 目录并运行start-all，将启动以下组件

jps查看进程

访问测试

访问http://localhost:9870

访问http://localhost:8088/cluster

Windows 本地开发

添加依赖

上传文件到HDFS

上传wordcount.txt文件到HDFS

The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high-availability, the library itself is designed to detect and handle failures at the application layer, so delivering a highly-available service on top of a cluster of computers, each of which may be prone to failures.

创建Job

创建Mapper

创建Reducer

添加配置文件

在资源资源目录中添加 Hadop 配置 。

执行Job