该系统最近作了修改,需要利用火花和火花重新配置。
1.准备阶段
安装包下一版本的多个版本号码之间可能出现兼容性,如果下一版本使用不一致,请注意在阅读文本后完成这项工作,其中一些已经进入坑中,如下文所述。
1.Anaconda3-2021.11-Windows-x86_64
2.jdk-8u40-windows-x64
3.hadoop-3.2.2.tar.gz
4.scala-2.12.15
5.spark-3.1.3-bin-hadoop3.2.tgz
6,Wenutils是Hadoop-3. 2.2或Hadoop-3. 2,一个组件。
Windows 10 配置空间和俾斯公园安装软件包01, Windows 10 配置卫星和俾斯公园安装软件包02。
二. Anaconda3装置
2.1 用户选择
选择此选项以安装所有用户 。
2.2 安装路径
不要把它放在磁盘 C 上, 因为以下的文件会占用相当大的空间。 大多数人没有足够的电脑磁盘 C 。
我把它放在磁盘H 并创建了档案架。
版本数和环境变量
上面有两个地点添加环境变量,从而节省了添加环境变量的困难;底部是纳孔达被配置为Python3的地方。
2.4 测试
我完成后,我们将核查安装结果, 定位运行,输入CMD。
3.Java 安装
三.1. 安装的路径和内容
a..
b. 建议修改 Java 安装路径, 然后单击您选择的下面的图片.. 如果您不需要修改安装路径, 请使用自定义安装路径 。
我的安装路径如下：
设置环境变量 3
按系统变量调整计算机和系统特性以及相关设置和高级系统设置。
在查找上述环境变量位置后,添加 JAVA_HOME 路径。
添加path路径
3.3 测试
Java 已被输入 cmd 命令行窗口 。
Java 已被输入 cmd 命令行窗口 。 -version
Java 已被输入 cmd 命令行窗口 。c
Scala 安装安装
四.1 模型和路径修改
_ 其他协调员
我的安装路径如下：
环境变量的配置 4
Java 环境变量配置 :
SCALA_HOME 配置
path配置
5. Hadoop的重组
文件压缩和放置( 5.1)
我不知道你们在说什么 因为凝油厂为Hadoop -3进行了两次减压 2 2 2 2 Tar 第一个是Hadoop -3
注: Hadoop-3. 2. 2 未插入, 并放置在磁盘根目录中, 如 Hadoop-3. 2. 2。 2 和 H之间没有文件夹 。
Hadop环境变量配置第5号
第1步:配置 HAHOOP_HOME
路径图配置( 第 2 步)
6.SPARK配置
文件压缩和安放(第6.1节)
以下图表被降压,然后不压缩火花-3。 1.1.3-bin-hadoop3.2.tgz:
关于火花-3.1.3-bin-hadoop3.2,它已被释放并放置在磁盘根目录中,详情如下:1.3-bin-hadoop3. 2和H之间无文件夹
SPARK 环境变量配置第6号
SPARK_HOME 配置(第1步)
路径图配置( 第 2 步)
设置七. 黄金公园
先装好Pyspark
输入 cmd 命令行如下:
pip install pyspark - i https://pypi.tuna.tsinghua.edu.cn/simple
替换弹坑。
公园 - - - -3 -1 -3 -1 -bin -hadoop3. 公园由2python安装吗?
Anaconda3Libsite-packages将用来取代Anaconda3Libsite-packages的烟火场。
我开始把Anaconda3Libsite包装 重新命名为pyspark01。然后是Sark -3. 1.3-bin -hadoop3. By 2python, pysparkpyps parkpyps parkpyspypypypypypypypypypypypypypypypypypypypypypypypy pypypypypypypypypy 的复制件。 。 。 。 。
配置 winutils 配置 。
复制元件到 Hadoop-3. 2. bin 目录 :
9.检验配置结果
Pyspark 9.1试验
在 Cmd 命令行窗口中输入 Pyspark
测试的9.2
在 cmd 命令行窗口中输入公园贝壳 。