608.【hadoop】windows上hadoop测试环境的搭建步骤
2024-04-10 04:30:33  阅读数 976

一、下载hadoop安装包:

点击下载


解压。

二、下载hadoop在windows中的依赖:

点击下载

下载完成之后,解压,将3.2.2目录下的所有文件替换hadoop的bin目录下的文件:


并将hadoop.dll 文件复制到C:\Windows\System32 目录:

三、配置环境变量:

HADOOP_HOME= D:\cloudwave\hadoop-3.2.2
Path中添加 %HADOOP_HOME%\bin; 

四、创建数据目录

在hadoop-3.2.2目录下创建data目录,data目录下创建namenode和datanode存储目录
data\namenode
data\datanode


五、修改hadoop-env.cmd


进入目录 \etc\hadoop
修改hadoop-env.cmd
set JAVA_HOME=D:\v4_dev_env\jdk-8(指定hadoop使用java版本)
JDK使用1.8版本(版本过高可能会不兼容)。

六、修改配置文件

  1. etc\hadoop目录,修改hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>H:\\workspace_env\\hadoop-3.2.2\\data\\namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>H:\\workspace_env\\hadoop-3.2.2\\data\\datanode</value>
    </property>

</configuration>
  1. etc\hadoop目录,修改core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

七、启动

  1. 进入hadoop-3.2.2\bin目录,以管理员身份打开“命令提示符“
    输入hdfs namenode -format,看到seccessfully就说明format成功。如下图所示:


  2. 进入hadoop-3.2.2\sbin目录
    输入start-dfs.cmd,启动hdfs。
    出现以下namenode和datanode窗口


    namenode

    datanode
  3. 浏览器访问:http://127.0.0.1:9870/

  • 可以看到已经,在windows上运行起来了