Hadoop 是一个开源的分布式计算框架，广泛应用于大数据的存储与处理。Hadoop 提供了一个高效、可靠、可扩展的分布式存储和计算平台，适用于处理海量数据。在这篇文章中，小编将介绍如何在本地机器上搭建一个 Hadoop 环境，帮助你快速了解 Hadoop 的基本使用。

一、 Hadoop 生态系统概述

Hadoop 主要由以下几个组件组成：

1、HDFS (Hadoop Distributed File System) ： 分布式文件系统，提供高容错性和高吞吐量的数据存储。

2、MapReduce ： 一个用于处理大规模数据的计算模型，通过将任务分解成小的子任务并分发到集群中进行处理。

3、YARN (Yet Another Resource Negotiator)：资源管理器，负责管理集群的计算资源。

4、Hive、Pig、HBase 等： 提供更高层次的抽象和工具，用于简化大数据的处理和查询。

在本教程中，我们将重点讲解如何安装和配置 Hadoop，并简单介绍如何使用它进行数据存储和处理。

二、 准备工作

在开始安装之前，确保你已经具备以下基础条件：

1、操作系统： CentOS 7/8 或更高版本。

2、Java 环境： Hadoop 是基于 Java 的，因此需要安装 JDK 8。

3、SSH 配置： Hadoop 节点之间需要通过 SSH 进行通信，即使是单节点集群，也需要配置 SSH。

三、 安装和配置环境

1、安装jdk8，此操作不再做过多赘述，正常官网下载安装包，配置环境变量并刷新文件即可。

2、安装ssh

# 安装 OpenSSH 客户端和服务器
sudo yum install -y openssh-server openssh-clients

# 启动并设置 SSH 服务开机自启
sudo systemctl start sshd
sudo systemctl enable sshd

# 生成 SSH 密钥对
ssh-keygen -t rsa -P ""

# 将公钥复制到授权的密钥文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# 测试 SSH 无密码登录
ssh localhost

　

3、安装hadoop
首先从 Apache Hadoop 官方网站 下载最新版本的 Hadoop，或者使用 wget 命令直接下载：

# 下载 Hadoop
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

# 解压 Hadoop
tar -xzvf hadoop-3.3.1.tar.gz

# 移动到指定目录
sudo mv hadoop-3.3.1 /usr/local/hadoop

配置环境变量

# 编辑 /etc/profile 文件
sudo vi /etc/profile

# 添加以下内容到文件末尾
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# 保存并退出
source /etc/profile

配置hadoop文件　　

Hadoop 的主要配置文件位于 $HADOOP_HOME/etc/hadoop 目录中。我们需要修改以下几个配置文件

（1）配置 core-site.xml

配置 Hadoop 文件系统的默认 URI，在 /usr/local/hadoop/etc/hadoop/core-site.xml 文件中添加：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

（2）配置 hdfs-site.xml　

配置 HDFS 的存储目录和副本数，在 /usr/local/hadoop/etc/hadoop/hdfs-site.xml 文件中添加：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/hdfs/datanode</value>
    </property>
</configuration>

（3）配置 mapred-site.xml　　

配置 MapReduce 的运行框架，在 /usr/local/hadoop/etc/hadoop/mapred-site.xml 文件中添加：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（4）配置 yarn-site.xml

配置 YARN 的资源管理器，在 /usr/local/hadoop/etc/hadoop/yarn-site.xml 文件中添加：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

四、 格式化hdfs

在启动 Hadoop 之前，需要格式化 HDFS(Hadoop 分布式文件系统)。

# 格式化 HDFS
hdfs namenode -format

五、启动 Hadoop

启动 Hadoop 集群之前，先启动 HDFS 和 YARN 服务。

# 启动 HDFS
start-dfs.sh

# 启动 YARN
start-yarn.sh

确认 Hadoop 集群是否启动成功：

　jps -l

如果看到 NameNode、DataNode、ResourceManager 和 NodeManager 等进程，说明 Hadoop 启动成功。

六、Hadoop 基本操作

1. 创建 HDFS 目录
创建一个目录用于存放数据：

hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/hadoop

2. 上传文件到 HDFS
将本地文件上传到 HDFS：

hdfs dfs -ls /user/hadoop/

3. 查看 HDFS 中的文件
查看上传的文件：

hdfs dfs -ls /user/hadoop/

4. 从 HDFS 下载文件
从 HDFS 下载文件到本地：

hdfs dfs -get /user/hadoop/file /path/to/local/directory/

5. 删除 HDFS 中的文件
删除文件：

hdfs dfs -rm /user/hadoop/file

七、停止 Hadoop

完成操作后，停止 Hadoop 服务：

# 停止 YARN
stop-yarn.sh

# 停止 HDFS
stop-dfs.sh

八、 总结

以上便是hadoop的单节点搭建以及基础操作。小编初步上手操作，若有纰漏希望广大读者朋友指教，可以联系我们的官方公众号小客服。