Hadoop伪分布式模式安装

《Hadoop权威指南(第2版)》来讲,伪分布式(pseude-distributed model)是指Hadoop守护进程运行在本地机器上,模拟一个小规模的集群。

这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)

Hadoop安装

参照:Hadoop单机模式安装

配置Hadoop

  • /opt/hadoop2.6/etc/hadoop/core-site.xml(这里是hadoop2.6是因为我之前把hadoop解压到这里)
<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/tmp</value> (这里是hadoop,是因为我使用hadoop账户)
</property>
  • /opt/hadoop2.6/etc/hadoop/mapred-site.xml
    目录下有一个mapred-site.xml.template文件,重命名为mapred-site.xml即可
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

格式化hadoop文件系统

bin/hadoop  namenode -format

启动hadoop

sbin/start-all.sh

查看Hadoop

Copyright© 2020-2022 li-xyz 冀ICP备2022001112号-1