Hadoop伪分布式模式安装

《Hadoop权威指南(第2版)》来讲,伪分布式(pseude-distributed model)是指Hadoop守护进程运行在本地机器上,模拟一个小规模的集群。

这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)

Hadoop安装

参照:Hadoop单机模式安装

配置Hadoop

  • /opt/hadoop2.6/etc/hadoop/core-site.xml(这里是hadoop2.6是因为我之前把hadoop解压到这里)

    <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost:9000</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/tmp</value> (这里是hadoop,是因为我使用hadoop账户)
    </property>
  • /opt/hadoop2.6/etc/hadoop/mapred-site.xml
    目录下有一个mapred-site.xml.template文件,重命名为mapred-site.xml即可

    <configuration>
      <property>
          <name>mapred.job.tracker</name>
          <value>localhost:9001</value>
      </property>
    </configuration>

    格式化hadoop文件系统

    bin/hadoop  namenode -format

    启动hadoop

    sbin/start-all.sh

    查看Hadoop

  • 使用jps查看
  • WEB页面查看
    http://192.168.1.114:50070  (192.168.1.114为我安装hadoop的机器)
Copyright© 2020-2022 li-xyz 冀ICP备2022001112号-1