伍佰目录 短网址
  当前位置:海洋目录网 » 站长资讯 » 站长资讯 » 文章详细 订阅RssFeed

hadoop的安装和三种模式的配置

来源:本站原创 浏览:44次 时间:2023-06-28
Hadoop安装

在Linux、Windows、macOS下安装都需要先安装java环境,再安装hadoop,均需要配置环境变量。怎么配置可自行查找资料,这里就不介绍了。

Hadoop的运行模式配置

Hadoop的运行模式分为3种:本地运行模式、伪分布运行模式、集群运行模式。
1、独立模式即本地运行模式
无需运行任何守护进程,所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。独立模式无需配置任何文件。
2、伪分布运行模式
如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪分布运行模式。以Windows为例,在其它系统下,需要修改路径。Linux下需要在hadoop-2.7.2/etc/hadoop/hadoop-env.sh指定java环境变量
伪分布运行模式需要配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
core-site.xml:指定hadoop的主节点master。
hdfs-site.xml:指定hadoop中的文件副本数。
mapred-site.xml:指定mapreduce的资源管理。
yarn-site.xml:
core-site.xml配置如下:

<configuration><property>         <name>hadoop.tmp.dir</name>         <value>/G:/tmp</value> <!--windows下创建文件夹 --><value>/home/hadoop/bigdata/temp</value> <!--linux下创建文件夹 指定hadoop运行时产生临时文件的存储目录-->         <description>Abase for other temporary directories.</description>  </property><property>         <name>fs.default.name</name>         <value>hdfs://localhost:9000</value>    </property></configuration>

hdfs-site.xml配置:

<configuration>        <property>              <name>dfs.replication</name>              <value>1</value><!--副本为1 -->        </property><property>        <name>dfs.namenode.name.dir</name>        <value>/G:/tmp/data/namenode</value><!--windows下创建文件夹 ,linux需要指定目录-->    </property>    <property>        <name>dfs.datanode.data.dir</name>        <value>/G:/tmp/data/datanode</value><!--windows下创建文件夹,linux需要指定目录 --></property> <property>    <name>dfs.namenode.secondary.http-address</name>    <value>http://localhost:50090</value>    </property></configuration>

mapred-site.xml配置:

<configuration>       <property>            <name>mapreduce.framework.name</name>            <value>yarn</value>(选择yarn来mapreduce)       </property></configuration>

yarn-site.xml配置:

<configuration>        <property>                <name>yarn.resourcemanager.hostname</name>                <value>localhost</value>        </property>        <property>                <name>yarn.nodemanager.aux-services</name>                <value>mapreduce_shuffle</value>        </property></configuration>

Windows下启动hadoop
1、运行cmd窗口,切换到hadoop安装目录下的bin目录下执行hdfs namenode -format
2、运行cmd窗口,切换到hadoop的sbin目录,执行start-all.cmd,它将会启动5个进程。
启动之后,可用jps命令查看,如下图,然后可进行增删改查、创建的命令操作。

Linux下启动hadoop
1、切换到hadoop安装目录下的bin目录下执行hdfs namenode -format
2、切换到hadoop的sbin目录,执行start-all.sh,它将会启动5个进程。
启动之后,可用jps命令查看。
3、集群模式
Linux系统,在虚拟机中创建四台系统:首先创建4台虚拟机,分别命名为hp001、hp002、hp003、hp004。安装成功后,然后分别修改主机名(hp001、hp002、hp003、hp004),再修改/etc/hosts文件(hp002、hp003、hp004同hp001),本机IP对应主机名。
hadoop1 node1作为名称节点
hadoop2 node2作为辅助名称节点
hadoop3 node3作为数据节点
hadoop4 node4作为数据节点
完全分布式配置方式:配置文件/home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop/下的四个xml文件。

core-site.xml<configuration>        <property>        <name>fs.defaultFS</name>        <value>hdfs://hp001</value>    </property>     <property>          <name>hadoop.tmp.dir</name>          <value>/home/hadoop/bigdata</value>     </property></configuration>hdfs-site.xml<configuration>        <property>                <name>dfs.replication</name>                <value>3</value>        </property>        <property>    <name>dfs.namenode.secondary.http-address</name>    <value>hp002:50090</value>    </property></configuration>mapred-site.xml<configuration>        <property>                <name>mapreduce.framework.name</name>                <value>yarn</value>        </property></configuration>yarn-site.xml<configuration>         <property>        <name>yarn.resourcemanager.hostname</name>        <value>hp001</value>    </property>    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property></configuration>

把/home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop/slaves文件修改为
hp003
hp004
在集群上分发以上5个文件
cd /home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop
xsync core-site.xml
xsync hdfs-site.xml
xsync mapred-site.xml
xsync yarn-site.xml
xsync slaves
首次启动hadoop
1)格式化文件系统
$>hadoop namenode -format
2)启动所有进程
$>start-all.sh
3)查询进程
$>xcall jps

  推荐站点

  • At-lib分类目录At-lib分类目录

    At-lib网站分类目录汇集全国所有高质量网站,是中国权威的中文网站分类目录,给站长提供免费网址目录提交收录和推荐最新最全的优秀网站大全是名站导航之家

    www.at-lib.cn
  • 中国链接目录中国链接目录

    中国链接目录简称链接目录,是收录优秀网站和淘宝网店的网站分类目录,为您提供优质的网址导航服务,也是网店进行收录推广,站长免费推广网站、加快百度收录、增加友情链接和网站外链的平台。

    www.cnlink.org
  • 35目录网35目录网

    35目录免费收录各类优秀网站,全力打造互动式网站目录,提供网站分类目录检索,关键字搜索功能。欢迎您向35目录推荐、提交优秀网站。

    www.35mulu.com
  • 就要爱网站目录就要爱网站目录

    就要爱网站目录,按主题和类别列出网站。所有提交的网站都经过人工审查,确保质量和无垃圾邮件的结果。

    www.912219.com
  • 伍佰目录伍佰目录

    伍佰网站目录免费收录各类优秀网站,全力打造互动式网站目录,提供网站分类目录检索,关键字搜索功能。欢迎您向伍佰目录推荐、提交优秀网站。

    www.wbwb.net