首页
科技资讯
电脑知识
登录
注册
首页
电脑知识
正文
Hadoop单机版环境搭建
创始人
2024-12-08 18:04:06
一
.
案例信息
Hadoop的安装部署的模式一共有三种: 本地模式,默认的模式,无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由 于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。使用 本地文件系统,而不是分布式文件系统。 伪分布模式,在一台主机模拟多主机。即,Hadoop的守护程序在本地计算机上运行,模拟集群环 境,并且是相互独立的Java进程。在这种模式下,Hadoop使用的是分布式文件系统,各个作业也 是由JobTraker服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使 用情况,HDFS输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常 用来开发测试Hadoop程序的执行是否正确。 全分布模式,完全分布模式的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。在所 有的主机上安装JDK和Hadoop,组成相互连通的网络。 本案例采用伪分布模式搭建Hadopp,在一台主机模拟多主机,用于后续的程序开发。
2.
实验目的
掌握Hadoop单机版的搭建及配置方法 掌握HDFS文件系统的开启及关闭方法 掌握Yarn的开启及关闭方法 掌握Hadoop平台的基本使用
3.
实验环境
hadoop == 3.1.0 CentOS == 7.3 jdk == 1.8
二
.
实验指导
关联技术:
环境准备
文件解包解压
JDK安装配置
VIM文本编辑命令
文件上传
系统环境配置
配置Hadoop
XML配置
防火墙配置
关注B站刘老师教编程jps命令
使用内置程序计算PI值
jar包执行
2.
实验步骤
环境准备
配置Hadoop
初始化并启动Hadoop
Hadoop(YARN)环境搭建
使用内置程序计算PI值
三
.
实验操作
01.
步骤一:环境准备
步骤操作说明
1.
配置
JDK
下载JDK,登录官方https://www.oracle.com/java/technologies/downloads/#java8 下载所需版 本的 JDK,版本为JDK 1.8
以上就是单机版Hadoop部署的全过程了,有问题的小伙伴私信我,我帮您解答
上一篇:
音箱煲音什么意思
下一篇:
iphone6s电池突然掉电
相关内容
热门资讯
总投资630亿!京东方第8.6...
快科技5月14日消息,据报道,京东方计划于本月底在其成都的B16工厂开始量产第8.6代OLED面板。...
工业称重传感器选型指南:精度与...
工业称重传感器选型指南:精度与可靠性的平衡之道 工业称重传感器选型指南:精度与可靠性的平衡之道 一、...
医学院硕博研究生靠虚开发票冒签...
33岁的柴某系江苏人,案发前系某医院博士后研究人员。一审法院认定,2018年至2023年,柴某在某医...
AI服务器、先进封装及HBM技...
据财联社消息,近来,AI服务器、先进封装及HBM技术迭代带动硅片与电子特气用量激增,叠加中东能源危机...
科幻走进现实!首款载人变形机甲...
你会怎么称呼视频里的炫酷机甲?是科幻片里看的“钢铁巨兽”,还是现实版的“变形金刚”? 5月12日,中...