Hadoop单机版环境搭建
创始人
2024-12-08 18:04:06
. 案例信息 Hadoop的安装部署的模式一共有三种: 本地模式,默认的模式,无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由 于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。使用 本地文件系统,而不是分布式文件系统。 伪分布模式,在一台主机模拟多主机。即,Hadoop的守护程序在本地计算机上运行,模拟集群环 境,并且是相互独立的Java进程。在这种模式下,Hadoop使用的是分布式文件系统,各个作业也 是由JobTraker服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使 用情况,HDFS输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常 用来开发测试Hadoop程序的执行是否正确。 全分布模式,完全分布模式的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。在所 有的主机上安装JDK和Hadoop,组成相互连通的网络。 本案例采用伪分布模式搭建Hadopp,在一台主机模拟多主机,用于后续的程序开发。 2. 实验目的               掌握Hadoop单机版的搭建及配置方法 掌握HDFS文件系统的开启及关闭方法 掌握Yarn的开启及关闭方法 掌握Hadoop平台的基本使用 3. 实验环境 hadoop == 3.1.0 CentOS == 7.3 jdk == 1.8. 实验指导 关联技术:
  1. 环境准备
  2. 文件解包解压
  3. JDK安装配置
  4. VIM文本编辑命令
  5. 文件上传
  6. 系统环境配置
  7. 配置Hadoop
  8. XML配置
  9. 防火墙配置
  10. 关注B站刘老师教编程jps命令
  11. 使用内置程序计算PI值
  12. jar包执行

2. 实验步骤

  1. 环境准备
  2. 配置Hadoop
  3. 初始化并启动Hadoop
  4. Hadoop(YARN)环境搭建
  5. 使用内置程序计算PI值
. 实验操作01. 步骤一:环境准备步骤操作说明 1. 配置JDK 下载JDK,登录官方https://www.oracle.com/java/technologies/downloads/#java8 下载所需版 本的 JDK,版本为JDK 1.8 以上就是单机版Hadoop部署的全过程了,有问题的小伙伴私信我,我帮您解答

相关内容

热门资讯

总投资630亿!京东方第8.6... 快科技5月14日消息,据报道,京东方计划于本月底在其成都的B16工厂开始量产第8.6代OLED面板。...
工业称重传感器选型指南:精度与... 工业称重传感器选型指南:精度与可靠性的平衡之道 工业称重传感器选型指南:精度与可靠性的平衡之道 一、...
医学院硕博研究生靠虚开发票冒签... 33岁的柴某系江苏人,案发前系某医院博士后研究人员。一审法院认定,2018年至2023年,柴某在某医...
AI服务器、先进封装及HBM技... 据财联社消息,近来,AI服务器、先进封装及HBM技术迭代带动硅片与电子特气用量激增,叠加中东能源危机...
科幻走进现实!首款载人变形机甲... 你会怎么称呼视频里的炫酷机甲?是科幻片里看的“钢铁巨兽”,还是现实版的“变形金刚”? 5月12日,中...