Hive理论讲解
创始人
2024-12-26 04:08:08
0次

Hive介绍

1、Hive本质

Hive本质是【数仓设计方案】，hive本身并不存储数据【数据包含：元数据 + (表)数据】。

2、hql和sql对比

  1. sql = 结构化查询语言【structured query language】
  2. hql = hive/hadoop类sql查询语言【hive/hadoop query language like sql】
    说明：对于hql而言，表面是sql。实际上，数据存储于HDFS，执行引擎是Spark，MapReduce，Pig，Tez等。

3、数据存储

  • 元数据存储于RDB[关系型数据库]中。其默认存储于DERBY中，但一般在生产环境下存储于mysql中。
  • (表)数据存储于HDFS中。

补充：元数据的讲解

元数据（Metadata）是指描述数据的数据，它提供关于数据集、资源、文件、系统或者业务流程的额外信息，其中就包含库名，表名，字段，数据类型等。
在Hive中，元数据则是由HiveMetaStore来统一管理，进行存储、管理、保护和查询等操作。

4、计算引擎

一：MapReduce

  • Map：清洗，列变形，列裁剪
  • Map+Reduce：聚合

二：Spark ✔

  • 1、Job中间输出结果可以保存在内存，不再需要读写HDFS
  • 2、速度快，比MapReduce平均快10倍以上

5、Hive层次结构【元数据映射】

逻辑结构物理结构
库文件夹(与库同名.db)
表文件夹(与表同名)
分区文件夹 (格式：分区字段名=分区字段值)
数据文件
分桶小文件（目的：抽样和数据修改）

6、Hive执行过程

1.UI客户端发出请求 executeQuery[执行查询语句] 2.Driver[驱动] 通过 Compiler 进行编译 3.Compiler 需要向 MetaStore 请求元数据。 编译过程： 	Compiler[驱动] 得到 元数据 后 	先 生成 逻辑执行计划  	再 通过优化形成 物理执行计划 4.将 物理执行计划 通过 Driver[驱动] 交给 ExecutionEngine[执行引擎] 5.ExecutionEngine[执行引擎] 将 物理执行计划 交给 hadoop的MapReduce进行job任务。 6.最终结果落盘到datanode上。 7.UI客户端 向 Driver[驱动] 发起请求 fetchResults 8.Driver 通过 ExecutionEngine[执行引擎] 从 datanode 上将数据拉过来，交给 UI客户端。

上一篇：使用mysql shell搭建MGR

下一篇：【数据结构】：时间和空间复杂度在这篇里面一点都不复杂

相关内容

热门资讯

ia实测“金花房卡从哪里购买/... 皇豪互娱是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:86909166许多玩家在游戏中会购买房卡来...
微信斗牛房卡找谁买/金花链接房... 微信斗牛是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:15984933许多玩家在游戏中会购买房卡来...
微信链接金花牛牛透视挂点控/微... 微信炸金花是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:44346008许多玩家在游戏中会购买房卡...
房卡必备教程“微信牛牛链接金花... 卡卡大厅是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:86909166许多玩家在游戏中会购买房卡来...
秒懂教程“微信链接金花房卡如何... 先锋大厅是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:15984933许多玩家在游戏中会购买房卡来...
给大家讲解“微信上玩炸金花冲房... 新漫游牛牛是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:86909166许多玩家在游戏中会购买房卡...
一分钟了解“金花房卡一手货源/... 卡贝大厅是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:44346008许多玩家在游戏中会购买房卡来...
微信斗牛房卡怎么获得/微信牛牛... 微信斗牛是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:86909166许多玩家在游戏中会购买房卡来...
金花链接如何创建房间玩/微信上... 金花是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:15984933许多玩家在游戏中会购买房卡来享受...
金花链接如何创建房间玩/微信炸... 微信炸金花是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:86909166许多玩家在游戏中会购买房卡...
微信牛牛房卡链接哪里有/微信链... 牛牛是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:160470940许多玩家在游戏中会购买房卡来享...
终于找到“微信斗牛房卡专卖店联... 微信斗牛是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:160470940许多玩家在游戏中会购买房卡...
ia实测“微信上玩炸金花冲房卡... 新上游牛牛是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:86909166许多玩家在游戏中会购买房卡...
金花建房软件哪个好/微信链接牛... 牛牛是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:86909166许多玩家在游戏中会购买房卡来享受...
正版授权“牛牛链接房卡那里有/... 人海大厅是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:15984933许多玩家在游戏中会购买房卡来...
微信链接斗牛房卡多少钱/微信金... 斗牛是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:15984933许多玩家在游戏中会购买房卡来享受...
一分钟推荐“微信链接斗牛房卡充... 斗牛是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:44346008许多玩家在游戏中会购买房卡来享受...
终于找到“微信开牛牛房卡在哪里... 新众乐牛牛是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:44346008许多玩家在游戏中会购买房卡...
ia实测“金花房卡链接怎么购买... 金花是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:44346008许多玩家在游戏中会购买房卡来享受...
哪里有卖微信炸金花房卡/微信金... 微信炸金花是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:44346008许多玩家在游戏中会购买房卡...