澳门最新资讯网站如何优化排名

一 概述与特点
        之所以把Hive放在Hadoop生态里面去写，是因为它本身依赖Hadoop。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类 SQL 查询功能。 其本质是将 SQL 转换为 MapReduce/Spark 的任务进行运算，底层由 HDFS 来提供数据的存储，说白了 hive 可以理解为一个将 SQL 转换为 MapReduce/Spark 的任务的工具。

二 架构
        Hive架构如下图所示：
        1.用户接口(Thrift用来RPC的服务器)：hive自带shell命令、ODBC、JDBC和web页面访问
        2.Hive Sql(解析、编译、优化、执行)：语法与sql类似内部原理也基本一致，不过最后执行物理计划的是MapReduce
        3.元数据库：通常是存储在关系数据库如 mysql/derby 中。Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。
        4.执行引擎：MR、TEZ、Spark
        

三 原理
        1.表类型：
                1):分区表：分区表的意思就是将一张表中的数据放在不同的存储目录中进行存放，这样可以有效对数据进行解藕，使使用者更快速的访问分区中的内容，举个例子：一张订单表有几千万的订单数据，而我只想访问其中某一天或者某几天的数据，如果使用订单日期作为分区，每天一个分区，那么我可以直接:

#创建分区表
create table order(id string, price int) partitioned by (order_date date);
#加载数据到分区
load data local inpath '/export/servers/hivedatas/order.csv' into table order partition (order_date='2023-08-30');
#查询分区数据
select * from order where order_date = '2023-08-30'

这样会直接命中分区数据使数据响应速度大大提升。