大佬们学hive要先学学hadoop吗？Hive有哪些特点
本文目录
大佬们学hive要先学学hadoop吗
hive 我感悟是这样的，hive类似于mysql和 mapreduce的结合品。
1hive的语法 和mysql很像，但hive因为是依赖hdfs文件系统的，所以他有自己独有的语法体系，比如 1 建表时它有分隔符的概念，2 插入时他有覆盖的概念，3插入它不支持部分插入，只支持整体插入，4.不支持更新和删除只支持查找，在查询语法和mysql很像，但计算引擎和mysql完全不一样。所以学习hive首先把mysql语法掌握了。
因为hive底层技术引擎是用mapreduce，所以学习hive最好先学习mapreduce，把mapreduce的原理，熟悉了 学习hive更得心应手了
Hive有哪些特点
您好，我是数据僧(头条，公众号，简书)，，一名数据相关从业者。下面讲讲我对您这个问题的理解。
Hive是为了解决什么问题，Hive产生的背景，我们以这个为引子，展开回答。
1，MapReduce编程的不变性，如果要处理一些数据处理的任务，会有一定的门槛，并且操作起来不方便。
2，Hdfs上的文件缺少Schema。例如：缺少 字段名，数据类型等，不方面数据进行有效管理。
3，用于解决海量结构化数据的统计问题
4，如果使用MapReduce等计算框架，学习成本比较高
5，在项目周期比较短的情况下，如果使用mapReduce或者其它的开发框架进行开发，无法满足项目对时间的要求。
我们从具体应用场景下看看Hive处于hadoop生态系统的什么位置：
如图：Hive以Hdfs为基本的文件存储，以MapReduce为执行引擎。所以Hive天然就具备了Hdfs，MapReduce的特性。
我们和传统数据库进行对比看看Hive有哪些优势和不足，当然这种不足是特定场景下的，也是Hive不擅长的领域。
hive的编写语法和传统的sql类似，核心的是hive有一套不同与sql的语法规则，最终被解释为mapReduce任务。hive只适合在海量数据下进行批量数据统计分析。
我们在来看看hive和mapReduce之间的关系，如图：
在来看看hive的内部结构示意图
Driver组件：
SQL Parser:编译器，将HQL转换成抽象语法树。
Query Optimizer：查询优化器
Physical Plan，SerDes，Udfs：执行器
解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS 中，并在随后有 MapReduce 调用执行。
Metastore组件：Hive将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等
Hive处理命令的流程示意图：
SQL Parser将SQL语句转换成抽象语法树---》生成逻辑执行计划----》查询优化----》 物理执行计划（SerDes序列化与反序列化，UDFs，执行引擎）
上面主要是从整体上介绍hive，已经hive相关的组件，最后总结下hive有哪些特点：
1，hive延迟高，适合高吞吐量，批量，海量数据处理。
2，语法和SQL相似，学习成本低，避免去写复杂的MapReduce，缩短开发周期。
3，Hive支持自由的扩展集群的规模，一般不需要重启服务。
4，Hive支持自定义函数，用户可以根据自己的需求去定义函数。
5，良好的容错性，节点出现问题，SQL仍然可以成功执行。
。。
整体上来说是继承了HDFS和MapReduce的特点。
数据僧，祝愿每个在数据道路上的人越走越好。你们的关注 是我巨大的动力。欢迎大家在评论区留言，大家一起讨论。
更多文章：
2024年3月12日 07:55
2024年7月24日 13:36
正史上关羽被害后，四员大将关平、廖化、周仓、王甫结局如何？祝大家新年快乐
2023年4月6日 22:09
2023年6月6日 09:20
2024年2月10日 20:15
2023年8月6日 10:35
茶客365:怎样辨别过期茶叶，泡过水的茶叶做新哪里能买到放心茶？中国有哪些茶被茶客极力追捧
2023年2月2日 23:00
2023年11月16日 20:40
2022年11月9日 01:20
2023年6月24日 13:41
2024年7月13日 22:25
2023年4月24日 14:18
2024年2月11日 20:40
2024年8月9日 16:02
2023年12月18日 01:00
2024年3月23日 14:20
2023年9月19日 10:21
蜣螂是一种什么虫？蜣螂俗称屎壳郎，古人用它入药，它有什么药用价值呢
2023年3月29日 07:33
侵略的近义词和反义词（入侵的反义词_入侵的近义词_入侵的词语解释）
2024年1月25日 16:35
胸闷气短是大病征兆（晚上睡觉半夜突然感觉胸口闷出不上来气是心脏病的前兆吗）
2024年3月14日 18:15
