多读书多实践,勤思考善领悟

大数据hadoop之 二十四.Hive的安全

大数据hadoop之 二十四.Hive的安全

一 概述在了解Hive的安全机制之前,我们需要首先清楚Hadoop的安全机制以及Hadoop的历史,Hadoop起源于Apache Nuch的子项目.在那个时代以及整个早期原型时代,功能性需要比安全性需求优先级要高.分布式系统的安全问...

大数据hadoop之 二十三.Hive的开发

大数据hadoop之 二十三.Hive的开发

一 Hive的Thrift服务Hive具有一个可选的组件叫做HiveServer或者HiveThrift,其允许通过指定的端口访问Hive,Thrift是一个软件框架,其用于跨语言的服务开发.关于Thrift,可以通过链接http:/...

大数据hadoop之 二十二.Hive综合案例实战

大数据hadoop之 二十二.Hive综合案例实战

一 数据源的准备工作首先我们去一个网站下载相关的数据,之后通过hive导入进行实验.http://grouplens.org/ 二 内部表1 创建内部表并载入数据12345678910111213141516171819202122...

大数据hadoop之 二十一.Hive优化

大数据hadoop之 二十一.Hive优化

Hive优化内容 Fetch抓取 Hive 中对某些情况的查询可以不必使用 MapReduce 计算 本地模式 当数据量非常小的时候,通过设置本地模式在单台机器上处理所有任务,可提高效率 表的优化 小表join大表 大表joi...

大数据hadoop之 二十.Hive的模式设计和事务性

大数据hadoop之 二十.Hive的模式设计和事务性

一. 概述Hive看上去以及实际行为都像一个关系型数据库.用户对如表和列这类术语比较熟悉,而且Hive提供的查询语言和用户之前使用过的SQL方言非常相似.不过Hive实现和使用的方式和传统的关系型数据库是非常不同的.通常,用户视图移植...

大数据hadoop之 十九.Hive的存储架构与HQL语法

大数据hadoop之 十九.Hive的存储架构与HQL语法

一 概述当然,Hive和传统的关系型数据库有很大的区别,Hive将外部的任务解析成一个MapReduce可执行计划,而启动MapReduce是一个高延迟的一件事,每次提交任务和执行任务都需要消耗很多时间,这也就决定Hive只能处理一些...

大数据hadoop之 十八.Hive数据类型和文件格式

大数据hadoop之 十八.Hive数据类型和文件格式

一. 概述Hive支持关系型数据库中的大多数基本数据类型,同时也支持关系型数据库中很少出现的3种集合数据类型. 1. 基本数据类型Hive支持多种不同长度的整型和浮点型数据类型,支持布尔类型,也支持无长度限制的字符串类型. 数据...

大数据hadoop之 十七.Hive的数据导入导出

大数据hadoop之 十七.Hive的数据导入导出

Hive数据的导入 从本地文件系统中导入数据到Hive表; 从HDFS上导入数据到Hive表; 从别的表中查询出相应的数据并导入到Hive表中; 在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 1、从本地文件系统...