一、前置条件Hadoop的运行依赖JDK，需要预先安装，安装步骤见： Linux下JDK的安装 二、配置免密登录Hadoop组件之间需要基于SSH进行通讯。 2.1 配置映射配置ip地址和主机名映射： 1234vim /etc/h...

一、虚拟机静态IP配置1. 编辑网络配置文件1# vim /etc/sysconfig/network-scripts/ifcfg-enp0s3 添加如下网络配置： IPADDR需要和宿主机同一个网段； GATEWAY保持和宿主机...

Linux下Python安装 系统环境：centos 7.6 Python版本：Python-3.6.8 1. 环境依赖Python3.x的安装需要依赖这四个组件：gcc， zlib，zlib-devel，openssl-devel...

Linux下JDK的安装 系统环境：centos 7.6 JDK版本：jdk 1.8.0_20 1. 下载并解压在官网下载所需版本的JDK，这里我下载的版本为JDK 1.8 ,下载后进行解压： 1[root@ java]# tar ...

Hadoop Apache Tez – 它是一个针对Hadoop数据处理应用程序的新分布式执行框架，该框架基于YARN； SpatialHadoop – SpatialHadoop是Apache Hadoop的MapReduce扩展，...

Hadoop查询引擎一、Phoenix贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户...

一 数据采集概念任何完整的大数据平台，一般包括以下的几个过程： 数据采集 数据存储 数据处理 数据展现（可视化，报表和监控） 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括...

概述开源实时日志分析ELK平台(ElasticSearch, Logstash, Kibana组成)，能很方便的帮我们收集日志，进行集中化的管理，并且能很方便的进行日志的统计和检索，下面基于ELK的最新版本5.2.2进行一次整合测试。...

Hue介绍Hue是hadoop的cdh版本专门的一套web管理器，它包括3个部分hue ui，hue server，hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理h...

数据库结构 SQL 练习目的1： 加深对表间关系的理解。 理解数据库中数据的查询方法和应用。 学会各种查询的异同及相互之间的转换方法。 内容1： 查询所有作者的作者号、姓名信息 查询所有...