HDFS存储原理1. 发送写数据请求 2. 文件切分 3. DN分配 4. 数据写入 5. 完成写入 6. 用户读文件 7. 下载数据 8. HDFS容错机制 9. 节点监测机制 10. 写容错 11. 读容错 12. DN失效 13...

一. Hadoop的构建模块 NameNode(名字节点) DataNode(数据节点) Secondary NameNode(次名字节点) JobTracker(作业跟踪节点) TaskTracker(任务跟踪节点) 1. HDF...

Hadoop是什么? Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相...

结构化数据与非结构化数据       相对于结构化数据（即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据）而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式...

云计算技术：首先让大家明白什么是云端，所谓云端需要两层理解 服务不在本地，这一层可以理解为服务器 它和普通的服务器是不一样的，这些云端的服务器的资源是共享的，一旦一个服务器不能承受，将会把任务分配给其他机器。 云技术与其他技术的区别...

概述大家知道什么叫做云计算吗？事实上，目前并没有一个确定的定义。然而概括来讲，所谓的云计算，指的就是把你的软件和服务统一部署在数据中心，统一管理，从而实现高伸缩性。 云计算具有以下特性: 虚拟化和自动化 服务器，存储介质，网络等资源都...

MySQL创建存储offset的表格123456789mysql> use testmysql> create table hlw_offset( topic varchar(32), grou...

kubernetes 集群资源监控之前可以通过 heapster 来获取数据，在 1.11 开始开始逐渐废弃 heapster 了，采用 metrics-server 来代替，metrics-server 是集群的核心监控数据的聚合器...

Jenkins 官方文档去查看资料的时候发现并非如此简单，无论是声明式还是脚本式的 Pipeline 都依赖了 Groovy 脚本，所以如果要很好的掌握 Pipeline 脚本的用法，我们非常有必要去了解下 Groovy 语言。 什么...

网络可以说是 Kubernetes 部署和使用过程中最容易出问题的了，最主要的是对网络技术非常熟悉的人员相对较少，和 Kubernetes 结合后能搞透彻网络这块的就更加稀少了，导致我们在部署使用过程中经常遇到一些网络问题。本文将重点...