封面

扉页

内容简介

版权页

前言

目录

第1章 HDFS

1.1 HDFS概述

1.1.1 HDFS体系结构

1.1.2 HDFS基本概念

1.2 HDFS通信协议

1.2.1 Hadoop RPC接口

1.2.2 流式接口

1.3 HDFS主要流程

1.3.1 HDFS客户端读流程

1.3.2 HDFS客户端写流程

1.3.3 HDFS客户端追加写流程

1.3.4 Datanode启动、心跳以及执行名字节点指令流程

1.3.5 HA切换流程

第2章 Hadoop RPC

2.1 概述

2.1.1 RPC框架概述

2.1.2 Hadoop RPC框架概述

2.2 Hadoop RPC的使用

2.2.1 Hadoop RPC使用概述

2.2.2 定义RPC协议

2.2.3 客户端获取Proxy对象

2.2.4 服务器获取Server对象

2.3 Hadoop RPC实现

2.3.1 RPC类实现

2.3.2 Client类实现

2.3.3 Server类实现

第3章 Namenode（名字节点）

3.1 文件系统目录树

3.1.1 INode相关类

3.1.2 Feature相关类

3.1.3 FSEditLog 类

3.1.4 FSImage 类

3.1.5 FSDirectory 类

3.2 数据块管理

3.2.1 Block、Replica、BlocksMap

3.2.2 数据块副本状态

3.2.3 BlockManager 类（done）

3.3 数据节点管理

3.3.1 DatanodeDescriptor

3.3.2 DatanodeStorageInfo

3.3.3 DatanodeManager

3.4 租约管理

3.4.1 LeaseManager.Lease

3.4.2 LeaseManager

3.5 缓存管理

3.5.1 缓存概念

3.5.2 缓存管理命令

3.5.3 HDFS集中式缓存架构

3.5.4 CacheManager类实现

3.5.5 CacheReplicationMonitor

3.6 ClientProtocol实现

3.6.1 创建文件

3.6.2 追加写文件

3.6.3 创建新的数据块

3.6.4 放弃数据块

3.6.5 关闭文件

3.7 Namenode的启动和停止

3.7.1 安全模式

3.7.2 HDFS High Availability

3.7.3 名字节点的启动

3.7.4 名字节点的停止

第4章 Datanode（数据节点）

4.1 Datanode逻辑结构

4.1.1 HDFS 1.X架构

4.1.2 HDFS Federation

4.1.3 Datanode逻辑结构

4.2 Datanode存储

4.2.1 Datanode升级机制

4.2.2 Datanode磁盘存储结构

4.2.3 DataStorage实现

4.3 文件系统数据集

4.3.1 Datanode上数据块副本的状态

4.3.2 BlockPoolSlice实现

4.3.3 FsVolumeImpl实现

4.3.4 FsVolumeList实现

4.3.5 FsDatasetImpl实现

4.4 BlockPoolManager

4.4.1 BPServiceActor实现

4.4.2 BPOfferService实现

4.4.3 BlockPoolManager实现

4.5 流式接口

4.5.1 DataTransferProtocol定义

4.5.2 Sender和Receiver

4.5.3 DataXceiverServer

4.5.4 DataXceiver

4.5.5 读数据

4.5.6 写数据（done）

4.5.7 数据块替换、数据块拷贝和读数据块校验

4.5.8 短路读操作

4.6 数据块扫描器

4.6.1 DataBlockScanner实现

4.6.2 BlockPoolSliceScanner实现

4.7 DirectoryScanner

4.8 DataNode类的实现

4.8.1 DataNode的启动

4.8.2 DataNode的关闭

第5章 HDFS客户端

5.1 DFSClient实现

5.1.1 构造方法

5.1.2 关闭方法

5.1.3 文件系统管理与配置方法

5.1.4 HDFS文件与目录操作方法

5.1.5 HDFS文件读写方法

5.2 文件读操作与输入流

5.2.1 打开文件

5.2.2 读操作——DFSInputStream实现

5.3 文件短路读操作

5.3.1 短路读共享内存

5.3.2 DataTransferProtocol

5.3.3 DFSClient短路读操作流程

5.3.4 Datanode短路读操作流程

5.4 文件写操作与输出流

5.4.1 创建文件

5.4.2 写操作——DFSOutputStream实现

5.4.3 追加写操作

5.4.4 租约相关

5.4.5 关闭输出流

5.5 HDFS常用工具

5.5.1 FsShell实现

5.5.2 DFSAdmin实现

06参考文献.pdf