-
6.1.9 讨论
6.1.9 讨论 6.1.9 讨论 GFS+Bigtable两层架构以一种很优雅的方式兼顾系统的强一致性和可用性。底层文件系统GFS是弱一致性系统，可用性和性能很好，但是多客户端追加可能出现重复记录等数据不一致问题；上层的表格系统Bigtable通过多级分布式索引的方式使得系统对外整体表现为强一致性。Bigtable最大的优势在于线性可扩展，单台机器出... -
6.3.2 文件流层
6.3.2 文件流层 6.3.2 文件流层 文件流层提供内部接口供服务分区层使用。它提供类似文件系统的命名空间和API，但所有的写操作只能是追加，支持的接口包括：打开＆关闭文件、改名、读取以及追加到文件。文件流层中的文件称为流，每个流包含一系列的extent。每个extent由一连串的block组成。 如图6-11所示，文件流"//foo"包含四个e... -
8.2 设计思路
8.2 设计思路 8.2 设计思路 OceanBase的目标是支持数百TB的数据量以及数十万TPS、数百万QPS的访问量，无论是数据量还是访问量，即使采用非常昂贵的小型机甚至是大型机，单台关系数据库系统都无法承受。 一种常见的做法是根据业务特点对数据库进行水平拆分，通常的做法是根据某个业务字段（通常取用户编号，user_id）哈希后取模，根据取模的结... -
11.3 应用
11.3 应用 11.3.1 收藏夹" level="4"> 11.3.1 收藏夹 11.3 应用 OceanBase上线两年左右的时间已经接入了30多个业务，线上服务器数量超过300台。虽然OceanBase同时支持OLTP以及OLAP应用，但是OceanBase具有一定的适用场景。如果应用总数据量小于200TB，每天更新的数据量小于1TB，且读写... -
3.5.3 故障恢复
3.5.3 故障恢复 3.5.3 故障恢复 当总控机检测到工作机发生故障时，需要将服务迁移到其他工作机节点。常见的分布式存储系统分为两种结构：单层结构和双层结构。大部分系统为单层结构，在系统中对每个数据分片维护多个副本；只有类Bigtable系统为双层结构，将存储和服务分为两层，存储层对每个数据分片维护多个副本，服务层只有一个副本提供服务。单层结构和双... -
13.3.2 Microsoft Dryad
13.3.2 Microsoft Dryad 13.3.2 Microsoft Dryad Microsoft Dryad是微软研究院创建的研究项目，主要用来提供一个分布式并行计算平台。在Dryad平台上，每个Dryad工作流被表示为一个有向无环图。图中的每个节点表示一个要执行的程序，节点之间的边表示数据通道中数据的传输方式，其可能是文件、管道、共享内... -
分布式文件系统
分布式文件系统 分布式文件系统 [37]M Burrows.The Chubby Lock Service for Loosely-coupled Distributed Systems.OSDI,2006. [38]S Ghemawat,H Gobioff,ST Leung.The Google File System.SOSP,2003. [3... -
2.2 跟Hadoop的区别
2.2 跟Hadoop的区别 2.2 跟Hadoop的区别 对于初学者，特别是学习过一些Hadoop知识的读者，可能阅读到这里会产生疑惑，本书描述的分布式核心技术跟Hadoop之间的到底有哪些区别。 在表2-1中，我们全面列举两者之间的区别，但是仅供参考，不是对Hadoop产品持否认态度，我们一贯尊重Hadoop作者和Hadoop的使用者。 注意 ... -
第3章 分布式协调的实现
第3章 分布式协调的实现 第3章 分布式协调的实现 分布式协调是分布式应用中不可缺少的，通常会设立专门的协调者角色，即将多机协调的职责从分布式应用中独立出来，以减少系统的耦合性和增强可扩展性。Apache的ZooKeeper、Google的Chubby都是分布式协调的实现者。Fourinone实际上可以单独当做ZooKeeper用，它使用最少的代码实现...