-
6.3.2 文件流层
6.3.2 文件流层 6.3.2 文件流层 文件流层提供内部接口供服务分区层使用。它提供类似文件系统的命名空间和API，但所有的写操作只能是追加，支持的接口包括：打开＆关闭文件、改名、读取以及追加到文件。文件流层中的文件称为流，每个流包含一系列的extent。每个extent由一连串的block组成。 如图6-11所示，文件流"//foo"包含四个e... -
7.2.2 架构
7.2.2 架构 7.2.2 架构 云SQL Server分为四个主要部分：SQL Server实例、全局分区管理、协议网关、分布式基础部件，如图7-4所示。 图 7-4 云SQL Server的分层架构 下面分别介绍这几个部分： ●每个SQL Server实例是一个运行着SQL Server的物理进程。每个物理数据库包含多个子数据库... -
7.3.2 架构
7.3.2 架构 7.3.2 架构 Spanner构建在Google下一代分布式文件系统Colossus之上。Colossus是GFS的延续，相比GFS,Colossus的主要改进点在于实时性，并且支持海量小文件。 由于Spanner是全球性的，因此它有两个其他分布式存储系统没有的概念： ●Universe。一个Spanner部署实例称为一个Uni... -
8.4.3 可靠性与可用性
8.4.3 可靠性与可用性 8.4.3 可靠性与可用性 分布式系统需要处理各种故障，例如，软件故障、服务器故障、网络故障、数据中心故障、地震、火灾等。与其他分布式存储系统一样，OceanBase通过冗余的方式保障了高可靠性和高可用性。方法如下所示： ●OceanBase在ChunkServer中保存了基线数据的多个副本。单集群部署时一般会配置3个副本... -
13.2 MapReduce
13.2 MapReduce 13.2 MapReduce 提到大数据，大多数人首先想到的就是MapReduce。MapReduce使得普通程序员可以在不了解分布式底层细节的前提下开发分布式程序。使用者只需编写两个称为Map和Reduce的函数即可，MapReduce框架会自动处理数据划分、多机并行执行、任务之间的协调，并且能够处理某个任务执行失败或者... -
13.4 流式计算
13.4 流式计算 13.4.1 原理" level="4"> 13.4.1 原理 13.4 流式计算 MapReduce及其扩展解决了离线批处理问题，但是无法保证实时性。对于实时性要求高的场景，可以采用流式计算或者实时分析系统进行处理。 流式计算（Stream Processing）解决在线聚合（Online Aggregation）、在线过滤（... -
分布式系统
分布式系统 分布式系统 [17]杨传辉.分布式系统工程实践，2010. [18]刘杰.分布式系统原理，2012. [19]AS Tanenbaum,M Van Steen.Distributed Systems：Principles and Paradigms,2012. [20]S Gilbert,N Lynch.Brewer's Conjec... -
分布式文件系统
分布式文件系统 分布式文件系统 [37]M Burrows.The Chubby Lock Service for Loosely-coupled Distributed Systems.OSDI,2006. [38]S Ghemawat,H Gobioff,ST Leung.The Google File System.SOSP,2003. [3... -
分布式表格系统
分布式表格系统 分布式表格系统 [51]F Chang,J Dean,S Ghemawat,etc.Bigtable：A Distributed Storage System for Structured Data.OSDI,2006. [52]J Baker,C Bond,JC Corbett,etc.Megastore：Providing Sca... -
第3章 分布式协调的实现
第3章 分布式协调的实现 第3章 分布式协调的实现 分布式协调是分布式应用中不可缺少的，通常会设立专门的协调者角色，即将多机协调的职责从分布式应用中独立出来，以减少系统的耦合性和增强可扩展性。Apache的ZooKeeper、Google的Chubby都是分布式协调的实现者。Fourinone实际上可以单独当做ZooKeeper用，它使用最少的代码实现...