-
2.3 数据模型
2.3 数据模型 2.3.1 文件模型" level="4"> 2.3.1 文件模型 2.3 数据模型 如果说存储引擎相当于存储系统的发动机，那么，数据模型就是存储系统的外壳。存储系统的数据模型主要包括三类：文件、关系以及随着NoSQL技术流行起来的键值模型。传统的文件系统和关系数据库系统分别采用文件和关系模型。关系模型描述能力强，产业链完整，是存储... -
3.1.3 衡量指标
3.1.3 衡量指标 3.1.3 衡量指标 评价分布式存储系统有一些常用的指标，下面分别介绍。 （1）性能 常见的性能指标有：系统的吞吐能力以及系统的响应时间。其中，系统的吞吐能力指系统在某一段时间可以处理的请求总数，通常用每秒处理的读操作数（QPS,Query Per Second）或者写操作数（TPS,Transaction Per Secon... -
3.3.3 负载均衡
3.3.3 负载均衡 3.3.3 负载均衡 分布式存储系统的每个集群中一般有一个总控节点，其他节点为工作节点，由总控节点根据全局负载信息进行整体调度。工作节点刚上线时，总控节点需要将数据迁移到该节点，另外，系统运行过程中也需要不断地执行迁移任务，将数据从负载较高的工作节点迁移到负载较低的工作节点。 工作节点通过心跳包（Heartbeat，定时发送）将... -
3.6 可扩展性
3.6 可扩展性 3.6.1 总控节点" level="4"> 3.6.1 总控节点 3.6 可扩展性 通过数据分布，复制以及容错等机制，能够将分布式存储系统部署到成千上万台服务器。可扩展性的实现手段很多，如通过增加副本个数或者缓存提高读取能力，将数据分片使得每个分片可以被分配到不同的工作节点以实现分布式处理，把数据复制到多个数据中心，等等。 分布... -
13.2 MapReduce
13.2 MapReduce 13.2 MapReduce 提到大数据，大多数人首先想到的就是MapReduce。MapReduce使得普通程序员可以在不了解分布式底层细节的前提下开发分布式程序。使用者只需编写两个称为Map和Reduce的函数即可，MapReduce框架会自动处理数据划分、多机并行执行、任务之间的协调，并且能够处理某个任务执行失败或者... -
13.4 流式计算
13.4 流式计算 13.4.1 原理" level="4"> 13.4.1 原理 13.4 流式计算 MapReduce及其扩展解决了离线批处理问题，但是无法保证实时性。对于实时性要求高的场景，可以采用流式计算或者实时分析系统进行处理。 流式计算（Stream Processing）解决在线聚合（Online Aggregation）、在线过滤（... -
分布式系统
分布式系统 分布式系统 [17]杨传辉.分布式系统工程实践，2010. [18]刘杰.分布式系统原理，2012. [19]AS Tanenbaum,M Van Steen.Distributed Systems：Principles and Paradigms,2012. [20]S Gilbert,N Lynch.Brewer's Conjec... -
分布式文件系统
分布式文件系统 分布式文件系统 [37]M Burrows.The Chubby Lock Service for Loosely-coupled Distributed Systems.OSDI,2006. [38]S Ghemawat,H Gobioff,ST Leung.The Google File System.SOSP,2003. [3... -
分布式表格系统
分布式表格系统 分布式表格系统 [51]F Chang,J Dean,S Ghemawat,etc.Bigtable：A Distributed Storage System for Structured Data.OSDI,2006. [52]J Baker,C Bond,JC Corbett,etc.Megastore：Providing Sca... -
第3章 分布式协调的实现
第3章 分布式协调的实现 第3章 分布式协调的实现 分布式协调是分布式应用中不可缺少的，通常会设立专门的协调者角色，即将多机协调的职责从分布式应用中独立出来，以减少系统的耦合性和增强可扩展性。Apache的ZooKeeper、Google的Chubby都是分布式协调的实现者。Fourinone实际上可以单独当做ZooKeeper用，它使用最少的代码实现...