-
3.7.3 Paxos与2PC
3.7.3 Paxos与2PC 3.7.3 Paxos与2PC Paxos协议和2PC协议在分布式系统中所起的作用并不相同。Paxos协议用于保证同一个数据分片的多个副本之间的数据一致性。当这些副本分布到不同的数据中心时，这个需求尤其强烈。2PC协议用于保证属于多个数据分片上的操作的原子性。这些数据分片可能分布在不同的服务器上，2PC协议保证多台服务器... -
3.8 跨机房部署
3.8 跨机房部署 3.8 跨机房部署 在分布式系统中，跨机房问题一直都是老大难问题。机房之间的网络延时较大，且不稳定。跨机房问题主要包含两个方面：数据同步以及服务切换。跨机房部署方案有三个：集群整体切换、单个集群跨机房、Paxos选主副本。下面分别介绍。 1.集群整体切换 集群整体切换是最为常见的方案。如图3-10所示，假设某系统部署在两个机房：... -
5.1.7 讨论
5.1.7 讨论 5.1.7 讨论 Dynamo采用无中心节点的P2P设计，增加了系统可扩展性，但同时带来了一致性问题，影响上层应用。另外，一致性问题也使得异常情况下的测试变得更加困难，由于Dynamo只保证最基本的最终一致性，多客户端并发操作的时候很难预测操作结果，也很难预测不一致的时间窗口，影响测试用例设计。 总体上看，Dynamo在Amazon... -
7.3.3 复制与一致性
7.3.3 复制与一致性 7.3.3 复制与一致性 如图7-8所示，每个数据中心运行着一套Colossus，每个机器有100～1000个子表，每个子表会在多个数据中心部署多个副本。为了同步系统中的操作日志，每个子表上会运行一个Paxos状态机。Paxos协议会选出一个副本作为主副本，这个主副本的寿命默认是10秒。正常情况下，这个主副本会在快要到期的时候... -
13.3.2 Microsoft Dryad
13.3.2 Microsoft Dryad 13.3.2 Microsoft Dryad Microsoft Dryad是微软研究院创建的研究项目，主要用来提供一个分布式并行计算平台。在Dryad平台上，每个Dryad工作流被表示为一个有向无环图。图中的每个节点表示一个要执行的程序，节点之间的边表示数据通道中数据的传输方式，其可能是文件、管道、共享内... -
分布式文件系统
分布式文件系统 分布式文件系统 [37]M Burrows.The Chubby Lock Service for Loosely-coupled Distributed Systems.OSDI,2006. [38]S Ghemawat,H Gobioff,ST Leung.The Google File System.SOSP,2003. [3... -
分布式键值系统
分布式键值系统 分布式键值系统 [43]G DeCandia,D Hastorun,M Jampani.Dynamo：Amazon's Highly Available Key-value Store.SOSP,2007. [44]AK Fischman,AH Vermeulen.Keymap Service Architecture for A D... -
2.2 跟Hadoop的区别
2.2 跟Hadoop的区别 2.2 跟Hadoop的区别 对于初学者，特别是学习过一些Hadoop知识的读者，可能阅读到这里会产生疑惑，本书描述的分布式核心技术跟Hadoop之间的到底有哪些区别。 在表2-1中，我们全面列举两者之间的区别，但是仅供参考，不是对Hadoop产品持否认态度，我们一贯尊重Hadoop作者和Hadoop的使用者。 注意 ... -
第3章 分布式协调的实现
第3章 分布式协调的实现 第3章 分布式协调的实现 分布式协调是分布式应用中不可缺少的，通常会设立专门的协调者角色，即将多机协调的职责从分布式应用中独立出来，以减少系统的耦合性和增强可扩展性。Apache的ZooKeeper、Google的Chubby都是分布式协调的实现者。Fourinone实际上可以单独当做ZooKeeper用，它使用最少的代码实现... -
3.5 与Paxos算法的区别
3.5 与Paxos算法的区别 3.5 与Paxos算法的区别 Paxos在维持领导者选举或者变量修改一致性上，采取一种类似议会投票的过半同意机制，比如设定一个领导者，需要将此看做一个议案，征求过半同意，每个节点通过一个议案会有编号记录，再次收到此领导者的不同人选，发现已经有编号记录便驳回，最后以多数通过的结果为准。 我们举个简单的例子，来阐述一下P...