-
第7章 分布式作业调度平台的实现
第7章 分布式作业调度平台的实现 第7章 分布式作业调度平台的实现 在前面第2章介绍的分布式并行计算原理中，我们看到可以将工头工人程序部署到不同的机器上运行，然后完成计算。但是，当这样的并行计算应用非常多，而我们的机器数量有限时，我们需要排队依次来使用机器，第一个并行计算应用跑完了，再跑第二个应用，如果第一个并行计算应用只占部分机器，那么可以考虑同时跑... -
3.4.2 一致性与可用性
3.4.2 一致性与可用性 3.4.2 一致性与可用性 来自Berkerly的Eric Brewer教授提出了一个著名的CAP理论：一致性（Consistency），可用性（Availability）以及分区可容忍性（Tolerance of network Partition）三者不能同时满足。笔者认为没有必要纠结CAP理论最初的定义，在工程实践中，... -
3.7.2 Paxos协议
3.7.2 Paxos协议 3.7.2 Paxos协议 Paxos协议用于解决多个节点之间的一致性问题。多个节点之间通过操作日志同步数据，如果只有一个节点为主节点，那么，很容易确保多个节点之间操作日志的一致性。考虑到主节点可能出现故障，系统需要选举出新的主节点。Paxos协议正是用来实现这个需求。只要保证了多个节点之间操作日志的一致性，就能够在这些节点... -
3.8 跨机房部署
3.8 跨机房部署 3.8 跨机房部署 在分布式系统中，跨机房问题一直都是老大难问题。机房之间的网络延时较大，且不稳定。跨机房问题主要包含两个方面：数据同步以及服务切换。跨机房部署方案有三个：集群整体切换、单个集群跨机房、Paxos选主副本。下面分别介绍。 1.集群整体切换 集群整体切换是最为常见的方案。如图3-10所示，假设某系统部署在两个机房：... -
第二篇 范型篇
第二篇 范型篇 第二篇 范型篇 本篇内容 第4章 分布式文件系统 第5章 分布式键值系统 第6章 分布式表格系统 第7章 分布式数据库 -
6.2.2 实体组
6.2.2 实体组 6.2.2 实体组 如图6-7，总体上看，数据拆分成不同的实体组，每个实体组内的操作日志采用基于Paxos的方式同步到多个机房，保证强一致性。实体组之间通过分布式队列的方式保证最终一致性或者两阶段提交协议的方式实现分布式事务。我们先看单个集群的情况，暂时忽略基于Paxos的复制机制。 图 6-7 Megastore实体组... -
7.2.4 容错
7.2.4 容错 7.2.4 容错 如果数据节点发生了故障，需要启动宕机恢复过程。每个SQL Server实例最多服务650个逻辑分区，这些分区可能是主副本，也可能是备副本。全局分区管理器统一调度，每次选择一个分区执行重新配置（Reconfiguration）。如果出现故障的分区是备副本，全局分区管理器首先选择一台负载较轻的服务器，接着从相应的主副本分... -
7.3.3 复制与一致性
7.3.3 复制与一致性 7.3.3 复制与一致性 如图7-8所示，每个数据中心运行着一套Colossus，每个机器有100～1000个子表，每个子表会在多个数据中心部署多个副本。为了同步系统中的操作日志，每个子表上会运行一个Paxos状态机。Paxos协议会选出一个副本作为主副本，这个主副本的寿命默认是10秒。正常情况下，这个主副本会在快要到期的时候... -
8.2 设计思路
8.2 设计思路 8.2 设计思路 OceanBase的目标是支持数百TB的数据量以及数十万TPS、数百万QPS的访问量，无论是数据量还是访问量，即使采用非常昂贵的小型机甚至是大型机，单台关系数据库系统都无法承受。 一种常见的做法是根据业务特点对数据库进行水平拆分，通常的做法是根据某个业务字段（通常取用户编号，user_id）哈希后取模，根据取模的结... -
8.4.2 数据结构
8.4.2 数据结构 8.4.2 数据结构 OceanBase数据分为基线数据和增量数据两个部分，基线数据分布在多台ChunkServer上，增量数据全部存放在一台UpdateServer上。如图8-5所示，系统中有5个子表，每个子表有3个副本，所有的子表分布到4台ChunkServer上。RootServer中维护了每个子表所在的ChunkServe...