-
第4章 分布式文件系统
第4章 分布式文件系统" level="2"> 第4章 分布式文件系统 4.1 Google文件系统" level="3"> 4.1 Google文件系统 4.1.1 系统架构" level="4"> 4.1.1 系统架构 第4章 分布式文件系统" class="reference-link"> 第4章 分布式文件系统 分布式文件系统的主要功能有两... -
8.4.8 分层结构
8.4.8 分层结构 8.4.8 分层结构 OceanBase对外提供的是与关系数据库一样的SQL操作接口，而内部却实现成一个线性可扩展的分布式系统。系统从逻辑实现上可以分为两个层次：分布式存储引擎层以及数据库功能层。 OceanBase一期只实现了分布式存储引擎，这个存储引擎支持如下特性： ●支持分布式数据结构，基线数据逻辑上构成一颗分布式B+树... -
3.7 分布式协议
3.7 分布式协议 3.7.1 两阶段提交协议" level="4"> 3.7.1 两阶段提交协议 3.7 分布式协议 分布式系统涉及的协议很多，例如租约，复制协议，一致性协议，其中以两阶段提交协议和Paxos协议最具有代表性。两阶段提交协议用于保证跨多个节点操作的原子性，也就是说，跨多个节点的操作要么在所有节点上全部执行成功，要么全部失败。Paxo... -
第13章 分布式处理与大数据平台
第13章 分布式处理与大数据平台 第13章 分布式处理与大数据平台 分布式系统和大数据处理平台是目前业界关注的热门技术。 本章将重点介绍热门的消息队列中间件RabbitMQ，分布式任务处理平台Celery，大数据分布式处理的三大重量级武器：Hadoop、Spark、Storm，以及新一代的数据采集和分析引擎Elasticsearch。 围绕如何基于... -
22.4 Etcd集群管理
22.4 Etcd集群管理 22.4.1 构建集群 22.4.2 集群参数配置 22.4 Etcd集群管理 Etcd的集群也采用了典型的“主-从”模型，通过Raft协议来保证在一段时间内有一个节点为主节点，其他节点为从节点。一旦当主节点发生故障，其他节点可以自动再重新选举出新的主节点。 跟其他分布式系统类似，集群中节点个数推荐为奇数个，最少为3个... -
2.1 分布式并行计算模式
2.1 分布式并行计算模式 2.1.1 最初想到的master-slave结构 2.1 分布式并行计算模式 2.1.1 最初想到的master-slave结构 当我们最初构思使用几台计算机去设计一个分布式并行计算系统时，很自然就会想到master-slave（m-s）的结构，由一台计算机作为主调度者，然后几台计算机根据调度完成任务，如图2-1所示。... -
3.3 数据分布
3.3 数据分布 3.3.1 哈希分布" level="4"> 3.3.1 哈希分布 3.3 数据分布 分布式系统区别于传统单机系统在于能够将数据分布到多个节点，并在多个节点之间实现负载均衡。数据分布的方式主要有两种，一种是哈希分布，如一致性哈希，代表系统为Amazon的Dynamo系统；另外一种方法是顺序分布，即每张表格上的数据按照主键整体有序，代... -
3.5 容错
3.5 容错 3.5.1 常见故障" level="4"> 3.5.1 常见故障 3.5 容错 随着集群规模变得越来越大，故障发生的概率也越来越大，大规模集群每天都有故障发生。容错是分布式存储系统设计的重要目标，只有实现了自动化容错，才能减少人工运维成本，实现分布式存储的规模效应。 单台服务器故障的概率是不高的，然而，只要集群的规模足够大，每天都可... -
7.3.4 TrueTime
7.3.4 TrueTime 7.3.4 TrueTime 为了实现并发控制，数据库需要给每个事务分配全局唯一的事务id。然而，在分布式系统中，很难生成全局唯一id。一种方式是采用Google Percolator（Google Caffeine的底层存储系统）中的做法，即专门部署一套Oracle数据库用于生成全局唯一id。虽然Oracle逻辑上是一个... -
22.1 简介
22.1 简介 22.1 简介 Etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值（key-value）数据库，基于Go语言实现。 接触过分布式系统的读者应该知道，分布式系统中，最基本最重要的问题就是各种信息的一致性，包括对服务的配置信息的管理、服务的发现、更新、同步等等。而要解决这些问题，往往需要基于...