-
3.4 复制
3.4 复制 3.4.1 复制的概述" level="4"> 3.4.1 复制的概述 3.4 复制 为了保证分布式存储系统的高可靠和高可用，数据在系统中一般存储多个副本。当某个副本所在的存储节点出现故障时，分布式存储系统能够自动将服务切换到其他的副本，从而实现自动容错。分布式存储系统通过复制协议将数据同步到多个存储节点，并确保多个副本之间的数据一致性... -
7.3.7 讨论
7.3.7 讨论 7.3.7 讨论 Google的分布式存储系统一步步地从Bigtable到Megastore，再到Spanner，这也印证了分布式技术和传统关系数据库技术融合的必然性，即底层通过分布式技术实现可扩展性，上层通过关系数据库的模型和接口将系统的功能暴露给用户。 阿里巴巴的OceanBase系统在设计之初就考虑到这两种技术融合的必然性，因... -
3.6.3 异构系统
3.6.3 异构系统 3.6.3 异构系统 传统数据库扩容与大规模存储系统的可扩展性有何区别呢？为了说明这一问题，我们首先定义同构系统，如图3-8所示。 图 3-8 同构系统 将存储节点分为若干组，每个组内的节点服务完全相同的数据，其中有一个节点为主节点，其他节点为备节点。由于同一个组内的节点服务相同的数据，这样的系统称为同构系统。同构... -
3.3 数据分布
3.3 数据分布 3.3.1 哈希分布" level="4"> 3.3.1 哈希分布 3.3 数据分布 分布式系统区别于传统单机系统在于能够将数据分布到多个节点，并在多个节点之间实现负载均衡。数据分布的方式主要有两种，一种是哈希分布，如一致性哈希，代表系统为Amazon的Dynamo系统；另外一种方法是顺序分布，即每张表格上的数据按照主键整体有序，代... -
4.2 Taobao File System
4.2 Taobao File System 4.2.1 系统架构" level="4"> 4.2.1 系统架构 4.2 Taobao File System 互联网应用经常需要存储用户上传的文档、图片、视频等，比如Facebook相册、淘宝图片、Dropbox文档等。文档、图片、视频一般称为Blob数据，存储Blob数据的文件系统也相应地称为Blo... -
3.3.2 顺序分布
3.3.2 顺序分布 3.3.2 顺序分布 哈希散列破坏了数据的有序性，只支持随机读取操作，不能够支持顺序扫描。某些系统可以在应用层做折衷，比如互联网应用经常按照用户来进行数据拆分，并通过哈希方法进行数据分布，同一个用户的数据分布到相同的存储节点，允许对同一个用户的数据执行顺序扫描，由应用层解决跨多个用户的操作问题。另外，这种方式可能出现某些用户的数据... -
11.4.5 使用与运维
11.4.5 使用与运维 11.4.5 使用与运维 稳定性和性能并不是分布式存储系统的全部，一个好的系统还必须具备较好的可用性和可运维性。 1.吃自己的狗粮 开发人员和运维人员往往属于不同的团队，这就会使得运维人员的需求总是被开发人员排成较低的优先级甚至忽略。一种比较有效的方式是让开发人员轮流运维自己开发的系统，定期总结运维过程中的问题，这样，运维... -
7.3.4 TrueTime
7.3.4 TrueTime 7.3.4 TrueTime 为了实现并发控制，数据库需要给每个事务分配全局唯一的事务id。然而，在分布式系统中，很难生成全局唯一id。一种方式是采用Google Percolator（Google Caffeine的底层存储系统）中的做法，即专门部署一套Oracle数据库用于生成全局唯一id。虽然Oracle逻辑上是一个... -
3.5 容错
3.5 容错 3.5.1 常见故障" level="4"> 3.5.1 常见故障 3.5 容错 随着集群规模变得越来越大，故障发生的概率也越来越大，大规模集群每天都有故障发生。容错是分布式存储系统设计的重要目标，只有实现了自动化容错，才能减少人工运维成本，实现分布式存储的规模效应。 单台服务器故障的概率是不高的，然而，只要集群的规模足够大，每天都可... -
7.3.2 架构
7.3.2 架构 7.3.2 架构 Spanner构建在Google下一代分布式文件系统Colossus之上。Colossus是GFS的延续，相比GFS,Colossus的主要改进点在于实时性，并且支持海量小文件。 由于Spanner是全球性的，因此它有两个其他分布式存储系统没有的概念： ●Universe。一个Spanner部署实例称为一个Uni...