-
第6章 分布式表格系统
第6章 分布式表格系统 6.1 Google Bigtable" level="3"> 6.1 Google Bigtable 6.1.1 架构" level="4"> 6.1.1 架构 第6章 分布式表格系统 分布式表格系统对外提供表格模型，每个表格由很多行组成，通过主键唯一标识，每一行包含很多列。整个表格在系统中全局有序，适用3.3.2节中讲的... -
4.4.2 讨论
4.4.2 讨论 4.4.2 讨论 由于Blob存储系统读访问量大，更新和删除很少，特别适合通过CDN技术分发到离用户最近的节点。CDN也是一种缓存，需要考虑与源服务器之间的一致性。源服务器更新或者删除了Blob数据，需要能够比较实时地推送到CDN缓存节点，否则只能等到缓存中的对象被淘汰，而对象的有效期一般很长，热门对象很难被淘汰。 另外，淘宝在研发... -
4.4 内容分发网络
4.4 内容分发网络 4.4.1 CDN架构" level="4"> 4.4.1 CDN架构 4.4 内容分发网络 CDN通过将网络内容发布到靠近用户的边缘节点，使不同地域的用户在访问相同网页时可以就近获取。这样既可以减轻源服务器的负担，也可以减少整个网络中的流量分布不均的情况，进而改善整个网络性能。所谓的边缘节点是CDN服务提供商经过精心挑选的距离... -
3.3.2 顺序分布
3.3.2 顺序分布 3.3.2 顺序分布 哈希散列破坏了数据的有序性，只支持随机读取操作，不能够支持顺序扫描。某些系统可以在应用层做折衷，比如互联网应用经常按照用户来进行数据拆分，并通过哈希方法进行数据分布，同一个用户的数据分布到相同的存储节点，允许对同一个用户的数据执行顺序扫描，由应用层解决跨多个用户的操作问题。另外，这种方式可能出现某些用户的数据... -
2.1.2 IO总线
2.1.2 IO总线 2.1.2 IO总线 存储系统的性能瓶颈一般在于IO，因此，有必要对IO子系统的架构有一个大致的了解。以Intel x48主板为例，它是典型的南、北桥架构，如图2-3所示。北桥芯片通过前端总线（Front Side Bus,FSB）与CPU相连，内存模块以及PCI-E设备（如高端的SSD设备Fusion-IO）挂接在北桥上。北桥与... -
7.3.2 架构
7.3.2 架构 7.3.2 架构 Spanner构建在Google下一代分布式文件系统Colossus之上。Colossus是GFS的延续，相比GFS,Colossus的主要改进点在于实时性，并且支持海量小文件。 由于Spanner是全球性的，因此它有两个其他分布式存储系统没有的概念： ●Universe。一个Spanner部署实例称为一个Uni... -
2.3 数据模型
2.3 数据模型 2.3.1 文件模型" level="4"> 2.3.1 文件模型 2.3 数据模型 如果说存储引擎相当于存储系统的发动机，那么，数据模型就是存储系统的外壳。存储系统的数据模型主要包括三类：文件、关系以及随着NoSQL技术流行起来的键值模型。传统的文件系统和关系数据库系统分别采用文件和关系模型。关系模型描述能力强，产业链完整，是存储... -
6.3 Windows Azure Storage
6.3 Windows Azure Storage 6.3.1 整体架构" level="4"> 6.3.1 整体架构 6.3 Windows Azure Storage Windows Azure Storage（WAS）是微软开发的云存储系统，包括三种数据存储服务：Windows Azure Blob、Windows Azure Table、Wi... -
11.4.4 系统实现
11.4.4 系统实现 11.4.4 系统实现 分布式存储系统实现的关键在于可控性，包括代码复杂度、服务器资源、代码质量等。开发基础系统时，一个优秀工程师发挥的作用会超过10个平庸的工程师，常见的团队组建方式是有经验的优秀工程师加上有潜质的工程师，这些有潜质的工程师往往是优秀的应届生，能够在开发过程中迅速成长起来。 1.重视服务器代码资源管理 内存... -
3.6 可扩展性
3.6 可扩展性 3.6.1 总控节点" level="4"> 3.6.1 总控节点 3.6 可扩展性 通过数据分布，复制以及容错等机制，能够将分布式存储系统部署到成千上万台服务器。可扩展性的实现手段很多，如通过增加副本个数或者缓存提高读取能力，将数据分片使得每个分片可以被分配到不同的工作节点以实现分布式处理，把数据复制到多个数据中心，等等。 分布...