-
4.4 内容分发网络
4.4 内容分发网络 4.4.1 CDN架构" level="4"> 4.4.1 CDN架构 4.4 内容分发网络 CDN通过将网络内容发布到靠近用户的边缘节点，使不同地域的用户在访问相同网页时可以就近获取。这样既可以减轻源服务器的负担，也可以减少整个网络中的流量分布不均的情况，进而改善整个网络性能。所谓的边缘节点是CDN服务提供商经过精心挑选的距离... -
第3章 分布式系统
第3章 分布式系统 3.1 基本概念" level="3"> 3.1 基本概念 3.1.1 异常" level="4"> 3.1.1 异常 第3章 分布式系统 水桶无论有多高，其盛水的高度取决于其中最短的那块木板，这就是著名的“木桶效应”。架构设计之初要求我们能够估算系统的性能从而权衡不同的设计方法。本章首先介绍分布式系统相关的基础概念和性能估算方... -
6.2 Google Megastore
6.2 Google Megastore 6.2.1 系统架构" level="4"> 6.2.1 系统架构 6.2 Google Megastore Google Bigtable架构把可扩展性基本做到了极致，Megastore则是在Bigtable系统之上提供友好的数据库功能支持，增强易用性。Megastore是介于传统的关系型数据库和NoSQL... -
3.3 数据分布
3.3 数据分布 3.3.1 哈希分布" level="4"> 3.3.1 哈希分布 3.3 数据分布 分布式系统区别于传统单机系统在于能够将数据分布到多个节点，并在多个节点之间实现负载均衡。数据分布的方式主要有两种，一种是哈希分布，如一致性哈希，代表系统为Amazon的Dynamo系统；另外一种方法是顺序分布，即每张表格上的数据按照主键整体有序，代... -
4.2 Taobao File System
4.2 Taobao File System 4.2.1 系统架构" level="4"> 4.2.1 系统架构 4.2 Taobao File System 互联网应用经常需要存储用户上传的文档、图片、视频等，比如Facebook相册、淘宝图片、Dropbox文档等。文档、图片、视频一般称为Blob数据，存储Blob数据的文件系统也相应地称为Blo... -
3.5 容错
3.5 容错 3.5.1 常见故障" level="4"> 3.5.1 常见故障 3.5 容错 随着集群规模变得越来越大，故障发生的概率也越来越大，大规模集群每天都有故障发生。容错是分布式存储系统设计的重要目标，只有实现了自动化容错，才能减少人工运维成本，实现分布式存储的规模效应。 单台服务器故障的概率是不高的，然而，只要集群的规模足够大，每天都可... -
3.3.2 顺序分布
3.3.2 顺序分布 3.3.2 顺序分布 哈希散列破坏了数据的有序性，只支持随机读取操作，不能够支持顺序扫描。某些系统可以在应用层做折衷，比如互联网应用经常按照用户来进行数据拆分，并通过哈希方法进行数据分布，同一个用户的数据分布到相同的存储节点，允许对同一个用户的数据执行顺序扫描，由应用层解决跨多个用户的操作问题。另外，这种方式可能出现某些用户的数据... -
11.4.5 使用与运维
11.4.5 使用与运维 11.4.5 使用与运维 稳定性和性能并不是分布式存储系统的全部，一个好的系统还必须具备较好的可用性和可运维性。 1.吃自己的狗粮 开发人员和运维人员往往属于不同的团队，这就会使得运维人员的需求总是被开发人员排成较低的优先级甚至忽略。一种比较有效的方式是让开发人员轮流运维自己开发的系统，定期总结运维过程中的问题，这样，运维... -
7.3.4 TrueTime
7.3.4 TrueTime 7.3.4 TrueTime 为了实现并发控制，数据库需要给每个事务分配全局唯一的事务id。然而，在分布式系统中，很难生成全局唯一id。一种方式是采用Google Percolator（Google Caffeine的底层存储系统）中的做法，即专门部署一套Oracle数据库用于生成全局唯一id。虽然Oracle逻辑上是一个... -
4.3 Facebook Haystack
4.3 Facebook Haystack 4.3.1 系统架构" level="4"> 4.3.1 系统架构 4.3 Facebook Haystack Facebook目前存储了2600亿张照片，总大小为20PB，通过计算可以得出每张照片的平均大小为20PB/260GB，约为80KB。用户每周新增照片数为10亿（总大小为60TB），平均每秒新增的...