-
4.1.5 讨论
4.1.5 讨论 4.1.5 讨论 从GFS的架构设计可以看出，GFS是一个具有良好可扩展性并能够在软件层面自动处理各种异常情况的系统。Google是一家很重视自动化的公司，从早期的GFS，再到Bigtable、Megastore，以及最近的Spanner,Google的分布式存储系统在这一点上一脉相承。由于Google的系统一开始能很好地解决可扩展性... -
4.2 Taobao File System
4.2 Taobao File System 4.2.1 系统架构" level="4"> 4.2.1 系统架构 4.2 Taobao File System 互联网应用经常需要存储用户上传的文档、图片、视频等，比如Facebook相册、淘宝图片、Dropbox文档等。文档、图片、视频一般称为Blob数据，存储Blob数据的文件系统也相应地称为Blo... -
11.4.5 使用与运维
11.4.5 使用与运维 11.4.5 使用与运维 稳定性和性能并不是分布式存储系统的全部，一个好的系统还必须具备较好的可用性和可运维性。 1.吃自己的狗粮 开发人员和运维人员往往属于不同的团队，这就会使得运维人员的需求总是被开发人员排成较低的优先级甚至忽略。一种比较有效的方式是让开发人员轮流运维自己开发的系统，定期总结运维过程中的问题，这样，运维... -
4.3 Facebook Haystack
4.3 Facebook Haystack 4.3.1 系统架构" level="4"> 4.3.1 系统架构 4.3 Facebook Haystack Facebook目前存储了2600亿张照片，总大小为20PB，通过计算可以得出每张照片的平均大小为20PB/260GB，约为80KB。用户每周新增照片数为10亿（总大小为60TB），平均每秒新增的... -
6.2 Google Megastore
6.2 Google Megastore 6.2.1 系统架构" level="4"> 6.2.1 系统架构 6.2 Google Megastore Google Bigtable架构把可扩展性基本做到了极致，Megastore则是在Bigtable系统之上提供友好的数据库功能支持，增强易用性。Megastore是介于传统的关系型数据库和NoSQL... -
7.3.4 TrueTime
7.3.4 TrueTime 7.3.4 TrueTime 为了实现并发控制，数据库需要给每个事务分配全局唯一的事务id。然而，在分布式系统中，很难生成全局唯一id。一种方式是采用Google Percolator（Google Caffeine的底层存储系统）中的做法，即专门部署一套Oracle数据库用于生成全局唯一id。虽然Oracle逻辑上是一个... -
4.4.2 讨论
4.4.2 讨论 4.4.2 讨论 由于Blob存储系统读访问量大，更新和删除很少，特别适合通过CDN技术分发到离用户最近的节点。CDN也是一种缓存，需要考虑与源服务器之间的一致性。源服务器更新或者删除了Blob数据，需要能够比较实时地推送到CDN缓存节点，否则只能等到缓存中的对象被淘汰，而对象的有效期一般很长，热门对象很难被淘汰。 另外，淘宝在研发... -
6.2.9 讨论
6.2.9 讨论 6.2.9 讨论 分布式存储系统有两个目标：一个是可扩展性，最终目标是线性可扩展；另外一个是功能，最终目标是支持全功能SQL。Megastore是一个介于传统的关系型数据库和分布式NoSQL系统之间的存储系统，融合了SQL和NoSQL两者的优势。 Megastore的主要创新点包括： ●提出实体组的数据模型。通过实体组划分数据，实... -
4.4 内容分发网络
4.4 内容分发网络 4.4.1 CDN架构" level="4"> 4.4.1 CDN架构 4.4 内容分发网络 CDN通过将网络内容发布到靠近用户的边缘节点，使不同地域的用户在访问相同网页时可以就近获取。这样既可以减轻源服务器的负担，也可以减少整个网络中的流量分布不均的情况，进而改善整个网络性能。所谓的边缘节点是CDN服务提供商经过精心挑选的距离... -
2.2 单机存储引擎
2.2 单机存储引擎 2.2.1 哈希存储引擎" level="4"> 2.2.1 哈希存储引擎 2.2 单机存储引擎 存储引擎是存储系统的发动机，直接决定了存储系统能够提供的性能和功能。存储系统的基本功能包括：增、删、读、改，其中，读取操作又分为随机读取和顺序扫描。哈希存储引擎是哈希表的持久化实现，支持增、删、改，以及随机读取操作，但不支持顺序扫描...