-
7.3.2 架构
7.3.2 架构 7.3.2 架构 Spanner构建在Google下一代分布式文件系统Colossus之上。Colossus是GFS的延续，相比GFS,Colossus的主要改进点在于实时性，并且支持海量小文件。 由于Spanner是全球性的，因此它有两个其他分布式存储系统没有的概念： ●Universe。一个Spanner部署实例称为一个Uni... -
7.3 Google Spanner
7.3 Google Spanner 7.3.1 数据模型" level="4"> 7.3.1 数据模型 7.3 Google Spanner Google Spanner是Google的全球级分布式数据库（Globally-Distributed Database）。Spanner的扩展性达到了全球级，可以扩展到数百个数据中心，数百万台机器，上万亿... -
6.1.3 复制与一致性
6.1.3 复制与一致性 6.1.3 复制与一致性 Bigtable系统保证强一致性，同一个时刻同一个子表只能被一台Tablet Server服务，也就是说，Master将子表分配给某个Tablet Server服务时需要确保没有其他的Tablet Server正在服务这个子表。这是通过Chubby的互斥锁机制保证的，Tablet Server启动时需... -
4.4.2 讨论
4.4.2 讨论 4.4.2 讨论 由于Blob存储系统读访问量大，更新和删除很少，特别适合通过CDN技术分发到离用户最近的节点。CDN也是一种缓存，需要考虑与源服务器之间的一致性。源服务器更新或者删除了Blob数据，需要能够比较实时地推送到CDN缓存节点，否则只能等到缓存中的对象被淘汰，而对象的有效期一般很长，热门对象很难被淘汰。 另外，淘宝在研发... -
6.3 Windows Azure Storage
6.3 Windows Azure Storage 6.3.1 整体架构" level="4"> 6.3.1 整体架构 6.3 Windows Azure Storage Windows Azure Storage（WAS）是微软开发的云存储系统，包括三种数据存储服务：Windows Azure Blob、Windows Azure Table、Wi... -
2.3 数据模型
2.3 数据模型 2.3.1 文件模型" level="4"> 2.3.1 文件模型 2.3 数据模型 如果说存储引擎相当于存储系统的发动机，那么，数据模型就是存储系统的外壳。存储系统的数据模型主要包括三类：文件、关系以及随着NoSQL技术流行起来的键值模型。传统的文件系统和关系数据库系统分别采用文件和关系模型。关系模型描述能力强，产业链完整，是存储... -
3.6 可扩展性
3.6 可扩展性 3.6.1 总控节点" level="4"> 3.6.1 总控节点 3.6 可扩展性 通过数据分布，复制以及容错等机制，能够将分布式存储系统部署到成千上万台服务器。可扩展性的实现手段很多，如通过增加副本个数或者缓存提高读取能力，将数据分片使得每个分片可以被分配到不同的工作节点以实现分布式处理，把数据复制到多个数据中心，等等。 分布... -
8.4.6 SSD支持
8.4.6 SSD支持 8.4.6 SSD支持 磁盘随机IO是存储系统性能的决定因素，传统的SAS盘能够提供的IOPS不超过300。关系数据库一般采用高速缓存（Buffer Cache）[1] 的方式缓解这个问题，读取操作将磁盘中的页面缓存到高速缓存中，并通过LRU或者类似的方式淘汰不经常访问的页面；同样，写入操作也是将数据写入到高速缓存中，由高速缓存... -
13.4 流式计算
13.4 流式计算 13.4.1 原理" level="4"> 13.4.1 原理 13.4 流式计算 MapReduce及其扩展解决了离线批处理问题，但是无法保证实时性。对于实时性要求高的场景，可以采用流式计算或者实时分析系统进行处理。 流式计算（Stream Processing）解决在线聚合（Online Aggregation）、在线过滤（... -
2.5.3 优化手段
2.5.3 优化手段 2.5.3 优化手段 1.成组提交 存储系统要求先将REDO日志刷入磁盘才可以更新内存中的数据，如果每个事务都要求将日志立即刷入磁盘，系统的吞吐量将会很差。因此，存储系统往往有一个是否立即刷入磁盘的选项，对于一致性要求很高的应用，可以设置为立即刷入；相应地，对于一致性要求不太高的应用，可以设置为不要求立即刷入，首先将REDO日志...