-
3.5.3 故障恢复
3.5.3 故障恢复 3.5.3 故障恢复 当总控机检测到工作机发生故障时，需要将服务迁移到其他工作机节点。常见的分布式存储系统分为两种结构：单层结构和双层结构。大部分系统为单层结构，在系统中对每个数据分片维护多个副本；只有类Bigtable系统为双层结构，将存储和服务分为两层，存储层对每个数据分片维护多个副本，服务层只有一个副本提供服务。单层结构和双... -
4.2.2 讨论
4.2.2 讨论 4.2.2 讨论 图片应用中有几个问题，第一个问题是图片去重，第二个问题是图片更新与删除。 由于用户可能上传大量相同的图片，因此，图片上传到TFS前，需要去重。一般在外部维护一套文件级别的去重系统（Dedup），采用MD5或者SHA1等Hash算法为图片文件计算指纹（FingerPrint）。图片写入TFS之前首先到去重系统中查找是... -
8.4.7 数据正确性
8.4.7 数据正确性 8.4.7 数据正确性 数据丢失或者数据错误对于存储系统来说是一种灾难。前面8.4.1节中已经提到，OceanBase设计为强一致性系统，设计方案上保证不丢数据。然而，TCP协议传输、磁盘读写都可能出现数据错误，程序Bug则更为常见。为了防止各种因素导致的数据损毁，OceanBase采取了以下数据校验措施： ●数据存储校验。每... -
2.5.3 优化手段
2.5.3 优化手段 2.5.3 优化手段 1.成组提交 存储系统要求先将REDO日志刷入磁盘才可以更新内存中的数据，如果每个事务都要求将日志立即刷入磁盘，系统的吞吐量将会很差。因此，存储系统往往有一个是否立即刷入磁盘的选项，对于一致性要求很高的应用，可以设置为立即刷入；相应地，对于一致性要求不太高的应用，可以设置为不要求立即刷入，首先将REDO日志... -
2.5.2 重做日志
2.5.2 重做日志 2.5.2 重做日志 存储系统如果采用REDO日志，其写操作流程如下： 1）将REDO日志以追加写的方式写入磁盘的日志文件。 2）将REDO日志的修改操作应用到内存中。 3）返回操作成功或者失败。 REDO日志的约束规则为：在修改内存中的元素X之前，要确保与这一修改相关的操作日志必须先刷入到磁盘中。顾名思义，用REDO日志... -
8.4.6 SSD支持
8.4.6 SSD支持 8.4.6 SSD支持 磁盘随机IO是存储系统性能的决定因素，传统的SAS盘能够提供的IOPS不超过300。关系数据库一般采用高速缓存（Buffer Cache）[1] 的方式缓解这个问题，读取操作将磁盘中的页面缓存到高速缓存中，并通过LRU或者类似的方式淘汰不经常访问的页面；同样，写入操作也是将数据写入到高速缓存中，由高速缓存... -
7.3 Google Spanner
7.3 Google Spanner 7.3.1 数据模型" level="4"> 7.3.1 数据模型 7.3 Google Spanner Google Spanner是Google的全球级分布式数据库（Globally-Distributed Database）。Spanner的扩展性达到了全球级，可以扩展到数百个数据中心，数百万台机器，上万亿... -
7.2.6 多租户
7.2.6 多租户 7.2.6 多租户 云存储系统中多个用户的操作相互干扰，因此需要限制每个SQL Azure逻辑实例使用的系统资源： 1）操作系统资源限制，比如CPU、内存、写入速度，等等。如果超过限制，将在10秒内拒绝相应的用户请求； 2）SQL Azure逻辑数据库容量限制。每个逻辑数据库都预先设置了最大的容量，超过限制时拒绝更新请求，但允许...