-
存储系统
存储系统 存储系统 [4]Justin Sheehy,David Smith.Bitcask：A Log-Structured Hash Table for Fast Key/Value Data,2010. [5]Oracle.Mysql InnoDB Storage Engine.http://dev.mysql.com/doc/refman/5... -
2.5.3 优化手段
2.5.3 优化手段 2.5.3 优化手段 1.成组提交 存储系统要求先将REDO日志刷入磁盘才可以更新内存中的数据，如果每个事务都要求将日志立即刷入磁盘，系统的吞吐量将会很差。因此，存储系统往往有一个是否立即刷入磁盘的选项，对于一致性要求很高的应用，可以设置为立即刷入；相应地，对于一致性要求不太高的应用，可以设置为不要求立即刷入，首先将REDO日志... -
2.5 故障恢复
2.5 故障恢复 2.5.1 操作日志" level="4"> 2.5.1 操作日志 2.5 故障恢复 数据库运行过程中可能会发生故障，这个时候某些事务可能执行到一半但没有提交，当系统重启时，需要能够恢复到一致的状态，即要么提交整个事务，要么回滚。数据库系统以及其他的分布式存储系统一般采用操作日志（有时也称为提交日志，即Commit Log）技术来实... -
7.2.6 多租户
7.2.6 多租户 7.2.6 多租户 云存储系统中多个用户的操作相互干扰，因此需要限制每个SQL Azure逻辑实例使用的系统资源： 1）操作系统资源限制，比如CPU、内存、写入速度，等等。如果超过限制，将在10秒内拒绝相应的用户请求； 2）SQL Azure逻辑数据库容量限制。每个逻辑数据库都预先设置了最大的容量，超过限制时拒绝更新请求，但允许... -
2.5.2 重做日志
2.5.2 重做日志 2.5.2 重做日志 存储系统如果采用REDO日志，其写操作流程如下： 1）将REDO日志以追加写的方式写入磁盘的日志文件。 2）将REDO日志的修改操作应用到内存中。 3）返回操作成功或者失败。 REDO日志的约束规则为：在修改内存中的元素X之前，要确保与这一修改相关的操作日志必须先刷入到磁盘中。顾名思义，用REDO日志... -
8.4.7 数据正确性
8.4.7 数据正确性 8.4.7 数据正确性 数据丢失或者数据错误对于存储系统来说是一种灾难。前面8.4.1节中已经提到，OceanBase设计为强一致性系统，设计方案上保证不丢数据。然而，TCP协议传输、磁盘读写都可能出现数据错误，程序Bug则更为常见。为了防止各种因素导致的数据损毁，OceanBase采取了以下数据校验措施： ●数据存储校验。每... -
4.2.2 讨论
4.2.2 讨论 4.2.2 讨论 图片应用中有几个问题，第一个问题是图片去重，第二个问题是图片更新与删除。 由于用户可能上传大量相同的图片，因此，图片上传到TFS前，需要去重。一般在外部维护一套文件级别的去重系统（Dedup），采用MD5或者SHA1等Hash算法为图片文件计算指纹（FingerPrint）。图片写入TFS之前首先到去重系统中查找是... -
3.5.3 故障恢复
3.5.3 故障恢复 3.5.3 故障恢复 当总控机检测到工作机发生故障时，需要将服务迁移到其他工作机节点。常见的分布式存储系统分为两种结构：单层结构和双层结构。大部分系统为单层结构，在系统中对每个数据分片维护多个副本；只有类Bigtable系统为双层结构，将存储和服务分为两层，存储层对每个数据分片维护多个副本，服务层只有一个副本提供服务。单层结构和双...