-
13.4 流式计算
13.4 流式计算 13.4.1 原理" level="4"> 13.4.1 原理 13.4 流式计算 MapReduce及其扩展解决了离线批处理问题，但是无法保证实时性。对于实时性要求高的场景，可以采用流式计算或者实时分析系统进行处理。 流式计算（Stream Processing）解决在线聚合（Online Aggregation）、在线过滤（... -
4.3 Facebook Haystack
4.3 Facebook Haystack 4.3.1 系统架构" level="4"> 4.3.1 系统架构 4.3 Facebook Haystack Facebook目前存储了2600亿张照片，总大小为20PB，通过计算可以得出每张照片的平均大小为20PB/260GB，约为80KB。用户每周新增照片数为10亿（总大小为60TB），平均每秒新增的... -
6.4 本章小结
6.4 本章小结 6.4 本章小结 数据是最宝贵的资源。Docker在设计上考虑到了这点，为数据管理提供了充分的操作支持。 本章介绍了通过数据卷和数据卷容器对容器内数据进行共享、备份和恢复等操作，通过这些机制，即使容器在运行中出现故障，用户也不必担心数据发生丢失，只需要快速地重新创建容器即可。 在生产环境中，笔者推荐在使用数据卷或数据卷容器之外，定... -
2.3 数据模型
2.3 数据模型 2.3.1 文件模型" level="4"> 2.3.1 文件模型 2.3 数据模型 如果说存储引擎相当于存储系统的发动机，那么，数据模型就是存储系统的外壳。存储系统的数据模型主要包括三类：文件、关系以及随着NoSQL技术流行起来的键值模型。传统的文件系统和关系数据库系统分别采用文件和关系模型。关系模型描述能力强，产业链完整，是存储... -
8.4.3 可靠性与可用性
8.4.3 可靠性与可用性 8.4.3 可靠性与可用性 分布式系统需要处理各种故障，例如，软件故障、服务器故障、网络故障、数据中心故障、地震、火灾等。与其他分布式存储系统一样，OceanBase通过冗余的方式保障了高可靠性和高可用性。方法如下所示： ●OceanBase在ChunkServer中保存了基线数据的多个副本。单集群部署时一般会配置3个副本... -
3.4.2 一致性与可用性
3.4.2 一致性与可用性 3.4.2 一致性与可用性 来自Berkerly的Eric Brewer教授提出了一个著名的CAP理论：一致性（Consistency），可用性（Availability）以及分区可容忍性（Tolerance of network Partition）三者不能同时满足。笔者认为没有必要纠结CAP理论最初的定义，在工程实践中，... -
3.3.3 负载均衡
3.3.3 负载均衡 3.3.3 负载均衡 分布式存储系统的每个集群中一般有一个总控节点，其他节点为工作节点，由总控节点根据全局负载信息进行整体调度。工作节点刚上线时，总控节点需要将数据迁移到该节点，另外，系统运行过程中也需要不断地执行迁移任务，将数据从负载较高的工作节点迁移到负载较低的工作节点。 工作节点通过心跳包（Heartbeat，定时发送）将... -
3.1.2 一致性
3.1.2 一致性 3.1.2 一致性 由于异常的存在，分布式存储系统设计时往往会将数据冗余存储多份，每一份称为一个副本（replica/copy）。这样，当某一个节点出现故障时，可以从其他副本上读到数据。可以这么认为，副本是分布式存储系统容错技术的唯一手段。由于多个副本的存在，如何保证副本之间的一致性是整个分布式系统的理论核心。 可以从两个角度理解... -
2.5.3 优化手段
2.5.3 优化手段 2.5.3 优化手段 1.成组提交 存储系统要求先将REDO日志刷入磁盘才可以更新内存中的数据，如果每个事务都要求将日志立即刷入磁盘，系统的吞吐量将会很差。因此，存储系统往往有一个是否立即刷入磁盘的选项，对于一致性要求很高的应用，可以设置为立即刷入；相应地，对于一致性要求不太高的应用，可以设置为不要求立即刷入，首先将REDO日志... -
2.5 故障恢复
2.5 故障恢复 2.5.1 操作日志" level="4"> 2.5.1 操作日志 2.5 故障恢复 数据库运行过程中可能会发生故障，这个时候某些事务可能执行到一半但没有提交，当系统重启时，需要能够恢复到一致的状态，即要么提交整个事务，要么回滚。数据库系统以及其他的分布式存储系统一般采用操作日志（有时也称为提交日志，即Commit Log）技术来实...