-
4.3 Facebook Haystack
4.3 Facebook Haystack 4.3.1 系统架构" level="4"> 4.3.1 系统架构 4.3 Facebook Haystack Facebook目前存储了2600亿张照片，总大小为20PB，通过计算可以得出每张照片的平均大小为20PB/260GB，约为80KB。用户每周新增照片数为10亿（总大小为60TB），平均每秒新增的... -
第三篇 实践篇
第三篇 实践篇 第三篇 实践篇 本篇内容 第8章 OceanBase架构初探 第9章 分布式存储引擎 第10章 数据库功能 第11章 质量保证、运维及实践 -
9.5.3 数据分区
9.5.3 数据分区 9.5.3 数据分区 虽然我们坚持认为通过单机性能优化以及硬件性能的提升，UpdateServer单点对于互联网数据库业务不会成为瓶颈。但是，随着OceanBase的应用场景越来越广，例如，存储原始日志，我们也可能需要实现更新节点可扩展。本节探讨一种可能的做法。 OceanBase可以借鉴关系数据库中的分区表的概念，将数据划分为... -
空标题文档
第10章 用Shelve保存和获取对象 在许多应用中，我们需要独立地持久化多个对象。第9章“序列化和保存——JSON、YAML、Pickle、CSV和XML”中使用的技术更偏向于处理单一的对象。有时候，我们需要持久化更大的域中的独立对象。 应用程序中通常在4种情况下会持久化对象，它们统称为CRUD操作：创建（Create）、获取（Retrieve）、更... -
5.2 淘宝Tair
5.2 淘宝Tair 5.2.1 系统架构" level="4"> 5.2.1 系统架构 5.2 淘宝Tair Tair是淘宝开发的一个分布式键/值存储引擎。Tair分为持久化和非持久化两种使用方式：非持久化的Tair可以看成是一个分布式缓存，持久化的Tair将数据存放于磁盘中。为了解决磁盘损坏导致数据丢失，Tair可以配置数据的备份数目，Tair自... -
8.3 系统架构
8.3 系统架构 8.3.1 整体架构图" level="4"> 8.3.1 整体架构图 8.3 系统架构 8.3.1 整体架构图" class="reference-link"> 8.3.1 整体架构图 OceanBase的整体架构如图8-1所示。 图 8-1 OceanBase整体架构图 OceanBase由如下几个部分组成： ... -
13.4 流式计算
13.4 流式计算 13.4.1 原理" level="4"> 13.4.1 原理 13.4 流式计算 MapReduce及其扩展解决了离线批处理问题，但是无法保证实时性。对于实时性要求高的场景，可以采用流式计算或者实时分析系统进行处理。 流式计算（Stream Processing）解决在线聚合（Online Aggregation）、在线过滤（... -
13.5.4 Google Dremel
13.5.4 Google Dremel 13.5.4 Google Dremel Google Dremel是Google的实时分析系统，可以扩展到上千台机器规模，处理PB级别的数据。Dremel还是Google Bigquery服务的底层存储和查询引擎。相比传统的并行数据库，Dremel的优势在于可扩展性，磁盘的顺序读取速度在100MB/s上下，而... -
3.1 协调架构原理简介
3.1 协调架构原理简介 3.1 协调架构原理简介 Fourinone对分布式协调的实现，是通过建立一个domain/node两层结构的节点信息去完成，domain可以是分类或者包，node可以是具体属性，domain和node都是根据需求设计命名，比如可以将domain命名为“a.b.c…”表示一个树型类目。一个domain下可以有很多个node，每... -
空标题文档
“第3选择”团队 真正的创新取决于协同，而协同需要多样性。看待事物完全一致的两个人不能协同。对他们来说，1加1等于2。但是看待问题不一样的两个人能够协同，而且对他们来说，1加1能够等于3或者10甚至1 000。因此，创新型的公司故意把员工分成有多样化优势的团队。互补型团队能够扬长避短，团队成员相互完善。只有这样的团队才能创造第3选择。 我就在一个互补型...