-
空标题文档
第5章 数据拆分实现数据库能力线性扩展 服务中心将在很长一段时间内承载着整个企业对该服务领域所有服务请求的支持，如何保证建设的服务中心的服务能力能很好地支撑将来任何业务场景的访问性能的要求？这是服务中心建设过程中首先需要考虑的问题，而数据库则是最容易产生性能瓶颈的服务组件。本章详细介绍淘宝如何基于数据库分库分表的方式，利用分布式数据库平台解决数据库瓶颈问... -
空标题文档
7.3 埋点和输出日志 实现分布式服务跟踪系统的主要思路是通过服务调用链各服务处理节点生成相应的日志信息，通过同一请求中生成的日志具有同一个ID将不同系统或服务“孤立的”日志串在一起，重组还原出更多有价值的信息。 也就是说，在每一个URL请求都会生成一个全局唯一的ID，鹰眼平台中称为TraceID，这个ID会出现在该请求中所有服务调用、数据库、缓存、消... -
7.3.2 架构
7.3.2 架构 7.3.2 架构 Spanner构建在Google下一代分布式文件系统Colossus之上。Colossus是GFS的延续，相比GFS,Colossus的主要改进点在于实时性，并且支持海量小文件。 由于Spanner是全球性的，因此它有两个其他分布式存储系统没有的概念： ●Universe。一个Spanner部署实例称为一个Uni... -
8.4.3 可靠性与可用性
8.4.3 可靠性与可用性 8.4.3 可靠性与可用性 分布式系统需要处理各种故障，例如，软件故障、服务器故障、网络故障、数据中心故障、地震、火灾等。与其他分布式存储系统一样，OceanBase通过冗余的方式保障了高可靠性和高可用性。方法如下所示： ●OceanBase在ChunkServer中保存了基线数据的多个副本。单集群部署时一般会配置3个副本... -
8.4.8 分层结构
8.4.8 分层结构 8.4.8 分层结构 OceanBase对外提供的是与关系数据库一样的SQL操作接口，而内部却实现成一个线性可扩展的分布式系统。系统从逻辑实现上可以分为两个层次：分布式存储引擎层以及数据库功能层。 OceanBase一期只实现了分布式存储引擎，这个存储引擎支持如下特性： ●支持分布式数据结构，基线数据逻辑上构成一颗分布式B+树... -
11.4.4 系统实现
11.4.4 系统实现 11.4.4 系统实现 分布式存储系统实现的关键在于可控性，包括代码复杂度、服务器资源、代码质量等。开发基础系统时，一个优秀工程师发挥的作用会超过10个平庸的工程师，常见的团队组建方式是有经验的优秀工程师加上有潜质的工程师，这些有潜质的工程师往往是优秀的应届生，能够在开发过程中迅速成长起来。 1.重视服务器代码资源管理 内存... -
其他
其他 其他 [97]J Dean.Designs,Lessons and Advice from Building Large Distributed Systems,2009. [98]Anand Rajaraman,Jeffrey David Ullman.大数据：互联网大规模数据挖掘与分布式处理[M].王斌译.北京：人民邮电出版社，2012. ... -
2.5 实践与应用
2.5 实践与应用 2.5.1 一个简单的示例 2.5 实践与应用 2.5.1 一个简单的示例 本节用最简洁的代码示范Fourinone如何进行分布式计算，如上面章节所述，Fourinone采用一种工头链式结合工人并行的计算结构简化分布式计算，能够通俗易懂，并能深入控制整个计算过程。 完成一个并行计算需要工头（SimpleCtor）、工人（Sim... -
2.5.2 工头工人计算模式更完整的示例
2.5.2 工头工人计算模式更完整的示例 2.5.2 工头工人计算模式更完整的示例 从前面章节的原理介绍里知道，我们现实中的分布式计算存在多个环节，比如有的任务拆分，有的计算结果合并，或者多个拆分和合并，它们之间是串行关系，也就是合并必须等待拆分和计算完成才能进行，同时每个拆分或者合并的任务又都是并行的过程。 CtorDemo：是包含了3个工头实例，... -
3.1 协调架构原理简介
3.1 协调架构原理简介 3.1 协调架构原理简介 Fourinone对分布式协调的实现，是通过建立一个domain/node两层结构的节点信息去完成，domain可以是分类或者包，node可以是具体属性，domain和node都是根据需求设计命名，比如可以将domain命名为“a.b.c…”表示一个树型类目。一个domain下可以有很多个node，每...