-
第26章 Mesos——优秀的集群资源调度平台
第26章 Mesos——优秀的集群资源调度平台 第26章 Mesos——优秀的集群资源调度平台 Mesos项目是源自UC Berkeley对集群资源进行抽象和管理的开源项目，类似于操作系统内核，用户可以使用它很容易地实现分布式应用的自动化调度。同时，Mesos自身也很好地结合了Docker等相关容器技术，基于Mesos已有的大量应用框架，可以实现用户应... -
6.11 基于整型读写的上亿排序
6.11 基于整型读写的上亿排序 6.11 基于整型读写的上亿排序 在第2章我们讲述了一个上亿排序的例子，那是基于内存方式的，那么在真实的场景中，数据到达一定的量级后，仅使用内存方式是很难完成的，本节我们基于本章学习的文件和整型数据操作，来实现一个更接近真实场景的上亿数据排序的例子。 根据第2章上亿排序的例子中的分类规则，我们知道，每台计算机的内存有... -
7.3.2 架构
7.3.2 架构 7.3.2 架构 Spanner构建在Google下一代分布式文件系统Colossus之上。Colossus是GFS的延续，相比GFS,Colossus的主要改进点在于实时性，并且支持海量小文件。 由于Spanner是全球性的，因此它有两个其他分布式存储系统没有的概念： ●Universe。一个Spanner部署实例称为一个Uni... -
3.1 协调架构原理简介
3.1 协调架构原理简介 3.1 协调架构原理简介 Fourinone对分布式协调的实现，是通过建立一个domain/node两层结构的节点信息去完成，domain可以是分类或者包，node可以是具体属性，domain和node都是根据需求设计命名，比如可以将domain命名为“a.b.c…”表示一个树型类目。一个domain下可以有很多个node，每... -
空标题文档
第5章 数据拆分实现数据库能力线性扩展 服务中心将在很长一段时间内承载着整个企业对该服务领域所有服务请求的支持，如何保证建设的服务中心的服务能力能很好地支撑将来任何业务场景的访问性能的要求？这是服务中心建设过程中首先需要考虑的问题，而数据库则是最容易产生性能瓶颈的服务组件。本章详细介绍淘宝如何基于数据库分库分表的方式，利用分布式数据库平台解决数据库瓶颈问... -
第4章 分布式缓存的实现
第4章 分布式缓存的实现 第4章 分布式缓存的实现 本章讲述小型缓存、大型分布式缓存的原理和实现机制，并且讲述经典的一致哈希算法原理，以及改进的基于日期key取模和分组算法去做集群负载均衡和扩容，最后讲述一个分布式Session的实现案例，以及相关的配置属性。 -
7.4 其他作业调度平台简介
7.4 其他作业调度平台简介 7.4 其他作业调度平台简介 在7.1节我们构思了一个调度平台的设计，并且利用之前学习的分布式技术来实现一个MPI的调度平台。本节我们看看市场上其他MPI调度技术，了解到其他互联网公司怎么做MPI调度的，再介绍一下Mesos和Yarn调度框架。 -
Git是什么
Git是什么 Git是什么 Git是用来做版本控制的，这就好比很多日本公司现在还在做的事情一样。每次修改文件都需要在文件第一页新增修改履历，详细记录修改内容，以此维护版本修改记录。但如果是多人同时操作，就会发生很多并发问题。可以想象一下，这种做法的维护成本有多高，大量的时间都花费在履历的维护上，同时每次还只能是一个人进行操作。因此，高效的版本控制永远是... -
2.8 远程仓库
2.8 远程仓库 2.8 远程仓库 既然Git是分布式代码仓库，那么开发者肯定是需要多台服务器同时进行协同操作的。因此在一般的开发中会用一台电脑做中央服务器，各个终端从中央服务器拉取代码，提交修改。这个中央服务器就提供了类似集中式代码管理的服务器功能。 那么我们如何去搭建一个Git远程服务器呢？答案很简单，个人开发者可以通过Github获取免费的远程...