-
13.2 MapReduce
13.2 MapReduce 13.2 MapReduce 提到大数据，大多数人首先想到的就是MapReduce。MapReduce使得普通程序员可以在不了解分布式底层细节的前提下开发分布式程序。使用者只需编写两个称为Map和Reduce的函数即可，MapReduce框架会自动处理数据划分、多机并行执行、任务之间的协调，并且能够处理某个任务执行失败或者... -
13.4 流式计算
13.4 流式计算 13.4.1 原理" level="4"> 13.4.1 原理 13.4 流式计算 MapReduce及其扩展解决了离线批处理问题，但是无法保证实时性。对于实时性要求高的场景，可以采用流式计算或者实时分析系统进行处理。 流式计算（Stream Processing）解决在线聚合（Online Aggregation）、在线过滤（... -
13.5.4 Google Dremel
13.5.4 Google Dremel 13.5.4 Google Dremel Google Dremel是Google的实时分析系统，可以扩展到上千台机器规模，处理PB级别的数据。Dremel还是Google Bigquery服务的底层存储和查询引擎。相比传统的并行数据库，Dremel的优势在于可扩展性，磁盘的顺序读取速度在100MB/s上下，而... -
分布式系统
分布式系统 分布式系统 [17]杨传辉.分布式系统工程实践，2010. [18]刘杰.分布式系统原理，2012. [19]AS Tanenbaum,M Van Steen.Distributed Systems：Principles and Paradigms,2012. [20]S Gilbert,N Lynch.Brewer's Conjec... -
分布式数据库
分布式数据库 分布式数据库 [57]Philip A.Bernstein,etc.Adapting Microsoft SQL Server for Cloud Computing.ICDE,2011. [58]Baron Scbwartz,etc.High Performance MySQL.O'REILLY. [59]Jonathan Lewi... -
OceanBase
OceanBase OceanBase [61]Alibaba Inc.OceanBase：A Scalable Distributed RDBMS.http://oceanbase.taobao.org/ [62]阳振坤.分布式数据库与OceanBase.http://blog.sina.com.cn/kern0612 [63]杨传辉.NOS... -
第1章 概述
第1章 概述 第1章 概述 在概述分布式核心技术之前，我们有必要先概括阐述一下分布式计算、并行计算、云计算等相关概念，以及市场上流行的相关技术产品，如Hadoop生态体系，然后再结合背景引出我们为什么要归纳出一个轻量级的分布式框架。本章为后续章节的背景。本章意在使读者对分布式技术话题的前因后果先有所了解。 由于只是概述，我们对涉及的分布式计算概念和H... -
2.5.5 分布式多机部署的示例
2.5.5 分布式多机部署的示例 2.5.5 分布式多机部署的示例 在前面的分布式计算上手demo，分布式计算sayhello，分布式计算完整demo中，对于工人（worker）、工头(ctor)，parkserver在多台计算机上的部署和配置： 每台计算机放置实现类：fourinone.jar、config.xml文件即可，parkserver的I... -
3.6.2 如何实现分布式锁
3.6.2 如何实现分布式锁 3.6.2 如何实现分布式锁 分布式锁可以让多个分布式应用依照先后顺序保持一致性操作，因此在很多方面都有广泛的应用，比如我们在2.1.7计算中的故障处理也谈到2个工头通过竞争一个分布式锁去做任务调度。 LockDemo是利用Fourinone进行分布式锁的实现，设计思路如下： 1）可以启动多个LockDemo实例，每个... -
6.9 批量并行读写远程文件和事务补偿处理
6.9 批量并行读写远程文件和事务补偿处理 1.批量并行读 2.批量并行写 3.批量并行读写 4.事务补偿处理 6.9 批量并行读写远程文件和事务补偿处理 FileBatch类支持批量并行读写操作，包括对FttpAdapter和FileAdapter的支持，它跟并行读写的区别是不需要检查结果，会等到所有并行读写任务全部完成才返回，并在发生异常时...