-
24.7 Compose应用案例二：大数据Spark集群
24.7 Compose应用案例二：大数据Spark集群 24.7 Compose应用案例二：大数据Spark集群 1.简介 Spark是Berkeley开发的分布式计算的框架，相对于Hadoop来说，Spark可以缓存中间结果到内存从而提高某些需要迭代的计算场景的效率，目前受到广泛关注。 熟悉Hadoop的读者会比较轻松，Spark很多设计理念和... -
第26章 Mesos——优秀的集群资源调度平台
第26章 Mesos——优秀的集群资源调度平台 第26章 Mesos——优秀的集群资源调度平台 Mesos项目是源自UC Berkeley对集群资源进行抽象和管理的开源项目，类似于操作系统内核，用户可以使用它很容易地实现分布式应用的自动化调度。同时，Mesos自身也很好地结合了Docker等相关容器技术，基于Mesos已有的大量应用框架，可以实现用户应... -
6.3 Windows Azure Storage
6.3 Windows Azure Storage 6.3.1 整体架构" level="4"> 6.3.1 整体架构 6.3 Windows Azure Storage Windows Azure Storage（WAS）是微软开发的云存储系统，包括三种数据存储服务：Windows Azure Blob、Windows Azure Table、Wi... -
7.4 其他作业调度平台简介
7.4 其他作业调度平台简介 7.4 其他作业调度平台简介 在7.1节我们构思了一个调度平台的设计，并且利用之前学习的分布式技术来实现一个MPI的调度平台。本节我们看看市场上其他MPI调度技术，了解到其他互联网公司怎么做MPI调度的，再介绍一下Mesos和Yarn调度框架。 -
3.6 可扩展性
3.6 可扩展性 3.6.1 总控节点" level="4"> 3.6.1 总控节点 3.6 可扩展性 通过数据分布，复制以及容错等机制，能够将分布式存储系统部署到成千上万台服务器。可扩展性的实现手段很多，如通过增加副本个数或者缓存提高读取能力，将数据分片使得每个分片可以被分配到不同的工作节点以实现分布式处理，把数据复制到多个数据中心，等等。 分布... -
分布式系统
分布式系统 分布式系统 [17]杨传辉.分布式系统工程实践，2010. [18]刘杰.分布式系统原理，2012. [19]AS Tanenbaum,M Van Steen.Distributed Systems：Principles and Paradigms,2012. [20]S Gilbert,N Lynch.Brewer's Conjec... -
13.7 本章小结
13.7 本章小结 13.7 本章小结 本章介绍了分布式处理与大数据处理领域的典型热门工具，包括Rabbitmq、Celery、Hadoop、Spark、Storm和Elasticsearch等。这些开源项目的出现，极大降低了开发者进行分布式处理和数据分析的门槛。 实际上，摩尔定律的失效，必将导致越来越多的复杂任务必须采用分布式架构进行处理。在新的架... -
第1章 概述
第1章 概述 第1章 概述 在概述分布式核心技术之前，我们有必要先概括阐述一下分布式计算、并行计算、云计算等相关概念，以及市场上流行的相关技术产品，如Hadoop生态体系，然后再结合背景引出我们为什么要归纳出一个轻量级的分布式框架。本章为后续章节的背景。本章意在使读者对分布式技术话题的前因后果先有所了解。 由于只是概述，我们对涉及的分布式计算概念和H... -
5.4 如何实现主题订阅模式
5.4 如何实现主题订阅模式 5.4 如何实现主题订阅模式 我们可以将Domain视为订阅主题，将每个订阅者注册到Domain的节点（Node）上，发布者将消息逐一更新每个节点，订阅者监控每个属于自己的节点的变化事件获取订阅消息，收到后清空内容等待下一个消息，多个消息用一个arraylist存放。 图5-5 主题订阅模式实现 ❏ Publish...