-
12.3 云存储技术
12.3 云存储技术 12.3 云存储技术 云存储包含两个部分：云端+终端。云端指统一的云存储服务端，终端指多样化的PC机、手机、移动多媒体设备等终端设备。云存储的发展需要云端和终端里面的多种技术的支持。 （1）摩尔定律 摩尔定律一直推动着整个硬件产业的发展，芯片、内存和磁盘等硬件设备在性能和容量方面也得到了极大的提升。最明显的例子莫过于CPU，最... -
第1章 概述
第1章 概述 第1章 概述 Google、Amazon、Alibaba等互联网公司的成功催生了云计算和大数据两大热门领域。无论是云计算、大数据还是互联网公司的各种应用，其后台基础设施的主要目标都是构建低成本、高性能、可扩展、易用的分布式存储系统。 虽然分布式系统研究了很多年，但是，直到近年来，互联网大数据应用的兴起才使得它大规模地应用到工程实践中。相... -
2.5.7 计算过程中的故障和容灾处理
2.5.7 计算过程中的故障和容灾处理 2.5.7 计算过程中的故障和容灾处理 使用Fourinone可以完成大部分分布式并行计算需求，但是计算过程中的故障和容灾处理是怎么进行的呢，这里详细分析一下。 总的来说，Fourinone框架不会在设计中抛弃错误不处理或者容忍错误导致框架崩溃，框架通常会捕获所有的错误反馈给开发者去处理，但是框架本身不自作主张... -
大规模分布式系统架构与设计实战
大数据技术丛书 大规模分布式系统架构与设计实战 彭渊 著 ISBN：978-7-111-45503-5 本书纸版由机械工业出版社于2014年出版，电子版由华章分社（北京华章图文信息有限公司）全球范围内制作与发行。 版权所有，侵权必究 客服热线：+ 86-10-68995265 客服信箱：service@bbbvip.com 官方网址：www... -
2.3.4 SQL与NoSQL
2.3.4 SQL与NoSQL 2.3.4 SQL与NoSQL 随着互联网的飞速发展，数据规模越来越大，并发量越来越高，传统的关系数据库有时显得力不从心，非关系型数据库（NoSQL,Not Only SQL）应运而生。NoSQL系统带来了很多新的理念，比如良好的可扩展性，弱化数据库的设计范式，弱化一致性要求，在一定程度上解决了海量数据和高并发的问题，以... -
4.2 大型分布式缓存系统实现过程
4.2 大型分布式缓存系统实现过程 4.2 大型分布式缓存系统实现过程 我们接着上一节的思路，如果是大型网站的缓存，单台ParkServer的压力不能承受，需要建立多台CacheServer，并使用CacheFacade进行负载均衡。CacheFacade会根据key自动寻找存储它的CacheServer，数据在多台CacheServer上是均匀分布的... -
11.4.4 系统实现
11.4.4 系统实现 11.4.4 系统实现 分布式存储系统实现的关键在于可控性，包括代码复杂度、服务器资源、代码质量等。开发基础系统时，一个优秀工程师发挥的作用会超过10个平庸的工程师，常见的团队组建方式是有经验的优秀工程师加上有潜质的工程师，这些有潜质的工程师往往是优秀的应届生，能够在开发过程中迅速成长起来。 1.重视服务器代码资源管理 内存... -
第6章 分布式文件系统的实现
第6章 分布式文件系统的实现 第6章 分布式文件系统的实现 本章讲述如何使用FTTP去实现一个分布式文件系统，包括FTTP的架构原理和远程文件各种方式的访问和操作，以及整型数据处理等，包含了每一步的具体操作，可帮助入门的读者快速上手。 在FTTP中通过FttpAdapter和FileAdapter实现文件IO的支持。其中，FttpAdapter提供对... -
空标题文档
7.3 埋点和输出日志 实现分布式服务跟踪系统的主要思路是通过服务调用链各服务处理节点生成相应的日志信息，通过同一请求中生成的日志具有同一个ID将不同系统或服务“孤立的”日志串在一起，重组还原出更多有价值的信息。 也就是说，在每一个URL请求都会生成一个全局唯一的ID，鹰眼平台中称为TraceID，这个ID会出现在该请求中所有服务调用、数据库、缓存、消... -
2.1.5 存储层次架构
2.1.5 存储层次架构 2.1.5 存储层次架构 从分布式系统的角度看，整个集群中所有服务器上的存储介质（内存、机械硬盘，SSD）构成一个整体，其他服务器上的存储介质与本机存储介质一样都是可访问的，区别仅仅在于需要额外的网络传输及网络协议栈等访问开销。 如图2-5所示，假设集群中有30个机架，每个机架接入40台服务器，同一个机架的服务器接入到同一个...