-
空标题文档
7.2 鹰眼平台的架构 基于以上的设计思路和理念，淘宝构建的鹰眼架构如图7-5所示，因为阿里巴巴内部安全规定，该架构图是2013年时对外介绍的架构，在近几年鹰眼平台发展过程中，对某些组件也进行了升级和替换，但总体的架构原理没有大的变化。 首先在每个应用集群的运行环境中，每当应用中进行了远程服务调用、缓存、数据库访问等操作时，都会生成相关的访问日志并保存... -
2.6 数据压缩
2.6 数据压缩 2.6.1 压缩算法" level="4"> 2.6.1 压缩算法 2.6 数据压缩 数据压缩分为有损压缩与无损压缩两种，有损压缩算法压缩比率高，但数据可能失真，一般用于压缩图片、音频、视频；而无损压缩算法能够完全还原原始数据，本文只讨论无损压缩算法。早期的数据压缩技术就是基于编码上的优化技术，其中以Huffman编码最为知名，它通... -
12.2 云存储的产品形态
12.2 云存储的产品形态 12.2 云存储的产品形态 早在2006年3月，Amazon就推出了针对企业的S3简单存储服务（Amazon Simple Storage Service），它是Amazon云计算平台（Amazon Web Service,AWS）的一种对象存储服务，用于存储照片、图片、视频、音乐等个人文件。S3被认为是目前最为成功的云存储... -
3.2 性能分析
3.2 性能分析 3.2 性能分析 给定一个问题，往往会有多种设计方案，而方案评估的一个重要指标就是性能，如何在系统设计之初估算存储系统的性能是存储工程师的必备技能。性能分析用来判断设计方案是否存在瓶颈点，权衡多种设计方案，另外，性能分析也可作为后续性能优化的依据。性能分析与性能优化是相对的，系统设计之初通过性能分析确定设计目标，防止出现重大的设计失误... -
4.1.5 讨论
4.1.5 讨论 4.1.5 讨论 从GFS的架构设计可以看出，GFS是一个具有良好可扩展性并能够在软件层面自动处理各种异常情况的系统。Google是一家很重视自动化的公司，从早期的GFS，再到Bigtable、Megastore，以及最近的Spanner,Google的分布式存储系统在这一点上一脉相承。由于Google的系统一开始能很好地解决可扩展性... -
11.1.2 QA测试
11.1.2 QA测试 部署一个OceanBase集群 连接到其中一台MergeServer(ms0) 执行DDL(建表)以及DML语句(insert/update/delete) 读取表格内容 获取原有的主UpdateServer的地址并记录为$a 关闭主UpdateServer并等待30秒 获取新的主UpdateServer的地址记录为$b... -
11.4.6 工程现象
11.4.6 工程现象 11.4.6 工程现象 1.错误必然出现 只要是理论上有问题的设计或实现，实际运行时一定会出现，不管概率有多低。如果没有出现问题，要么是稳定运行时间不够长，要么是压力不够大。系统开发过程中要有洁癖，不要放过任何一个可能的错误，或者心存侥幸心理。 2.错误必然复现 实践表明，分布式系统测试中发现的错误等到数据规模增大以后必然... -
1.1 分布式存储概念
1.1 分布式存储概念" level="2"> 1.1 分布式存储概念 1.1 分布式存储概念" class="reference-link"> 1.1 分布式存储概念 大规模分布式存储系统的定义如下： “分布式存储系统是大量普通PC服务器通过Internet互联，对外作为一个整体提供存储服务。” 分布式存储系统具有如下几个特性： ●可扩展。分布... -
大规模分布式存储系统
大规模分布式存储系统 ——原理解析与架构实战 杨传辉 著 ISBN：978-7-111-43052-0 本书纸版由机械工业出版社于2013年出版，电子版由华章分社（北京华章图文信息有限公司）全球范围内制作与发行。 版权所有，侵权必究 客服热线：+ 86-10-68995265 客服信箱：service@bbbvip.com 官方网址：www... -
11.4.4 系统实现
11.4.4 系统实现 11.4.4 系统实现 分布式存储系统实现的关键在于可控性，包括代码复杂度、服务器资源、代码质量等。开发基础系统时，一个优秀工程师发挥的作用会超过10个平庸的工程师，常见的团队组建方式是有经验的优秀工程师加上有潜质的工程师，这些有潜质的工程师往往是优秀的应届生，能够在开发过程中迅速成长起来。 1.重视服务器代码资源管理 内存...