面向数据密集型应用的云计算【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

面向数据密集型应用的云计算PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 系统与应用3

第1章 公共云上LIGO物理应用中的可扩展部署：工作流引擎与资源配置技术3

1 引言4

2 相关工作5

3 体系架构及设计7

3.1 负载均衡10

4 LIGO数据分析和引力波搜索12

4.1 应用需求16

5 性能评估17

5.1 平台可扩展性18

5.2 工作者的动态配置20

6 本章小结20

参考文献21

第2章 面向大数据的FutureGrid试验台24

1 引言24

2 FutureGrid简介25

2.1 硬件概述25

3 面向大数据的服务和工具28

3.1 测试平台即服务（TestbedaaS）29

3.2 传统的高性能计算即服务（HPCaaS）30

3.3 网格即服务（GridaaS）30

3.4 基础设施即服务（IaaS）30

3.5 云平台即服务（PaaS）32

4 FutureGrid的运用34

5 系统管理40

5.1 系统开发团队的整合40

5.2 DevOps40

5.3 教育支持42

6 Cloudmesh43

6.1 功能43

6.2 架构44

6.3 云转移47

6.4 图形用户界面47

6.5 Shell命令和命令行接口49

7 本章小结50

参考文献51

第3章 支持数据密集型应用的云网络54

1 引言54

2 构建云网络的模块和技术55

2.1 数据处理中心网络55

2.2 存储区域网55

2.3 网络协议栈56

2.4 局域网分区56

2.5 VPN57

2.6 虚拟网络和覆盖网57

2.7 高性能主干网58

2.8 软件界定的网络58

3 云的内部网络60

3.1 商业IaaS云60

3.2 开源IaaS云61

3.3 SDN的网络虚拟化63

4 内部云网络64

4.1 CohesiveFT的VNS-Cubed模型65

4.2 Pertino云网络引擎65

4.3 ViNe网络覆盖基础设施66

5 案例分析68

5.1 优化云内和云间的数据传输68

5.2 虚拟机迁移68

5.3 云上的科学应用程序69

6 本章小结70

参考文献71

第4章 IaaS云基准测试：方法、挑战和经验74

1 引言74

2 计算机系统基准简介76

2.1 为什么要基准测试77

2.2 基准测试的要素77

3 IaaS云基准测试的通用架构78

3.1 概述78

3.2 显著的设计特征79

4 IaaS云基准测试中的开放性挑战80

4.1 方法论80

4.2 系统属性81

4.3 工作负载82

4.4 度量83

5 IaaS云基准测试的经验83

5.1 方法：SPEC云工作组84

5.2 SkyMark：IaaS云基准测试的框架84

5.3 IaaS云性能的真实评估85

5.4 工作负载的统计模型86

5.5 开放数据：几个有用的档案库87

6 本章小结87

参考文献88

第5章 数据密集型应用的GPU加速云计算92

1 引言92

2 背景和相关工作93

2.1 云计算93

2.2 GPU94

2.3 MapReduce94

2.4 通用图形处理96

3 基于GPU集群的MapReduce97

3.1 Mars概述97

3.2 MarsHadoop99

3.3 Mars-MR-MPI100

3.4 实验101

4 GPU和云上的图像处理105

4.1 GPU上的并行图像处理105

4.2 云上的并行图像处理108

5 本章小结110

参考文献112

第6章 面向数据密集型科学应用的自适应工作负载分区与分配117

1 引言117

1.1 工作成果总结118

1.2 组织结构119

2 相关工作119

3 问题描述120

4 Apala121

4.1 统一工作负载121

4.2 分解统一的工作负载122

4.3 分配统一的工作负载124

5 评估125

5.1 设置125

5.2 分解模式127

5.3 负载平衡的有效性128

5.4 可移植性129

5.5 分区的代价131

6 本章小结132

参考文献133

第7章 DRAW：面向具有局部兴趣的数据密集型应用的一种基于数据分组感知的新型数据配置方案135

1 引言136

2 动机137

3 基于数据分组感知的数据配置138

3.1 历史数据访问图（HDAG）138

3.2 数据分组矩阵139

3.3 最优数据配置算法141

3.4 其他注意事项142

4 分析143

4.1 “随机＝最优”的可能性143

4.2 数据分布的最优度145

4.3 随机分布的最优度147

4.4 多副本机架148

5 方法148

5.1 测试平台148

5.2 应用程序149

5.3 实现150

6 实验结果与分析151

6.1 实验结果151

6.2 MapReduce程序的性能改进152

6.3 敏感性研究：副本数目154

6.4 DRAW的代价155

7 相关工作156

8 本章小结156

参考文献157

第二部分 资源管理161

第8章 应用自适应组合拍卖的任务资源有效匹配161

1 引言161

1.1 贡献总结163

1.2 组织结构163

2 相关工作163

3 问题定义164

3.1 前言165

3.2 任务资源匹配：从博弈论的角度解析167

3.3 任务—资源匹配：示例场景167

3.4 动态迭代拍卖简介167

4 用于高效任务—资源匹配策略的基于拍卖的设计169

4.1 同质性案例169

4.2 K类异质性案例174

4.3 通用异质性案例175

5 结果评估175

5.1 任务调度的性能175

5.2 激励兼容性的验证177

5.3 统一价格拍卖的性能比较178

6 本章小结179

参考文献179

第9章 具备自主能力的高级网络基础设施的整合182

1 引言182

2 发展现状184

2.1 联合计算网格184

2.2 云计算的整合185

2.3 互操作性标准化活动185

3 聚合分布式资源的联合模型186

3.1 要求186

3.2 联合架构187

3.3 Comet云189

3.4 自主管理189

3.5 启用自主能力191

4 应用场景191

4.1 CDS＆E应用192

4.2 企业业务数据分析196

5 经验教训199

6 本章小结200

参考文献201

第三部分 编程模型209

第10章 科学工作流管理系统从网络到云的迁移209

1 引言210

2 挑战及可用的解决方案211

2.1 传统科学工作流的挑战211

2.2 将工作流应用程序迁移到云213

2.3 将工作流管理迁移到云中214

3 Swift和OpenNebula的集成215

3.1 服务框架215

3.2 集成架构和实现方法216

4 性能评估221

4.1 MODIS图像处理工作流程221

4.2 实验配置221

4.3 实验结果222

5 相关工作225

6 本章小结227

参考文献228

第11章 PaaS云上执行的风暴潮集成232

1 引言232

2 架构/系统概述234

2.1 Windows Azure234

2.2 Sigiri中间件235

2.3 MapReduce：Twister4Azure236

3 SLOSH集合236

4 联合部署和运行239

4.1 Sigiri中间件239

4.2 MapReduce运行过程240

5 输出感知任务的部署242

5.1 负载分区242

5.2 Sigiri中的工作-窃取算法242

6 运行时间的建模243

7 绩效评估243

7.1 不同的工作负载244

7.2 不同的并行度245

7.3 模型评估246

8 相关工作247

9 本章小结248

参考文献248

第12章 MapReduce中的交叉相位优化250

1 引言251

1.1 MapReduce在高度分布式环境中的性能253

1.2 交叉相位优化255

2 Oracle：模型驱动优化256

2.1 模型及其优化256

2.2 观点257

3 映射—感知推送258

3.1 并行推送和映射以隐藏延迟259

3.2 并行推送和映射以改进调度方案259

3.3 映射-感知推送调度259

3.4 在Hadoop中的实现260

3.5 实验结果261

4 置乱感知映射263

4.1 置乱感知映射调度264

4.2 在Hadoop中的实现265

4.3 实验结果265

5 综合比较266

5.1 Amazon EC2环境下的测试266

5.2 PlanetLab环境下的测试268

6 相关工作268

7 本章小结270

参考文献271

第13章 面向大规模迭代计算的异步计算模型273

1 异步迭代273

2 基于增量累积的迭代计算276

2.1 DAIC简介276

2.2 异步DAIC278

2.3 收敛性278

2.4 有效性279

2.5 异步DAIC中的调度280

3 编写异步DAIC算法280

3.1 指导方案281

3.2 案例281

4 Maiter：一个支持异步DAIC的框架283

4.1 系统设计284

4.2 Maiter API287

4.3 Maiter程序示例288

5 性能290

6 相关工作293

7 本章小结293

参考文献294

第四部分 云计算299

第14章 Azure云上的大数据存储与处理：大规模实验与经验教训299

1 引言299

2 面向数据密集型应用的云存储挑战300

3 案例研究：Azure云数据存储与管理301

3.1 存储非结构化数据：Azure Blobs302

3.2 存储NoSQL结构化数据：Azure表303

3.3 并发数据处理的同步过程：Azure队列303

3.4 其他303

4 进一步优化：在产生大量并发任务时处理存储延迟304

4.1 聚合虚拟磁盘进行高效通信存储305

4.2 使用专用的计算节点进行可扩展的数据管理306

4.3 面向Azure云中归约密集型处理过程的低延迟存储方法309

5 在云端执行大规模大数据实验311

5.1 脑-基因相关性研究311

5.2 计算和存储问题311

5.3 实验设置312

5.4 结果312

5.5 云中的生物大数据处理：经验教训315

6 本章小结318

参考文献319

第15章 FRIEDA云环境中的存储与数据生命周期管理320

1 引言320

2 相关工作321

3 研究背景323

3.1 存储模型323

3.2 云环境中的I/O性能324

3.3 资源模型324

3.4 应用执行模式325

3.5 科学应用数据类型325

4 FRIEDA生命周期326

4.1 数据分区327

4.2 数据管理328

5 存储规划328

6 存储配置与准备332

7 数据配置333

8 FRIEDA执行过程333

8.1 通信协议334

8.2 执行阶段336

8.3 数据分类336

9 本章小结337

参考文献337

第16章 作为云服务的文件传输管理340

1 引言340

2 数据不溶性的问题341

2.1 解决方案342

3 文件传输管理343

4 StorkCloud346

4.1 StorkCloud调度程序346

4.2 目录列表服务347

4.3 Web API和小型客户端GUI347

4.4 传输模块接口348

4.5 优化模块348

5 传输层吞吐量优化349

5.1 优化技术349

5.2 动态优化351

5.3 MFT系统中的示例351

6 调度优化和预约352

6.1 协同调度算法352

6.2 历史性能数据的估计353

6.3 实际问题354

7 MFT的潜在应用354

7.1 云数据配置中间件355

7.2 备份管理和复制355

7.3 小型应用的数据传输355

7.4 进一步了解MFT355

8 本章小结356

参考文献356

第17章 定制化索引结构的社交媒体观察站：架构与性能358

1 引言359

2 数据和查询模式360

3 HBase363

4 IndexedHBase的设计与实现364

4.1 系统架构364

4.2 定制化的索引框架365

4.3 数据加载策略368

4.4 并行查询评估策略369

5 与Riak性能评估结果的比较370

5.1 测试环境配置370

5.2 Riak的配置与实现370

5.3 数据加载性能372

5.4 查询评估的性能374

6 相关工作379

7 本章小结380

参考文献381