地震数据处理中的并行计算技术研究

地震数据处理中的并行计算技术研究

姓名：杨进申请学位级别：硕士专业：计算机系统结构指导教师：李肯立

20080313

硕士学位论文摘要地震数据处理一直是高性能计算的主要领域之一，本文以海量地震数据处理为研究对象，其主要工作和创新点包括三方面的内容：设计并实现了网络化的并行地震数据处理支撑框架；为框架设计了一个基于ｎｅｔＣＤＦ数据格式的并行Ｉ／０子系统，并对其关键算法进行了深入研究；将ＭＰＩ＋ＯｐｅｎＭＰ模型引入到现有的并行地震数据处理中，实现了一个可以支持多种并行地震数据处理模型的支撑库。首先，设计并实现了网络化的并行地震数据处理框架，框架为实验人员提供一个集成的实验环境，内容包括地震数据处理和数据显示分析。框架提供的流程构建器允许用户在客户端利用服务器上模块库中的模块来构建处理流程、提供交互式的模块参数设置界面，具有新建工程、模板保存等强大的编辑功能。平台同时为地震数据处理模块开发者提供一个集成的开发平台，利用该平台定义的具有较好容错能力的ＡＰＩ接口，开发者不需要了解与平台相关的分布式计算相关知识，专注模块处理算法的开发。实践证明，借助框架可使油气勘探研究人员开发并行数据处理和显示模块的效率大幅度提高。其次，在深入分析原有并行文件系统和ｎｅｔＣＤＦ地震数据格式特点的基础上，为并行地震数据处理系统设计了一个基于ｎｅｔＣＤＦ的高效、高可靠的专用并行文件系统，重点研究了文件系统的文件分片算法，数据备份／恢复技术，并在Ｌｉｎｕｘ集群上实现该系统原型。实验表明，文件系统可以使地震数据处理最常见的简单并行达到很高的并行效率，且文件越大这种优势越明显。最后，将基于消息传递（ＭＰＩ）的并行地震处理模型与共享存储（ＯｐｅｎＭＰ）模型相结合，实现了一个适合于ＳＭＰ集群并行地震数据支撑库，将涉及到消息传递的并行地震数据操作以直观的ＡＰＩ的形式提供给开发人员，利用支撑库提供的ＡＰＩ开发了一些测试模块，实验证明：支撑库可支持现有地震数据处理和显示模块的多种并行计算模型，并且能够获得较高的并行加速比和计算效率。关键词：地震数据处理；并行Ｉ／０：文件系统；ＯｐｅｎＭＰ；ＭＰＩⅡ地震数据处理中的并行计算技术研究ＡｂｓｔｒａｃｔＳｅｉｓｍｉｃｄａｔａｐｒｏｃｅｓｓｉｎｇｉｓａｍａｉｎａｒｅａｓｏｆｈｉｇｈｐｅｒｆｏｒｍａｎｃｅｃｏｍｐｕｔｉｎｇ，Ｔａｋｉｎｇｍａｉｎｃｏｎｔｅｎｔａｎｄｓｅｉｓｍｉｃｄａｔａｐｒｏｃｅｓｓｉｎｇｆｏｒｉｔｓｒｅｓｅａｒｃｈｐｏｉｎｔｓｏｆｔｈｉｓｐａｐｅｒｓｏｆｔｗａｒｅｃａｎｏｂｊｅｃｔ，Ｔｈｅｉｎｎｏｖａｔｉｖｅｉｎｔｅｇｒａｔｅｄａｂｅｏｕｔｌｉｎｅｄａｓｔｈｅｆｏｌｌｏｗｉｎｇａｓｐｅｃｔｓ：Ｗｅｏｎｐｒｅｓｅｎｔｐｃａｆｒａｍｅｗｏｒｋｆｏｒｐａｒａｌｌｅｌｓｅｉｓｍｉｃｄａｔａｐｒｏｃｅｓｓｉｎｇｏｎｃｌｕｓｔｅｒ，ｄｅｓｉｇｎｐａｒａｌｌｅｌＩ／０ｓｕｂｓｙｓｔｅｍｂａｓｅｄｐａｒａｌｌｅｌｎｅｔＣＤＦｆｏｒｔｈｅｆｒａｍｅｗｏｒｋ，ＣｏｍｂｉｎｅｓｔｈｅｅｘｉｓｔｉｎｇｐａｔｔｅｒｎｓｂａｓｅｄａｏｎｓｅｉｓｍｉｃｄａｔａｐｒｏｃｅｓｓｉｎｇＭＰｌｗｉｔｈｓｈａｒｅｄａｔａｍｅｍｏｒｙｐｒｏｇｒａｍｍｉｎｇｐａｒａｄｉｇｍ（ｏｐｅｎＭＰ），ｐｒｏｖｉｄｉｎｇｐａｒａｌｌｅｓｅｉｓｍｉｃｐｒｏｃｅｓｓｉｎｇｓｕｐｐｏｒｔｌｉｂｒａｒｙｆｏｒｔｈｅｆｒａｍｅｗｏｒｋ．Ｆｉｒｓｔ，Ｗｅｐｒｏｃｅｓｓｉｎｇｏｎｐｒｅｓｅｎｔａｉｎｔｅｇｒａｔｅｄｓｏｆｔｗａｒｅｆｒａｍｅｗｏｒｋｆｏｒｐａｒａｌｌｅｌｕｓｅｒｓｅｉｓｍｉｃｄａｔａｐｃｃｌｕｓｔｅｒ．Ａｍｏｄｅｒｎａｎｄｆｅａｔｕｒｅ－ｒｉｃｈｇｒａｐｈｉｃａｌｉｎｔｅｒｆａｃｅ（ＧＵＩ）ｏｎａｗａｓｄｅｖｅｌｏｐｅｄｆｏｒｔｈｅｓｙｓｔｅｍａｌｌｏｗｉｎｇｅｄｉｔａｎｄｓｕｂｍｉｓｓｉｏｎｏｆｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇｆｌｏｗｓａｎｄｉｎｔｅｒａｃｔｉｏｎｗｉｔｈｒｕｎｎｉｎｇｃｌｕｓｔｅｒａｎｄｃｏｎｔｒｏｌｌｅｄｆｒｏｍｊｏｂｓ．ＭｕｌｔｉｐｌｅｊｏｂｓＧＵＩ．Ｔｈｅｃａｎｂｅｅｘｅｃｕｔｅｄｔｈｅｐｃｍｏｄｕｌｅｔｈｅｓａｍｅｆｒａｍｅｗｏｒｋｐｒｏｖｉｄｅｓｉｎｔｅｇｒａｔｅｄｄｅｖｅｌｏｐｍｅｎｔｅｎｖｉｒｏｎｍｅｎｔ（ＭＩＤＥ）ｔｏｃａｎｐｃｃｌｕｓｔｅｒｍｏｄｕｌｅｄｅｖｅｌｏｐｅｒ．ｓｙｓｔｅｍａｒｅｍｏｎｉｔｏｒ，ｄａｔａｂａｓｅ，ｍｅｍｏｒｙｍａｎａｇｅｍｅｎｔａｎｄｔｈｅＭＰＩｆｕｎｃｔｉｏｎａｌｉｔｉｅｓｄｅｖｅｌｏｐｅｒａｓｐｒｏｖｉｄｅｄｔｏＡＰＩ，ｗｈｉｃｈｓｉｇｎｉｆｉｃａｎｔｌｙｓｉｍｐｌｉｆｙｔｈｅｃｏｄｅｄｅｖｅｌｏｐｍｅｎｔｆｏｒｔｈｅｓｙｓｔｅｍ．Ａｍｕｌｔｉ·ｕｓｅｒｄｅｖｅｌｏｐｍｅｎｔａｎｄｐｒｏｃｅｓｓｉｎｇｅｎｖｉｒｏｎｍｅｎｔｉｓａｖａｉｌａｂｌｅ．ＴｈｅｓｙｓｔｅｍｃａｎｇｒｅａｔｌｙｒｅｄｕｃｅｔｉｍｅａｆｏｒｔｒａｎｓｐｌａｎｔｉｎｇｓｅｒｉａｌｐｒｏｃｅｓｓｉｎｇｍｏｄｕｌｅｓｔＯｐｃｃｌｕｓｔｅｒ，ａｎｄｇｅｔｈｉｇｈｓｐｅｅｄｕｐ．Ｓｅｃｏｎｄ，Ａｆｔｅｒｉｎ—ｄｅｐｔｈａｎａｌｙｓｉｓｔｈｅｅｘｉｓｔｉｎｇｐａｒａｌｌｆｉｌｅｓｙｓｔｅｍａｎｄｎｅｔＣＤＦｄａｔａｆｏｒｍａｔ，ｔｈｉｓｐａｐｅｒｄｅｓｉｇｎａｅｆｆｉｃｉｅｎｔ，ｒｅｌｉａｂｌｅｐａｒａｌｌｅｌＩ／ＯｆｉｌｅｓｙｓｔｅｍｂａｓｅｕｓｅｓａｏｎｎｅｔＣＤＦｆｏｒｔｈｅｆｒａｍｅｗｏｒｋ，ｔｈｅｆｉｌｅｓｙｓｔｅｍｎｅｗｄａｔａｓｃａｔｔｅｒａｌｇｏｒｉｔｈｍ，ＣｏｍｐａｒｉｎｇｔＯｔｈｅｅｘｉｓｔｉｎｇｐａｒａｌｌｆｉｌｅｓｙｓｔｅｍ，ｔｈｅｆｉｌｅｓｙｓｔｅｍｉｍｐｒｏｖｅｇｒｅａｔｌｙｉｎｆａｕｌｔ－ｔｏｌｅｒａｎｔａｎｄｄａｔａｂａｃｋｕｐ／ｒｅｃｏＶｅｒｙ，ＴｈｅｅｘｐｅｒｉｍｅｎｔｄｅｍｏｎｓｔｒａｔｅｓａｃａｎｔｈｏｒｏｕｇｈｌｙｓｕｐｐｏｒｔＳｉｍｐｌｅｓｅｉｓｍｉｃｄａｔａｐｒｏｃｅｓｓｉｎｇｐａｔｔｅｒｎｓａｎｄｇｅｔｈｉｇｈｐａｒａｌｌｓｐｅｅｄｕｐ．Ｌａｓｔ，ＴｈｉｓｐａｐｅｒｃｏｍｂｉｎｅｓｔｈｅｅｘｉｓｔｉｎｇｐａｒａｌｌｅｌｓｅｉｓｍｉｃｄａｔａｐｒｏｃｅｓｓｉｎｇｐａｔｔｅｒｎｓｂａｓｅｄｏｎＭＰｌｗｉｔｈｄａｔａｓｈａｒｅｍｅｍｏｒｙｐｒｏｇｒａｍｍｉｎｇｓｕｐｐｏｒｔｐａｒａｄｉｇｍ（ＯｐｅｎＭＰ），ｐｒｏｖｉｄｉｎｇｆｏｒＳＭＰａｐａｒａｌｌｅｌｓｅｉｓｍｉｃｐｒｏｃｅｓｓｉｎｇｌｉｂｒａｒｙｓｕｉｔａｂｌｅｃａｎｃｌｕｓｔｅｒ，Ｔｈｅｅｘｐｅｒｉｍｅｎｔｄｅｍｏｎｓｔｒａｔｅｓｔｈａｔｔｈｅｐｌａｔｆｏｒｍｄａｔａｐｒｏｃｅｓｓｉｎｇｐａｔｔｅｒｎｓａｎｄｇｅｔａｔｈｏｒｏｕｇｈｌｙｓｕｐｐｏｒｔｃｕｒｒｅｎｔｓｅｉｓｍｉｃｈｉｇｈｐａｒａｌｌｓｐｅｅｄｕｐ．ＫｅｙＷｏｒｄｓ：Ｓｅｉｓｍｉｃｄａｔａｐｒｏｃｅｓｓｉｎｇ；ＰａｒａｌｌｅｌＩ／Ｏ；Ｆｉｌｅｓｙｓｔｅｍ；ＭＰＩ；ＯｐｅｎＭＰｎｌ硕士学位论文插图索引图２．１数据数据筛选技术…………………………………………………………………………．５图２．２并行文件（ＰＶＦＳ）系统结构………………………………………………………………。７图２．３空间共享实例…………………………………………………………………………………８图２．４作业复制实例…………………………………………………………………………………８图２．５三种复杂的并行计算模型……………………………………………………………一１０图２．６并行算法结构………………………………………………………………………………．１０图２．７加速比概念…………………………………………………………………………………．１２图２．８等效率函数曲线……………………………………………………………………………１３图２．９可扩展性概念………………………………………………………………………………．１３图３．１框架的体系结构…………………………………………………………………………一１８图３．２网络并行开发模式…………………………………………………………………………１９图３．３远程编译……………………………………………………………………………………．．１９图３．４ＭＩＤＥ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．２１图３．５流程构建器…………………………………………………………………………………．．２２图４．１文件系统的体系结构……………………………………………………………………．．２８图４．２系统图形界面………………………………………………………………………………．３１图４．３系统应用实例………………………………………………………………………………．３３图４．４作业复制……………………………………………………………………………………一３３图５．１ＳＭＰ集群体系结构………………………………………………………………………．３６图５．２ＭＰＩ程序的框架结构……………………………………………………………………一３７图５．３共享存储模型………………………………………………………………………………．３９图５．４并行地震处理模式复合……………………………………………………………．４３图５．５ＳＭＰ集群混合编程模型ＭＰＩ＋ＯｐｅｎＭＰ……………………………………………４５图５．６混合模型并行地震数据处理流程…………………………………………………．４６图５．７流程的加速比………………………………………………………………………………．４７ＶＩ地震数据处理中的并行计算技术研究附表索引表４．１ＰＶＦＳ系性能测试（４个节点）………………………………………………………．３４表４．２ＰＶＦＳ系性能测试（８个节点）………………………………………………………．３４表４．３专用文件系性能测试（４个节点）……………………………………………………．３４表４．４专用文件系性能测试（８个节点）……………………………………………………．３４表５．１ＭＰＩ模型在集群上的测试结果……………………………………………………．４７表５．２ＭＰＩ＋ＯｐｅｎＭＰ模型在集群上的测试结果………………………………………一４７ＶⅡ湖南大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：粕恕日期：Ⅻ亏年；月７日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于１、保密团，在１年解密后适用本授权书。２、不保密口。（请在以上相应方框内打“／＂ｊ作者签名：导师签名南芷日期：ｚｏ田年；月日醐洲孵朋矽日硕士学位论文第１章绪论１．１课题来源本课题来源于与美国Ｎｅｘｕｓ公司合作项目“大规模地震数据并行处理系统”。并部分受国家自然科学基金重大研究计划“重大工程的动力灾变”培育项目“网格环境下地震模拟支撑系统的关键理论技术研究”资助（９０７１５０２９）。１．２研究背景高性能计算能力已经日益成为一个国家经济、科技与国防实力的重要组成部分。由于科学工程计算和大规模商业事务处理需求的牵引，高性能计算中对Ｉ／Ｏ处理能力的要求是无止境的。大规模多媒体应用要求大容量快速存储系统支持，多用户事务处理环境要求快速Ｉ／Ｏ支持实时访问，而一些重大挑战性科学计算课题更是追求计算机系统具有３Ｔ性能（ｅｐ要求能提供１Ｔｅｒａｆｌｏｐｓ的计算能力，１Ｔｅｒａｂｙｔｅ的主存容量和１Ｔｅｒａｂｙｔｅ／ｓ的Ｉ／Ｏ带宽．）。近年来，随着大规模集成电路技术和网络技术的飞速发展，ＣＰＵ的性能大约每三年就有一个较大的飞跃，网络带宽增长更快。而Ｉ／Ｏ设备的性能受制于机械部件，发展缓慢。所以，高性能计算机系统中Ｉ／Ｏ系统与计算系统之间存在着巨大的性能差距，而这种差距可能会成为未来大规模并行计算机的系统瓶颈。大规模并行计算机计算能力与Ｉ／Ｏ处理能力不协调的问题越来越突出。怎样在大规模并行计算机中进一步提高并行Ｉ／Ｏ能力，构成一个真正的超级并行计算环境，以实现大规模并行处理，满足现代科学与工程技术研究发展的需要，是计算机科学工作者必须要解决的问题和遇到的新挑战Ｉ卜３１。另一方面，石油勘探行业一直是高性能计算的主要应用领域之一。地震勘探是利用人工激发的波场传播到地层，利用手工或计算机处理分析来自地层的波阻抗界面的反射波、高速层的折射波，以确定地质构造和地层岩石的性质的过程【４１。近年来，随着油气勘探深度的不断增大和勘探范围从陆地向海洋转移，所得到的地震数据日趋庞大，对超级计算的软硬件提出了更高的需求。随着勘探工作程度的加深，资源大量地被开采，地球物理勘探工作不断向新的深度和广度进军，勘察精度的要求越来越高、难度变得越来越大，在处理方法上也提出了更新的要求。地震方法是油气勘探中最广泛使用的方法之一，由于采集数据量大、处理步骤复杂，其数据处理通常都在大型计算机或工作站上进行。以往主要采用二维地震控制构造形态，叠后偏移进行反射点归位，叠加次数一般为几十次。对于这些地震数据处理中的并行计算技术研究工作，当时的大型机还是可以满足需要。如今，为了查明不断缩小的勘察目标和得到复杂构造的精确成像，勘探方式从二维勘探向三维勘探转移，处理方式从叠后处理向叠前处理转移、常规处理向高精度处理转移，这些无疑都大大地增加了数据处理量，普通大型计算机就难以满足需要了【５，６】。为并行地震数据处理系统设计一个高效，高可靠性的专用的并行文件系统。用于将的海量ｎｅｔＣＤＦ（－－种面向数组型数据的描述和编码标准，目前广泛应用于大气科学、水文、海洋学、环境模拟、地球物理等诸多领域）格式的地震数据放置到集群的Ｉ／Ｏ节点上，并建立高效的并行模型对并行文件系统中的数据进行处理，对提高并行地震处理系统效率，充分利用超级计算机资源无疑具有相当重要的意义。１．３本文主要工作本文的主要工作体现在下面三个方面：首先，设计并实现了网络化的并行地震数据处理框架，框架提供一个类似ＶＣ的模块集成开发环境（ＭＩＤＥ）可以实现不同地域的专业人员网络协作开发，ＭＩＤＥ将并行分布式计算相关的操作封装好以ＡＰＩ的形式提供给用户，地球物理专业程序员可以不需了解与分布式相关的知识，而专注于算法的开发，一个友好的，多功能多用户图形流程构建环境，用户可以用它使用开发好的模块构建并行作业流程并将流程提交给集群执行，实时监控集群上运行的流程，允许同时提交多个流程并在同一个ＧＵＩ界面上监控。借助中间件可使油气勘探研究人员开发并行数据处理和显示模块的效率大幅度提高。其次，在深入分析原有文件系统和基于ｎｅｔＣＤＦ地震数据格式特点的基础上，为并行地震数据处理系统设计了一个基于ｎｅｔＣＤＦ的高效，高可靠的专用并行文件系统，专用文件系统采用一种全新的文件分片算法，且相对现有文件系统在容错，数据备份／恢复机制上有较大的改进。实验表明，文件系统可以使地震数据处理最常见的简单并行达到很高的并行效率，且文件越大这种优势越明显非常适合海量地震数据处理。最后，首次将现有的基于消息传递（ＭＰＩ）的并行地震处理模型与共享存储（ＯｐｅｎＭＰ）模型相结合，实现了一个适合于ＳＭＰ集群并行地震数据支撑库，将涉及到消息传递的并行地震数据操作以直观的ＡＰＩ的形式提供给开发人员，利用支撑库提供的ＡＰＩ开发了一些测试模块，实验证明，支撑库可支持现有地震数据处理和显示模块的多种并行计算模型，并且能够获得较高的并行加速比和计算效率。２硕士学位论文１．４本文的结构全文分五章，本文的结构安排如下：第一章概述了本文的课题来源，研究背景，研究目的及意义，主要工作及其组织结构。第二章详细介绍了背景知识及相关研究，工作站网络环境下提供高性能的Ｉ／Ｏ所采取的主要解决方案，概述了在并行地震数据处理系统中，怎样建立并行模型对数据服务器上的海量地震数据进行并行处理。第三章介绍了网络化的并行地震数据处理框架的设计思想和框架的一些先进特性，并简单介绍了用户在平台上开发地震数据处理模块的过程。第四章从体系结构，数据的放置算法，数据备份恢复算法，应用实例等方面详细介绍基于ｎｅｔＣＤＦ数据格式的并行Ｉ／ｏ子系统。第五章将现有的基于消息传递（ＭＰＩ）的并行地震处理模型与共享存储（ＯｐｅｎＭＰ）模型相结合，实现了一个适合于ＳＭＰ集群并行地震数据支撑库。最后是全文的总结和展望。３地震数据处理中的并行计算技术研究第２章并行Ｉ／Ｏ及数据处理技术概述地震数据处理和解释一直是高性能计算的主要领域之一，由于处理数据量大数据读写次数频繁，Ｉ／Ｏ子系统一直是并行地震数据处理和解释系统的瓶颈，本章前三节简述了在工作站网络环境下提供高性能的Ｉ／Ｏ所采取的主要解决方案，以及国内外相应的研究进展。第四节概述了在并行地震数据处理系统中，怎样建立并行模型对数据服务器上的海量地震数据进行并行处理。２．１并行Ｉ／ｏ技术２．１．１提高Ｉ／Ｏ带宽解决方案在工作站网络环境中，为了给应用提供高带宽的Ｉ／Ｏ，在硬件结构上一般使用工作站网络的虚拟磁盘阵列。这时有两个问题需要考虑【７１。一是大文件的存储结构。为了实现并行Ｉ／Ｏ，提高对文件的访问速度，并行文件系统一般都采用文件分片的方式，将一个大文件分割成多个分片并以某种方式分布在磁盘阵列中。二是Ｉ／０子系统的实现方式。主要是如何实现一个高效的Ｉ／Ｏ子系统，采用什么方式完成应用程序Ｉ／Ｏ请求。工作站网络的硬件结构在现有条件和环境下是基本固定的，关键是在软件层面上采用什么方式来高效地实现Ｉ／Ｏ子系统。通过上述分析，在工作站网络环境下提供高性能的Ｉ／Ｏ所采取的主要解决方案是：（１）循环分片。将大文件进行分片并将其分布在工作站网络的各结点上，有助于提高文件的并行读写效率。不同的分片方式对存取模式的Ｉ／Ｏ操作效率的影响很大，关键是选择一种与工作站网络相适应的分片方式。这解决的是如何为大的Ｉ／Ｏ请求提供高带宽的问题。工作站网络中的结点是平等关系，性能相近，循环分片简单易管理，因此选择了循环分片方式。（２）Ｃｏｌｌｅｃｔｉｖｅ１１０技术，目的是提高磁盘存取操作的效率，特别是减少大量小的Ｉ／Ｏ请求带来的存取延迟，关键是充分利用工作站网络的特点设计一种有效的ＣｏｌｌｅｃｔｉｖｅＩ／Ｏ的体系结构。提高Ｉ／Ｏ性能还有一种方案就是采用专用的并行文件系统比如ＯＦＳ（ＧｌｏｂａｌＦｉｌｅｓｙｓｔｅｍ），ＰＶＦＳ（ＰａｒａｌｌｅｌＶｉｒｔｕａｌＦｉｌｅＳｙｓｔｅｍ），Ｃｏｄａ（ＣｏｎｓｔａｎｔＤａｔａＡｖａｉｌａｂｉｌｉｔｙ）等，其中ＰＶＦＳ的使用比较广泛，专用的并行文件系统虽然某些方面具有很高的效率，也提供了通用的文件访问接口，但是每种文件系统都具有相应的缺点，因此在实际应用中有很多人提出了改进方案，例如针对ＰＶＦＳ并行文件系统法的元数据服务器并行化，客户端缓存技术【｝１０】。２．１．２聚合Ｉ／Ｏ技术聚合（Ｃｏｌｌｅｃｔｉｖｅ）Ｉ／Ｏ是一种力图减轻由于映射关系导致的大量小请求所带来４硕士学位论文的磁盘操作延迟的技术，基本思想是根据磁盘文件数据的分布信息，将各结点上的进程所产生的大量ｄ、Ｉ／０请求合并成少量大的Ｉ／Ｏ请求后再进行磁盘存取，提高了一次磁盘读写的功效。ＣｏｌｌｅｃｔｉｖｅＩ／Ｏ基于并行程序通常具备的对称性，当Ｉ／Ｏ发生时，集群中所有节点运行到各自子进程的相同位置，因此会在一个很短的时间间隔内各自发出Ｉ／Ｏ请求。ＣｏｌｌｅｃｔｉｖｅＩ／Ｏ合并这些小的读写请求成为大的读写请求，从而减少磁盘磁头移动和Ｉ／Ｏ次数，提高Ｉ／Ｏ速度【１】。ＣｏｌｌｅｃｔｉｖｅＩ／Ｏ有不同的实现方案；如果在Ｉ／Ｏ服务器上合并文件请求则成为ＳＤＩＯ（Ｓｅｒｖｅｒ．ｄｉｒｅｃｔｅｄＩ／Ｏ）［１１ｌ：如果在磁盘这一层次把小而零散的Ｉ／Ｏ请求的请求合并为大的请求，它就成为ＤＤＩＯ（ＤｉｓｋＤｉｒｅｃｔｅｄＩ／Ｏ）１１２ｌ；如果客户端合并文件请求则被称为两阶段Ｉ／Ｏ（ＴｗｏＰｈｒａｓｅＩ／Ｏ）。单独的ＣｏｌｌｅｃｔｉｖｅＩ／Ｏ对于系统性能的提高并不充分，将数据筛选（ＤａｔａＳｉｅｖｉｎｇ）ＣｏｌｌｅｃｔｉｖｅＩ／Ｏ相结合，能显著地提高并行Ｉ／Ｏ系统的性能ｆ７１。ＤａｔａＳｉｅｖｉｎｇ基于读取数据的区域特征。如图２．１所示当一个进程连续发出位置不连续的多个读请求的情况时，这些请求的数据基本在某个区域内，因此可以连续读取整个区域，再根据请求位置在内存中再次分配数据，从而减少程序的Ｉ／Ｏ次数。在几个请求中间跨度很大情况下，ＤａｔａＳｉｅｖｉｎｇ可能会因为读入太多的无效数据而降低系统性能。智能的Ｓｉｅｖｉｎｇ技术会判断Ｓｉｅｖｉｎｇ的代价，再决定是否应该整片读取数据。用户请求·一——————一１系统缓冲０·一．·＿‘～’二乙．．ｊ’：：ｊ：：ｊ７．．·ｒ『．·’一２一．蔓堇釜芦３１对多个不连续的缓冲区进行合并２从磁盘上读出连续的数据３根据请求将数据拷回用户缓冲区图２．１数据数据筛选技术２．２并行文件系统２．２．１概述大型的仿真计算或数据密集型应用中，需要并行文件系统来完成大量的数据文件的读入写出，ＰＶＦＳ（ＰａｒａｌＩｅｌＶｉｒｔｕａｌＦｉｌｅＳｙｓｔｅｍ）并行文件系统是在基于ＰＣ的Ｌｉｎｕｘ微机集群系统中最成功的并行文件系统之一，不仅有３种用户访问模式、简单方便的系统配置过程，更与ＭＰＩ（ＭｅｓｓａｇｅＰａｓｓｉｎｇＩｎｔｅｒｆａｃｅ）的主流实现ＭＰＩＣＨ２的ＭＰＩ．ＩＯ有直接的接１２ＩｍＲＯＭＩＯ。ＰＶＦＳ是迄今为止ＬｉｎｕｘＰＣ集群系５地震数据处理中的并行计算技术研究统中最成功的并行文件系统之一，被广泛的应用和研究。ＰＶＦＳ往往是在ＬｉｎｕｘＰＣ集群上，与计算用的节点共享ＰＣ硬件，这样部署时，元数据服务－器（ＭｅｔａＳｅｒｖｅｒ）ＭＧＲ软件和数据服务：器（ＤａｔａＳｅｒｖｅｒ）ＩＯＤ软件是直接安装在计算节点上的，也就是说集群上的每个节点既是计算用的节点也适用于并行ＩＯ的节点，因此这种方式会因为计算节点进行１０操作而影响正常的计算处理，降低系统的效率。另外一种方式是形成单独的数据服务系统利用多台ＰＣ安装ＭＧＲ和ＩＯＤ来专门提供并行文件服务，这样可以实现计算任务与并行文件ＩＯ任务的分离，类似于通道处理器减轻主处理负担的作用一样，可提升系统的计算性能和文件１０性能。第一种方式影响性能而第二种方式的ＰＣ硬件代价太高，因此需要开发一个更高性价比的ＰＶＦＳ系统以实现不影响计算节点的性能并降低系统整体成本。首先分析系统中三个部件之间的互动与接口关系，然后设法通过软件开发与移植来替换昂贵的ＰＣ硬件基础上的数据服务器。２．２．２并行文件系统（ＰＶＦＳ）介绍ＰＶＦＳ的系统构成形式如图２．２包括数据服务器（运行ＩＯＤ），元数据服务器（运行ＭＧＲ），和客户端（运行ｌｉｂｐｖｆｓ）数据文件通过条块化（ｓｔｒｉｐｉｎｇ）Ｊ丞段存储在各个数据服务器上，因此可以并发地向客户端提供数据，在客户端的文件请求处理过程中，需要先从元数据服务器获得文件数据在数据服务器上分布情况的有关信息然后客户端才通过网络向数据服务器请求所需的数据块。图２．２中计算节点通过网络与ｐｖｆｓ系统的元数据服务器，和数据服务起相连，元数据服务器是数据服务器上数据的索引，计算节点需要访问数据服务器上的数据时先查找元数据服务器，找到对应数据在数据服务器上的位置。据文件是通过条块化分配到多个数据服务器上的。这个分配在创建文件时确定，因此对于一个特定的文件指定偏移量的数据是固定在某个ＩＯＤ服务器上的。客户机进行一次文件操作的过程如下：向运行ＭＧＲ程序的Ｍａｎａｇｅｍｅｎｔ节点发出元数据请求，获得文件在数据服务器上的分布情况；然后根据分布情况和数据偏移及数据量，可能对一个或多个数据服务器进行一次或多次读写，由于是多个数据服务器同时向所有客户机服务，因此系统的总吞吐量是各个数据服务器的总和。由于ＩＯＤ与客户机和元数据服务器之间的联系完全通过网络进行，因此从客户机和元数据服务器的角度上看，ＩＯＤ就是一个能够处理特定ｒｅｑ请求并返回合适的ａｃｋ响应数据的网络服务器，任何能够实现相同服务的实体替换这些ＩＯＤ时，对于客户机和元数据服务器都是不可见的。同理，用相同功能的其它实体替换客户机或元数据服务器也对另外的两种部件是不可见的。６硕士学位论文数旁元数据＝赦一二务一§Ｅ＝＝爿元数据一数黼豫丽螗．．鬟器一务元数馆图２．２并行文件系统（ＰＶＦＳ）结构２．３并行地震数据处理技术地震勘探行业越来越广泛地采用大规模并行处理（ＭＰＰ）系统解决数据处理问题。地震作业最主要的是及时提交高质量的成果，成果的精度由算法的精度和处理流程所决定，而时间则是由计算机的处理能力所决定。处理能力是指一定时间内所完成的工作量。其两个重要的衡量指标是每小时处理道数和每节点小时（一个节点是并行处理系统中的一个处理单元）处理的道数。前者反映时钟时间，后者反映完成工作所需的计算机资源。应当注意的是，处理能力不是处理周期，处理周期是完成一个项目所需要的总时间。它可以通过充分发挥项目总许多处理任务的效率而达到最优。当我们把作业分配到更多的节点的时候，处理能力呈线性增长。但是，有一个极限，当多余８个节点后处理能力就不再提高，这是因为它达到了Ｉ／Ｏ带宽的上限。此时再增加节点已经无济于事，因为新增加的节点不能调动更多的数据。但是，可以将作业分解，使分解后的每个部分用８个节点进行处理。这样６４个节点的系统可以同时运行８个作业，达到最大限度的利用ＭＰＰ节点处理能力的目的。目前已经有五种基本的并行处理算法：空间共享，作业复制，流水线，主从模式和以上各种方法的组合。以下将在一个３２个节点的ＭＰＰ系统上以实例说明每种方法。实例图中的大写字母表示读带，叠加，绘图等作业，处理模块用小写字母表示【１３·１卵。图２．３是空间共享说明，它是并行处理的最简单的形式。每个作业在单个节点上运行，每个节点只承担一项作业。每个作业独享一个ＣＰＵ和内存，但是和其他作业竞争使用Ｉ／０带宽。每个作业不依赖于其他任何作业进程。７地震数据处理中的并行计算技术研究ＡＥ。Ｅ日．Ｄ。ＺＣ’ＱＢＡ－ＤＹＣＺＩＰＲＩＨＧ×ＦＮｏＳＪＫＭＬＷＶＵＴ图２．３空间共享实例作业复制（图２．４）是在许多节点上同时运行相同作业，这样，同一个处理模块形成的作业集同时处理不同的数据块。这要求每个输出数据子集仅依赖于各自的输入数据子集。Ａ有３２份复制品，每个在不同的节点上运行，每个复制作业处理不同数据子集。Ａ１Ａ２Ａ３Ａ４Ａ５Ａ６Ａ７Ａ日Ａ９Ａ１０Ａ１１Ａ１２Ａ１３Ａ１４Ａ１５Ａ１６Ａ１７Ａ１８Ａ１９Ａ２０Ａ２１Ａ２２Ａ２３Ａ２４Ａ２５Ａ２６Ａ２７Ａ２日Ａ３９Ａ３０Ａ３１Ａ３２图２．４作业复制实例流水线模型如图２．５（Ａ）所示，输入输出和偏移作业模块分别运行在不同的节点上整个流程构成一个流水线，流水也称为功能模块顺序分解：把不同功能模块分配在不同处理机节点运行。这是最显而易见的。因为传统的地震处理过程总是组织为一系列模块的“流程”，如果把这些模块分段放在不同处理机运行，以构成流水方式。需要注意的是，一个作业被分割为不同的阶段，就可每个阶段包括一个或多个顺序的模块，跨处理机分布。数据必须流经流水线的每个阶段。假定我们有三个模块Ｍ１，Ｍ２和Ｍ３，分别在处理机Ｐ１，Ｐ２和Ｐ３运行，需要的处理机时间分别为ｔ１，ｔ２和ｔ３。可以看出，流程处理的第一个输出需要（ｔｌ＋ｔ２＋ｔ３）运行时间，而在流水线充满后，其它输出需要的最长时间为流水段中的最长的时间ｔｍ。ｘ。理论上，如果不考虑处理机间通信的开销，获得１１个输出的并行加速比（即单处理机执行时间与多处理机执行时间之比．）为：８硕＋学位论文跏磐卷瓣。甄ｎＶ磊１（２．１）其中，ｒｍａｘ是流水段中最长时间与总时间之比：ｒ一；ｔｍ缸／ｙ厶’一对于处理输出循环很大的情况：（２．２）Ｓｎ＝００暑ｙｒ嗽即加速比依赖于最长流水段时间与总时间之比。ｒ２．３１扇出／扇入如图２．５（Ｂ）所示，偏移作业扇出为三份运行在三个不同的节点上，扇出／扇入模式，也称为克隆模式，克隆是复制一个模块，使它可以同时在许多处理机运行。因此，我们可以有大量相同的模块对不同的数据工作。只有在模块中确定读哪些数据的部分需要变化。这种设计模式的数据结构要求输出的子集只依赖相应的输入子集。一般地讲，应用或作业的一部分是可以“克隆”的，而剩余部分则必须在单一节点运行。我们称之为部分克隆。因此，必须从一个单处理机扇出到“克隆”了的多个处理机，和从“克隆”了的多个处理机扇入回一个单处理机。这里，每个节点接收的数据子集、所有模块同步运行，当处理完成时数据同时输出。在一个处理循环中，如果一个模块Ｍｐ的计算量ｔｐ特别大，采用流水方式不可能获得高的加速比，这时可以利用克隆这个模块到ｍ个处理机的方法，其理论上加速比为：一西赫。——一撩。—１ｌ＿ｍ—－ｌｒｐ印‘丽知１（２．４）＠４’其中，ｒｐ是克隆的模块运行时间占总时间的百分比，即（２．５）当处理机数较大时，系统可达到的理论加速比为：鼬２—１－—ｒｐ出／扇入模型并行，如Ｆ．Ｋ域偏移和滤波等模块。＼‘一’”，（２·６）某些包含数据结构太大的模块，不能放在单一节点存储器中，此时可采用扇主从模式如图２．５（Ｃ）所示，作为例子，主节点从磁带或磁盘读输入道，并确定输入道应该映射到的面元，传送输入道到该面元对应的从节点，然后读下一个输入道等。这样，从节点在其输入满足后，开始计算，在计算完成后通知主节点，并等待来自主节点的新输入。需要采用主从方式的模块是计算量大的模块，例如Ｋｉｒｃｈｈｏｆｆ偏移、ＤＭＯ和ＤＭＯ速度分析等模块。在ＤＭＯ情形下，每个节点使用全部数据，计算输出道的子集。在ＤＭＯ速度分析的情形，每个节点使用所有数据，计算速度扫描图的子集。９地震数据处理中的并行计算技术研究输入◆偏移ｌ‘输出Ａ流水线日扇入，翕出Ｃ主从模式囚囚图２．５三种复杂的并行计算模型２．４并行算法的设计２．４．１设计原则并行算法是并行计算的基础，与实现技术相结合，为高效率使用并行计算机提供解决方案【１，２１。其基本原则简述如下：１．并行算法与体系结构相结合，可以分为线性结构、维网格结构和超立方体结构，如图２．６：一，＼一／＼／＼／＼／＼、／，，、＼／厂、＼一，厂、＼／厂、＼／／一＼、一，厂、＼一，厂、＼／厂、＼一，，，、＼／厂＼、／厂、＼／厂、＼／厂＼、、／，，、＼／厂＼、／／、＼／厂、＼一，／、＼一，／，、＼一，厂＼厂、厂、厂、厂、／一图２．６并行算法结构２．具有可扩展性：并行算法是否是随处理机个数增加而能够线性或近似线性的加速，这是评价一个并行算法是否有效的重要标志之一。也就是说，如果一个并行算法的加速比是ＳＰ（ｑ）一Ｄ（ｑ）或是ＳＰ（ｇ）一Ｏ（ｑ／（１＋ｌｏｇ（ｑ））），则可以称为具有可扩展性的并行算法。３．粗粒度：通常情况下，粒度越大越好。这是因为在每个处理机中有很多需要计算的工作任务，如此可以充分发挥多处理机的作用。并行加速比对细粒度问题一般情况下是不会很高的，这也是为什么并行计算需要求解大规模问题的原１０硕士学位论文因所在。４．减少通信：一个高效率的并行算法，通信是至关重要的。提高性能的关键是减少通信量和通信次数，其中通信次数通常情况下是决定因素。５．优化性能：一个算法是否有效，不仅依赖于理论分析的结果，也和在实现的过程中采用的技术息息相关。性能主要看单处理机能够发挥计算能力的百分比，然后是并行效率。影响并行算法效率的因素可能很多，但是这里所给出的几条是主要因素。因此，在算法设计的过程中，如果能够将上述５条加以仔细考虑，就能够取得非常好的效果。２．４．２性能评价大多数高性能现代计算机展示了并发性（ｃｏｎｃｕｒｒｅｎｃｙ），例如多处理是一种在作业级或程序级达到并发性的方法，而指令预］驭（ｉｎｓｔｒｕｃｔｉｏｎｐｒｅｆｅｔｃｈ）是一种在指令级达到并发性的方法。然而把每一种现代计算机均称为并行机是不恰当的，许多机器的并发性对用户是不可见的。因此，在文献［１６—１９］采用下面的一些定义：并行处理（ＰａｒａｌｌｅｌＰｒｏｃｅｓｓｉｎｇ）：并行处理是信息处理的一种有效形式，它强调对数据元素的并发操作，这些数据元素属于解决一个单一问题的一个或多个进程。并行性主要是指同时性或并发性，并行处理是指对一种相对于串行处理的处理方式，它着重开发计算过程中存在的并发事件。并行性通常划分为作业级、任务级、例行程序或子程序级、循环、迭代级、语句和指令级。作业级的层次高，并行处理粒度粗。粗粒度并行性开发主要采用ＭＩＭＤ方式，而细粒度并行性开发则主要采用ＳＩＭＤ方式。开发计算机并行性的方法主要有：资源重复、时间重叠和资源共享三种方法。粒度：是各个处理机可并行执行的任务大小的度量。大粒度反映可并行执行的运算量大，亦称为粗粒度。指令级并行等则是小粒度并行，亦称为细粒度。加速比：串行执行时间为Ｔｓ，使用ｑ个处理机并行执行的时间为Ｔｐ（ｑ），则加速比Ｓｐ（ｑ）为：＆（ｑ卜蠡ＧＦＬＯＰ／ｓ和刀咒ＤＰ肛，目前也逐渐开始使用ＰＦＬＯＰ／ｓ。．（２。７）计算速度：求一个问题的计算量为Ⅳ，执行时间为Ｚ，在８０年代采用ＦＬＯＰ／ｓ作为计算速度单位；在９０年代使用ＭＦＬＯＰ／ｓ和ＧＦＬＯＰ／ｓ；在２１世纪普遍使用州－了Ｗ量，如何提高操作速度，增加并发性等。（２．８）吞吐量（Ｔｈｒｏｕｇｈｐｕｔ）：单位时间产生结果的数量。可以有许多方法改进吞吐１１地震数据处理中的并行计算技术研究数据并行（ＤａｔａＰａｒａｌｌｅｌｉｓｍ）：使用多个功能部件把同一操作同时应用到数据集的元素上。如果没有增加与并行性相关的开销，则功能部件增加Ｋ倍，系统的吞吐量也增加Ｋ倍。Ａｍｄａｈｌ定律：在许多实时应用领域，计算负载的大小常固定。在并行机中，此负载可分布至多台并行执行，获得加速比称为ｆｉｘｅｄ．１０ａｄｓｐｅｅｄｕｐ。问题规模不随处理机变化而变化，而是看用并行技术能达到的最短时间是多少。一个问题的负载可表示如下：Ｗ＝Ｗｓ＋％负载。在咒个节点情况下，加速比可以表示如下：Ⅳ＋Ⅳ（２．９）其中，职代表问题中不可并行化的串行部分负载，％表示可并行化的部分Ｓｎ。蒜形＋形（２－ｏ）设串行因子口为串行部分所占的比例。代入即得Ａｍｄａｈｌ定律：Ｊ一。———访芦—————ｉ矿万。：＿ｉｉＦ二：≯万ｉ跏≤竺乎ｔ矗布Ｌ么·上上歹．仁Ⅲ形十形如图２．７所示，加速比是标志并行处理相对与串行处理所获得性能增加。１２．３４ｎ１２－３４ｎ固定负载执行时间随ｎ增加而减少图２．７加速比的概念Ｃｕｓｔａｆｓｏｎ公式：假设在每个处理机中，串行部分的百分比为ａ，则使用ｑ个处理机的并行加速比为：Ｓ，（日）－ａ４－ｑｘ（１一口）效率（Ｅｆｆｉｃｉｅｎｃｙ）：（２．１２）Ｅ一鲁ｔ面石而１。赢１ｔ而１（２．１３）如果问题规模Ⅳ不变，则处理机数目刀越大，效率厶也会相应下降。因此硕士学位论文为了维持效率Ｂ不变，就需要在处理器数以增大的同时相应的增加问题规模Ⅳ的值才能保持效率不变。为了维持一定的效率（介于０与１之间），当处理器数刀增大时，需要相应的增大问题规模Ⅳ的值，由此定义的问题规模Ⅳ随处理器数刀变化的函数称之为等效率函数（Ｉｓｏｃｆｆｉｃｉｅｎｃｙ）。按照等效率函数的定义，对于某一并行算法（或并行程序），为了维持运行效率保持不变，随着处理器数目的增加，若只需要增加较小的工作量（问题规模），比如说Ⅳ随刀呈线性或亚线性增长，则表示该算法具有良好的可扩放性；若需要增加非常大的问题规模，比如Ⅳ随刀呈指数级增长，则表示该算法是不可扩放的。如图２．８给出了三种等效率函数曲线，曲线１表示算法具有很好的扩放性；曲线２表示算法是可扩放的；曲线３表示算法是不可扩放的。Ⅳ工作负载处理器数厅图２．８等效率函数曲线可扩展性（Ｓｃａｌａｂｉｌｉｔｙ）：可扩放性最简朴的含意是在确定的应用背景下，计算机系统（或算法或编程）性能随处理器的增加而按比例提高的能力。现今它已成为并行处理中一个重要的研究问题，被越来越广泛地用来描述并行算法（并行程序）能否有效利用可扩充的处理器数的能力。如图２．９所示，可扩放性是标志从小规模系统到大规模系统所引起的性能衰减。Ｏ处理器数图２．９可扩展性的概念地震数据处理中的并行计算技术研究２．５小结本章是后续章节的研究基础，前三节简述了工作站网络环境下提供高性能的Ｉ／０所采取的主要解决方案，在第四节详细介绍了大规模并行处理（ＭＰＰ）系统中常见的地震数据并行处理算法，第五节介绍了通用的并行算法的设计过程和怎样评价一个并行算法的性能。１４硕士学位论文第３章网络化并行地震数据处理框架本章介绍了网络化的并行地震数据处理框架，框架是为在集群上进行地震数据显示与分析而开发的一个稳定可靠、可扩展、适应计算和网络技术演化需求的中间件，使得地震专业人员可以利用本支撑框架透明地利用其专业理论与方法，开发具有良好成长性的数据处理、数据显示与分析模块，而不必关心和注意他们所不擅长的最新的计算机技术和软件开发理论与方法。借助框架可使油气勘探研究人员在开发并行数据处理和显示模块的效率大幅度提高。３．１相关研究３．１．１中间件技术介绍在网格等高性能计算技术的研究中，最关键的就是中间件，它是当今基础软件体系的三大支柱之一，它可以屏蔽低层分布式环境的复杂性和异构性，简化分布式应用程序的开发，提高分布式应用程序的健壮性、可靠性和可用性。中间件是一种的系统软件或者服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源；近年来随着网络计算技术的快速发展，中间件技术取得了重大进展【２０１。计算机系统最初阶段多是单机系统，多个用户是通过联机终端来访问。随着网络的出现，产生了客户／服务器的计算服务模式，多个客户端可以共享数据库服务器和打印服务器等。随着计算机和网络技术的飞速发展，许多软件需要在不同厂家的硬件平台、网络协议异构环境下运行，应用的规模从局域网发展到广域网，应用范围面向三层和多层体系结构的分布式环境，在分布式环境中，无论是硬件平台还是软件平台都不可能做到统一，而大规模的应用软件通常要求在软硬件各不相同的分布式网络上运行。中间件产生以前，应用软件直接使用操作系统、网络协议和数据库等开发，开发者不得不直接面对许多复杂棘手的问题，如操作系统的多样性、繁杂的网络程序设计和管理、复杂多变的网络环境、数据分散处理带来的不一致性问题等等，这些与用户的业务没有直接关系，但又必须解决，耗费了大量的时间和精力，因此开发者迫切需要一种基于标准的、于计算机硬件以及操作系统的开发和运行环境，于是，中间件技术应运而生。在众多关于中间件的定义中，比较普遍接受的是ＩＤＣ表述：中间件是一种的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源；中间件位于客户机／服务器的操作系统之上，管理计算资源和网络通信。ＩＤＣ对中间件的定义表明，中间件是一类软件，而非一种软件；中间件是介于操作系统（包括底层通信协议）和各种分布式应用程序之间的一个软件层。总的作用地震数据处理中的并行计算技术研究是建立分布式软件模块之间互操作的机制，屏蔽底层分布式环境的复杂性和异构性，为处于自己上层的应用软件提供运行与开发环境，帮助用户灵活、高效地开发和集成复杂的应用软件。在具体实现上，中间件是一个用应用程序接口定义的分布式软件管理框架，具有强大的通信能力和良好的可扩展性。３．１．２并行地震处理系统地震数据处理和解释系统的研究一直是众多公司和研究机构的研究热点之一，已有多种并行处理与解释系统走向实际应用［２１，２２】，如ＯｐｅｎＳｐｉｒｉｔ，ＷｅｂⅥｓｔａ，ｇｅｏｃｌｕｓｔｅｒ等。ＯｐｅｎＳｐｉｒｉｔ由Ｃｈｅｖｒｏｎ、Ｓｈｅｌｌ和Ｓｃｈｌｕｍ．ｂｅｒｇｅｒ三家公司联合研发，其目的是为能源工业提供一个于厂商和平台的应用集成框架，既提供如坐标变换等基本Ｅ＆Ｐ组件，又提供一些针对地下地质解释的组件。ＷｅｂＶｉｓｔａ则是ｗｅｂ技术引入地震处理系统中的典范。其应用程序采用的浏览器／服务器（Ｂ／Ｓ．）模式具有多种优点。网络化计算也被广泛应用于地震数据处理中，１９９８年，西方地球物理公司曾通过数据采集、软件开发、数据处理等多方的共同努力，使典型的地震资料采集和处理的周期由数月缩短到数周。ＡＧＩＰ公司于１９９７年在泰国海上３５０ｋｍ２的三维地震勘探中采用了”网络化协作组”的工作方式ｆ２３彩ｌ。由于集群技术的优势，集群计算机系统已成为石油工业高性能计算机系统的首选【２５，２６ｌ。法国的ＣＧＧ于２００１年在Ｌｉｎｕｘ操作系统的微机集群上完成了著名的软件系统ＧｅｏＣｌｕｓｔｅｒ，该系统至今仍被许多油气勘探企业所采用：西方地球物理公司也于同年完成了地震数据处理系统向计算机集群平台的移植。在国内，中石油于２００３年投入巨资开发了基于集群的并行地震数据处理与解释一体化系统。尽管商业系统在某些方面具有不可比拟的优越性，但是它们一般多针对大型油气勘探公司开发，一些小型数据处理中心以及研究机构难以依赖于这些系统进行研究，主要原因为：首先，商业系统缺乏对地震数据处理中各种功能模块并行计算模型的全面考虑，系统中的有些模块的并行处理效率过低，对超级计算资源的利用有限，如ｇｅｏｃｌｕｓｔｅｒ的３．Ｄ叠前深度偏移模块在集群上有很高并行效率，但是叠前ｋｉｒｒｃｈｈｏｆｆ时间偏移模块的并行效率却很低：其次，商业系统缺乏柔性灵活的二次开发环境，用户很难在系统上开发新的模块。值得指出的是，除了各大公司研发的大型地震数据处理系统外，对地震数据处理和解释中的某些模块的并行分布式计算也引起了相当的研究兴趣【２８。３２１。文献『２８１描述了３一Ｄ克希霍夫深度偏移模块在大规模并行处理机上从原型的实现到实际应用的过程，文献『２９１是三维叠前深度偏移并行算法的实现，文献【２９１是叠前克希霍夫时间偏移在集群上的实现。文献［３１，３２］是对大规模地震数据并行显示和分析的研究，其中文献ｆ３１］是地球模拟器上大规模地震数据并行可视化算法的优化和实现，文献ｆ３２１设计并实现了一个显示大规模地震数据场的并行可视化系１６硕士学位论文统。在本文的第二章介绍了适合于集群系统的并行地震处理模型，但它们都没有考虑ＭＰＩ＋ＯｐｅｎＭＰ混合编程模型，因而难于同时利用两者的优势。和上述工作不同，本章从软件工程的视角出发，注意到地震数据处理和显示模块对系统的需求，借鉴和利用某些局部地震处理模块并行处理的研究思想和方法，本文提出并实现了一种并行地震数据处理和解释支撑框架（ｐａｒａｌｌｅｌｄａｔａｐｒｏｃｅｓｓｉｎｇｓｕｐｐｏｒｔｓｅｉｓｍｉｃｆｒａｍｅｗｏｒｋ，ＰＳＤＰＦ），该框架提供一个支持多种并行计算模型的并行地震数据处理支撑库的中间件，利用动态开放的网络环境，将多层次和多尺度计算资源进行组合与链接，实现了构件之间的动态交互装配。３．２框架的设计思想和结构框架设计的目的是面向大规模、高精度并行地震数据处理解释系统的强大计算需求，研发一种在集群上开发和应用并行地震数据处理模块的软件中间件。基于这些需求设计的并行地震数据处理解释系统支撑框架包括以下四个部分：可以支持现有并行地震数据处理模型和ＭＰＩ＋ＯｐｅｎＭＰ混合编程模型的支撑库；方便程序使用系统提供的ＡＰＩ开发模块的二次开发环境；支持多用户网络协作开发和应用的环境：将用户在ＧＵＩ上构建好的流程用脚本描述远程提交给集群执行的作业脚本描述语言。在ＧＵＩ上ＰＳＤＰＦ数据处理流程和简单流程图类似，用户可以利用系统库提供的模块”绘制”数据处理流程，设置流程中每个模块的参数，每个模块等价于一个Ｃ＋＋类，该类继承了框架提供的模块基类。每个模块类一般具有两个典型的成员函数：ｉｎｉｔ（参数输入），ｅｘｅ（数据处理）。模块基类可以使用框架中提供的全局Ｃ＋＋类，这些类包括内存管理、数据库访问、系统监控、以及一些被封装的ＭＰＩ消息传递接口，它们都被预先编译成静态库存放在集群服务器上，当用户将作业脚本提交给服务器后，服务器解析作业脚本，链接编译流程需要的静态库，将流程编译成可在集群上运行的可执行文件。ＰＳＤＰＦ支持网络化多角色的远程多用户协作并行应用模式【３２】，其核心组件包括：（ａ）ＤＦＳ（ｄａｔａｐｒｏｃｅｓｓｉｎｇａｎｄＦｌｏｗＢｕｉｌｄｅｒｓｅｒｖｅｒ），即运行在集群管理节点上的服务进程，其主要功能是侦听用户请求，将ＭＩＤＥ（模块集成开发环境，ＭｏｄｕｌｅＩｎｔｅｇｒａｔｅｄＤｅｖｅｌｏｐｍｅｎｔＥｎｖｉｒｏｎｍｅｎｔ）编写好的模块源代码编译成静态链接库，存放到模块库中，将编译结果返回。它还将作业脚本编译成可以执行的流程并提交给集群执行，监控集群上运行的流程，并将结果通过网络返回给ＧＵＩ。（ｂ）模块的集成开发环境（ＭＩＤＥ）。（ｃ）流程构建器（ＦｌｏｗＢｕｉｌｄｅｒ，ＦＢ），提供一个图形化的编辑，提交，监控数据处理流程的环境。框架采用基于角色的用户管理，包括Ａｄｍｉｎ（用户管理，ＤＦＳ上的模块库管理）、开发人员（ｄｅｖｅｌｏｐｅｒ，模块开发）和生产人员（ｐｒｏｄｕｃｅｒ，利用开发人员开发的模块构建地震数据处理流程）三种角色用户。１７地震数据处理中的并行计算技术研究系统的网络协作应用模式如图３．１示：图３．１框架的体系结构步骤１：步骤２：步骤３：步骤４：步骤５：Ａｄｍｉｎ通过网络管理ＤＦＳ上的用户以及模块库。开发人员通过客户端模块集成开发环境（ＭＩＤＥ）在ＤＦＳ上开发模块。开发人员和生产人员使用流程构建器（ＦｌｏｗＢｕｉｌｄｅｆ，ＦＢ）构建作业流程，并将作业脚本提交ＤＦＳ。ＦＢ通过ＤＦＳ监控集群上运行的作业。ＤＦＳ将用户提交的作业脚本编译成可执行文件生成ＰＢＳ（ＰｏｒｔａｂｌｅＳｙｓｔｅｍ）执行脚本提交给ｐｂｓｓｅｒｖｅｒ，ＰＢＳＢａｔｃｈｓｅｒｖｅｒ将作业提交给集群上的计算节点（ＣｏｍｐｕｔｅＮｏｄｅ，ＣＮ）。步骤６：用户通过数据显示和分析工具分析数据服务器上处理好的数据。３．３网络并行协作应用模式ＰＳＤＰＦ平台支持网络化多角色，多用户并行协作应用模式。ＭＤＩＥ、Ａｄｍｉｎ、ＦＢ实相当于ＤＦＳ的客户端，ＤＦＳ采用多线程的机制，允许不同角色的用户并行协作应用。如图３．２每个开发人员在ＤＦＳ上都有相应的用户模块库（ｕｓｅｒＭｏｄｕｌｅｌｉｂｒａｒｙ，ＵＭＬ）不同的用户使用ＭＤＩ客户端在服务器上对应的用户数据库上开发模块。Ａｄｍｉｎ负责将用户库中开发人员开发好，经过测试的模块放到系统库中（ｓｙｓｔｅｍＭｏｄｕｌｅｌｉｂｒａｒｙ，ＳＭＬ）。ＦＢ启动的时候将服务器上ＳＭＬ上的模块库读取到本地，并将构建好的流程用ＸＭＬ描述提交给ＤＦＳ。ＤＦＳ为每个在其上面开发模块的用户新建一个线程来处理用户请求生产人员和开发人员都可以使用ＦＢ，不同的是生产人员使用的流程构建器只启动的时候只将ＤＦＳ上ＳＭＬ中的模块读取到本地，开发人员不仅会读取ＳＭＬ中的模块而且会读取自己用户库中的模块到本地用于测试。硕士学位论文为了有效地提高ＰＳＤＰＦ的可移植性和可维护性，更有利于在石油勘探开发地震数据处理中应用基于网络的并行计算技术。使用户可以在不同的地方，不同的平台上在ＰＳＤＰＦ上编写模块，构建流程。ＰＳＤＰＦ中采用了网络编译技术，模块的编译，流程的编译都在服务器上完成。客户端只负责图形的显示。图３．２网络并行开发模式远程编译模块的过程是，程序员使用ＭＩＤＥ编写好模块，编译时ＭＩＤＥ自动将代码上传到ＤＦＳ的相应目录，调用ＤＦＳ上的编译器编译模块，并将编译信息通过网络实时返回，整个编译过程对用户透明，编译好的模块将会存到服务器上的用户库中。如图４所示：用户远程编译模块的过程是，使用ＭＤＩＥ编写好模块，编译时ＭＤＩ自动将代码上传到ＤＦＳ的相应目录，在ＤＦＳ上生成Ｍａｋｅｆｉｌｅ，调用ＤＦＳ上的编译器编译模块，并将编译信息通过ｓｏｃｋｅｔ实时返回，整个编译过程对用户透明。编译好的模块将会存到服务器上的用户库中。图３．３远程编译地震数据处理中的并行计算技术研究３．４模块开发由于Ｃ＋＋的封装和继承，使得开发人员使用ＭＩＤＥ开发模块的工作变得非常简单，ＭＩＤＥ是一个类似ＶＣ的集成开发环境，支撑库提供ＡＰＩ包括数据库访问，系统监控，内存管理以及支持现有并行地震处理模型的ＭＰＩ消息传递接口。用户开发的模块都从支撑库中封装好的模块基类继承，支撑库提供了丰富的功能强大的模块基类，编写并行模块的地震专业人员不需要深入了解复杂的分布式计算技术，专注与并行处理算法的开发ｆ３４，３５】。当模块开发人员定义好开发的模块类型之后，ＭＩＤＥ自动生成相应类型模块模版，一个模块相当与一个ｃ＋＋类。例如用户要开发一个名为ｍｙＭｏｄｕｌｅ模块，ＭＩＤＥ为这个模块生成３个文件，１个ｃ＋＋头文件，１个ｃ＋＋源文件和一个ｍｙＭｏｄｕｌｅ．ｄｅｆ文件。模块开发人员可以将其他的的头文件和源文件添加到工程中。ｍｙＭｏｄｕｌｅ．ｄｅｆ包含模块的类型说明，详细描述信息以及编译模块的时候需要的Ｃ＋＋头文件和库。编译模块的时候将根据此文件生成Ｌｉｎｕｘｍａｋｅｆｉｌｅ，链接需要的静态库。自动生成代码之后程序员通常只需要重载基类中的两个成员函数：（１）ＢｏｏｌｍｙＭｏｄｕｌｅ：：ｉｎｉｔ０：ｉｎｉｔ函数用来处理模块的参数输入，该函数在模块初始化的时候调用。系统提供了一个全局的类ＰａｒａｍｅｔｅｒＰａｒｓｅ专门用来处理模块参数的输入，在编译模块之前，ＭＩＤＥ将会扫描ｉｎｉｔ函数中代码，找出模块需要的参数以及参数的类型，保存到一个ｍｙＭｏｄｕｌｅ．ｐａｒ的ＸＭＬ文件中。当模块编译通过之后，这个文件将会随模块的索引一起保存到服务器上的数据库中，用户设置模块参数的时，流程构建器（ＦＢ）从数据库中读取这个文件，通过解析这个文件用图形界面显示模块需要的参数，等待用户输入。ＰａｒａｍｅｔｅｒＰａｒｓｅ类支持的参数类型包括：（ａ）ｉｎｔｅｇｅｒ，ｒｅａｌ，ｄｏｕｂｌｅ，ｃｈａｒａｃｔｅｒｓｔｒｉｎｇａｎｄＢｏｏｌｅａｎ；（ｂ）文本框，下拉列表；（ｃ）参数在图形界面上的颜色、字体、是否填充；（ｄ）输入文件、输出文件；（ｅ）主机名。不同类型的参数将以不同的形式在图形界面上显示，例如Ｂｏｏｌｅａｎ类型的参数以下拉列表的形式显示给用户。（２）ＢｏｏｌｍｙＭｏｄｕｌｅ：：ｅｘｅ０，这个函数在模块运行的时候调用，地震专业人员在这里编写数据处理算法。实现这两个函数模块开发人员既不需要精通ＭＰＩ并行编程技术，也不需要了解流程运行的时候集群上的内存管理等一些细节问题，框架的并行地震数据支撑库将这些功能封装以ＡＰＩ形式提供给程序员，根据我们的经验一个熟悉Ｃ＋＋的程序员可以在一两周的时间内开发一个功能复杂的并行地震数据处理模块。ＰＳＤＰＦ系统支持网络化多角色，多用户并行协作应用模式。ＭＩＤＥ，Ａｄｍｉｎ，ＦＢ相当于ＤＦＳ的客户端，ＤＦＳ采用多线程的机制，允许不同角色的用户并行协作开发（如图３．２）。每个开发人员在ＤＦＳ上都有相应的用户模块库（ｕｓｅｒＭｏｄｕｌｅ硕±学位论文ｌｉｂｒａｒｙ，ＵＭＬ）不同的用户使用ＭＩＤＥ客户端在服务器上对应的用户数据库上开发模块。Ａｄｍｉｎ负责将用户库中通过测试的模块放到系统库中（ｓｙｓｔｅｍＭｏｄｕｌｅｌｉｂｒａｒｙ，ＳＭｕ。ＦＢ启动的时候启动的时候将服务器上ＳＤＢ上的模块库读取到本地，生产人员和开发人员都可以使用ＦＢ。不同的是生产人员使用的流程构建器只将ＤＦＳ上ＳＭＬ中的模块读取到本地，开发人员不仅会读取ＳＭＬ中的模块而且会读取对应用户库中的模块到本地用于测试。３．５图形用户界面～个直观的友好的图形用户界面，将会大大方便用户使用系统，成功的商业系统一般都具有非常友好的图形界面【鄞。３”，ＰＳＤＰＦ同样给用户提供了一个友好的图形用户界面，用户只需要单击一下鼠标就可以得到详细的模块使用文档，”所见即所得”，流程构建环境，用户可以像”绘制”流程图一样使用系统库中提供得模块构建数据处理流程。该图形界面采用ＯＴ（Ｔｒｏｌｌｔｅｃｈ公司的一个跨平台的图形用户界面库１开发，０Ｔ具有类似ｗｉｎｄｏｗｓ应用程序多文档，浮动窗口等功能。界面在Ｌｉｎｕｘ下面开发，但是可以方便的移植到其他操作系统上，我们已经成功将ＧＵｌ界面移植到Ｓｏｌａｒｉｓ，ｗｉｎｄｏｗｓ平台上。框架ＧＵＩ包括２个主要组件：Ｍ１ＤＥ（图３．４１和ＦｌｏｗＢｕｉｌｄｅｒ（图３５）其中ＦｌｏｗＢｕｉｌｄｅｒ又分为３个常用的功能部件：模块库（图３．５ｃ），作业编辑器（图３．５ｂ），作业管理器（图３．５ｄ）。Ｍ１ＤＥ是一个类似Ｍｉｃｒｏｓｏｆｔ境，其功能和使用方法已在第４节详细介绍。ＶｉｓｕａｌＳｔｕｄｉｏ６０的集成开发环’”自…＊一Ⅺ目“…Ｉ—ｌ．，口●｛＿ｈｏｏｊ．∞●●ＫｌＪ·ｔｔＶｌ口ｏ·≈ｈｏ“ｄ—＾－＾＿’１口口一。¨ｈ‘－‘Ｊ。＾Ｔ…ｔ口Ｔｈ…’’‘…“Ｈ１图３．４模块簋成开发环境地■数据处理中的并行＊算技术研究ＦｌｏｗＢｕｉｌｄｅｒ给用户提供了一个图形化的”所见即所得“开发环境，用户可以像绘制流程图一样将模块从模块库拖放到绘图区，将不同的模块连接起来，设置好模块的参数，构建数据处理流程。ＦｌｏｗＢｕｉｌｄｅｒ将用户构建好的流程用作业脚本描述，上传到ＤＦＳ。脚本中包括流程中每个模块的参数，编译模块需要的库，流程执行需要的节点。ＤＦＳ根据用户上传的脚本生成ｍａｉｎ函数，链接模块库，编译成可执行文件，将作业提交给集群，编译信息也会通过网络实时返回到ＦＢ。当作业被提交到集群的指定节点上，在执行的过程中，流程会将一些执行信息发送到管理节点上，ＤＦＳ将相应的信息转旋给流程构建器，在作业监控器中显示。流程构建器通过ＤＦＳ远程管理集群上的执行的作业，ＤＦＳ上有一个线程侦听来自ＧＵｌ界面的控制信息。’““一，｝～Ｉ…ＩＣ－Ｉ自一‘。Ｉ－嚣．｝曼●。｝目。工Ｉ一Ｉ，！詈一刮ｌ：：＝．ｏ占１‘苫一一一Ｉｊ～－…一一…～…一一一：“‘蚰甍—粤一一兰当｝生竺＿＿＝＝■＝兰：＝！＝兰：兰一芸芸皇Ｉ一＝④一“《图３．５流程构建器ＦｌｏｗＢｕｉｌｄｅｒ启动的时候将会读取服务器上的模块库，在本地显示。在模块库模块列表中双击一个模块将会显示该模块的使用文档。模块库还提供按名字查找模块的功能，当模块被找到之后，用户可以直接将模块从模块库中拖放到绘图区用于构建数据处理流程。作业编辑器是框架是核心的部件，多文档的结构允许用户同时打开和编辑多个流程，由于浮动窗口的使用，用户可以将界面调整成自己喜欢的样式，模块和参数设置可以在不同的流程相互拷贝，编辑器还允许将流程的一部分保存为模版，已各下次使用，节省用户编辑流程的时间，减少失误。用户飘击拖放绘图区的模块，将会弹出该模块韵参数设置窗口，设置好模块参数之后，作业脚本被上传到ＤＦＳ，ＤＦＳ根据脚本生成可执行文件和ＰＢＳ（ＩＢＭ开发的一个的开源的集群作业管理器１脚本，将作业提交给ＰＢＳｓｅｒｖｅｒ，ＰＢＳＳｅｒＶｅｒ生成一个唯一的ＩＤ标识该作业，并将ＩＤ通过ＤＦＳ返回作业监控器，作业监控硕上学位论文器通过该ＩＤ监控集群上的作业，当作业在集群上执行出错时，ＰＢＳ立即将错误信息返回给作业监控器，高亮显示。作业监控器仅仅是ＰＢＳ功能的封装，通过接收ＰＢＳ返回信息来显示作业状态，通过发送ＰＢＳ指令给ＰＢＳｓｅｒｖｅｒ管理集群上的作业。因此作业编辑器和作业监控器相互。运行时候互不影响。３．６小结本章全面从体系结构设计思想方面全面介绍了我们开发的并行地震数据处理支撑框架，框架提供的一些先进特性，以及用户这样利用框架提供的集成开发环境开发模块，目前该中间件已经投入实际应用，实践证明中间件可以是模块开发人员开发模块的效率大幅度提高。地震数据处理中的并行计算技术研究第４章基于ｎｅｔＣＤＦ的并行Ｉ／０子系统本章在深入分析原有文件系统和基于ｎｅｔＣＤＦ的地震数据的基础上，为并行地震数据处理系统设计了一个基于ｎｅｔＣＤＦ的高效，高可靠的专用并行文件系统，本章讨论文件系统中数据的放置算法，数据的备份／恢复机制以及怎样建立高效的并行模型对文件系统中的数据进行并行处理，实验表明，文件系统可以使地震数据处理最常见的简单并行达到很高的并行效率，相对现有文件系统在容错，数据备份／恢复机制上有较大的改进。４．１研究意义４．１．１研究背景计算机技术发展迅速，特别是处理器和网络速度提高很快，然而外设的速度相对落后。Ｉ／Ｏ设备成为计算机系统特别是大规模并行环境下的瓶颈，已经是公认的事实。在Ｉ／Ｏ系统的设计中我们参考了Ｐｕｒａｋａｙａｓｔｂａ等人在ＮＣＳＡ（ｎａｔｉｏｎａｌｃｅｎｔｅｒｆｏｒｓｕｐｅｒｃｏｍｐｕｔｉｎｇａｐｐｌｉｃａｔｉｏｎｓ）对科学应用中并行Ｉ／Ｏ特点的概括【２—４】。其最主要的特点是，磁盘存取操作密集，９０％的磁盘数据访问量是由占请求总数不到１０％的较大的数据请求要求的，而访问请求总数中的９０％的请求是较小的数据请求。因此，并行文件系统既要保证大量较小的Ｉ／０请求的小访问延迟，又要为较大的Ｉ／０请求提供高带宽。特别是后者，如果不能较好地解决，对系统性能的影响就会很大【３８。４０１。地震方法由于采集数据量大，处理步骤复杂，其数据处理通常都在大型计算机或工作站上进行。如今，为了查明不断缩小的勘察目标和得到复杂构造的精确成像，勘探方式从二维勘探向三维勘探转移，处理方式从叠后处理向叠前处理转移、常规处理向高精度处理转移，这些无疑都大大地增加了数据处理量，所以Ｉ／Ｏ瓶颈问题在并行地震数据处理系统中显得尤为突出。４．１．２并行文件系统（ＰＶＦＳ）性能分析大型的仿真计算或数据密集型应用中，采用并行文件系统来完成大量的数据文件的读入写出，将会显著提高系统的性能，达到充分利用超级计算资源的目的。应用在Ｌｉｎｕｘ集群上的并行文件系统最成功的是ＰＶＦＳ，有关ＰＶＦＳ的结构及使用方法已经在第一章详细介绍，其优点是能够达到很高的Ｉ／Ｏ性能，实际解决了集群系统中并行存储的问题，且源码公开，具有良好的开放性。然而Ｉ／Ｏ性能并不是衡量集群文件系统的唯一指标，要使ＰＶＦＳ在集群系统中能够正常、稳定地运行起来，必须满足集群系统高可靠性和可用性的特征，即还需考虑文件系统的硕士学位论文容错性。目前，ＰＶＦＳ对这个问题的处理还不够成熟和完善，具体体现在以下几个方面：（１）没有采取容错机制，系统的可靠性有待提高。ＰＶＦＳ采用元数据和文件数据相分离的结构，文件的元数据信息存放在一个元数据节点中，由元数据服务器负责管理；而文件数据被条块化分割后顺序存放在多个Ｉ／Ｏ节点中，由ＦＯ服务器负责管理。这种结构使得元数据服务器和所用的Ｉ／Ｏ服务器都成为系统的中的单点故障点，其中任一节点的硬盘、ｃｐｕ、内存、软件等出现故障，则整个文件系统将不可用。（２）数据备份／恢复的效率较低。由于缺乏容错机制，要在集群中应用ＰＶＦＳ文件系统，就必须有数据的备份恢复的机制，使得在某个服务节点失效时，数据不至于全部丢失，能够恢复到上一次备份时的状态。最简单的方法是使用ｔａｒ或者类似工具，通过ＰＶＦＳ提供的内核接口或ｌｉｂｐｖｆｓ接口，从一个ＰＶＦＳ客户端直接将存放在ＰＶＦＳ系统上的所有所用备数据备份出来。恢复时，再从一个ＰＶＦＳ客户端将备份数据恢复到新建的ＰＶＦＳ系统中即可。然而，这种方法会带来两个问题，一是要有一个容量足够的存储设备，二是在ＰＶＦＳ系统很大时，完成一次备份或恢复会消耗很长的时间。（３）可扩展性收到一定的一方面，集中的元数据管理成为这个系统的潜在瓶颈，其影响会随着系统规模的扩大而初步显现，另一方面，ＰＶＦＳ在规模的扩展方面显得不太灵活，一旦文件系统构建完毕，如果要增加Ｉ／Ｏ节点，只能通过数据备份、系统重建、数据恢复的方式进行，步骤繁琐，容易出错，且必须以脱机的方式运行，影响了集群上的应用。最关键的是，在ＰＶＦＳ并行文件中数据被条块化分割后顺序存放，并不能保证地震数据的一个道集不被分散到不同的Ｉ／Ｏ节点上，不能在作业复制时将处理不同道集的进程之间的通信开销降到最小，而在并行地震数据处理中作业复制这种简单的并行占９０％，因此，通过实验发现，采用ＰＶＦＳ文件系统不能显著提高系统并行处理的性能。因此，为并行地震数据处理系统设计一个高效，高可靠性的专用的并行文件系统，充分利用超级计算机资源无疑具有相当重要的意义。４．３系统的体系结构４．３．１文件格式分析本章的文件系统建立在ｎｅｔＣＤＦ数据格式上面，ｎｅｔＣＤＦ是一种面向数组型数据的描述和编码标准，目前广泛应用于大气科学、水文、海洋学、环境模拟、地球物理等诸多领域。用户可以借助多种方式方便地管理和操作ｎｅｔＣＤＦ数据集【４１】地震数据处理中的并行计算技术研究ｎｅｔＣＤＦ最早是由美国国家科学委员会资助的计划所发展来的，其用意是在Ｕｎｉｄａｔａ计划中不同的应用项目下，提供一种可以通用的资料存取方式，资料的形状包括单点的观测值、时间序列、规则排列的网格、以及人造卫星或雷达的影像文件。ｎｅｔＣＤＦ可简单的视为一种存取介面，任何使用ｎｅｔＣＤＦ存取格式的资料就可成为ｎｅｔＣＤＦ文件；每一个ｎｅｔＣＤＦ文件可以含括度的、具有名称的变量，包括长短的整数、单倍与双倍精度的实数、字符等，且每一个变量都有其介绍的资料，包括量度的单位、名字及意义等文字说明。一个完整的ｎｅｔＣＤＦ包括档头和资料区。档头（ｈｅａｄｅｒ）：主要用来记录变量名称、个数与型态；ｄｉｍｅｎｔｉｏｎ名称、个数与型态；以及相关的说明内容。由于这一部分内容并没有用到实际数据储存的空间，所以使用的空间并不会多出来。资料区（ｄａｔａ）：这一部分就是实际数据记录的地方，由于这一部分的空间有涉及你当初设定的变量型态，假如你的数据为整数，但是你记录的储存格式为倍精倍数，则这个区域的储存空间无形之中会变的很大。基本上就仅分为这两个部分，所以你在看档案的时候，看前面就知道后面数据的型态。简单的说，ｎｅｔＣＤＦ是一套软件，也是一种存取介面，这种介面的优点在于其资料具有说明的档头。所以资料不会被误用；而其存取方式为”直接至该笔资料存取”，因此可以省去很多不必要的读取时间；另外，这种文件是一种可以，，跨平台操作”读取的格式，因此不论是以何种操作系统制作ｎｅｔＣＤＦ文件，在其他平台之下，还是可以使用这样的资料文件的。ｎｅｔＣＤＦ可简单的视为一种存取接口，任何使用ｎｅｔＣＤＦ存取格式的档案就可称为ｎｅｔＣＤＦ档案；至于ｎｅｔＣＤＦ这套软件的功能，在于提供Ｃ、Ｆｏｒｔｒａｎ、Ｃ＋＋、Ｐｅｒｌ、或其它语言Ｉ／Ｏ的链接库，以让程序发展者可以读写数据文件，其本身具有说明的能力、并且可以跨越平台和机器的。ｎｅｔＣＤＦ适合于科技方面的使用，这是因为这个介面是一个的资料分布系统，所以由这个介面所产生的文件，具有的资料格式，当你需要其中的某一笔资料时，程序将不会从第一笔资料顺序读到你所需要的资料处，而是由ｎｅｔＣＤＦ程序直接存取那一笔资料，如此一来将会大量的降低存取的时间。本章文件系统建立在ｎｅｔＣＤＦ格式之上并充分利用ｎｅｔＣＤＦ格式这一优点。４．３．２系统的设计思想为并行地震数据处理系统研究一个高性能，高可靠性的并行文件系统，面对的主要问题如下：（１）文件分片方式，将大文件进行分片并将其分布在集群中的Ｉ／Ｏ节点上，有助于提高文件的并行读写效率。不同的分片方式对存取模式的效率影响很大，另外由于最后的并行算法需要应用于商业的并行地震数据处理中，处理的数据量特硕士学位论文别大，对数据分发的可靠性要求高，如何准确的将ＴＢ级别的数据分发到１０００个以上的计算节点是一个难点。（２）数据备份／恢复，一次分发数据的时间特别长，所以算法必须允许在分发的过程中一个或者多个进程异常而不需要终止分发数据。分发数据之后一个以上的节点崩溃而不需要重新分发数据。（３）程序访问接口，成功的文件系统都会为用户提供多种方便的访问接口，以便用户在文件系统进行二次开发，是否有方便的访问接口将直接决定文件系统的应用前景。（４）建立通用的并行模型对分发后的数据进行处理。（５）将在集群上处理的数据回收到磁盘或者专用的存储设备上以便进行数据的显示和分析。文件系统的设计主要考虑Ｉ／Ｏ的组织方式，Ｉ／Ｏ的组织方式是指系统中的实体共享数据存取的信息和数据分布的信息，并且以一种一致的方式执行协作式的Ｉ／Ｏ请求。其中，数据存取信息包括数组维数、数据分布信息、全局数据访问信息等【３７１。数据分布信息包括文件存储的顺序和文件分片的策略；一致的方式是指不同结点的多个存取操作涉及向同一文件的连续位置读或写，也就是说，数据存取的顺序与数据存储在磁盘上的方式相匹配。在充分考虑ＮｅｔＣＤＦ文件格式的特点和并行地震数据处理模型的基础上设计了专用文件系统，以达到文件系统在通用的并行地震数据处理上优化的目的，文件系统的体系结构如图４．１所示，系统体系结构类似于ＰＶＦＳ，包括数据索弓｝服务器（记录文件系统中的数据集和相应数据集的详细信息），客户端（运行Ｉ／Ｏ代理１，和专门的计算节点，数据文件通逐段存储在各个数据服务器上，因此可以并发地向客户端提供数据，在客户端的文件请求处理过程中，需要先从数据索引服务器获得文件数据在数据服务器上分布情况的有关信息然后客户端才能通过网络向数据服务器请求所需的数据块。相对于ＰＶＦＳ文件系统，主要的不同有两点：首先文件系统建立在ＮｅｔＣＤＦ数据格式的基础上而不是建立在操作系统的文件系统之上，其次，有较大一部分计算能力很强的节点即是数据节点有是计算节点，这是专门针对并行地震数据处理中９０％的并行都为简单的数据并行，文件系统可以直接将数据通过Ｉ／Ｏ代理放置到相应的计算节点上面，将数据处理后再进行回收，由于一次放置多次处理，加上放置的时候可以先对数据进行索引，生成最优的放置方案，因此这种并行能达到很高的加速比，另外还值得指出的是由于ＮｅｔＣＤＦ数据格式特点，在索引服务器上可以精确的知道哪一块数据放置在哪台机器上，只要备份数据没有损坏，分发数据之后一个以上的节点崩溃后，可以通过查找数据索引服务器将损坏节点上的数据复制到备份节点上，而不需要重新分发整个数据。地震数据处理中的并行计算技术研究图４．１文件系统的体系结构４．４文件系统的关键算法４．４．１算法的介绍这里首先需要介绍一下道集的概念，地震数据的每道道头信息一般有６４个属性，每个属性记录着采集时的一个特征信息，根据某些道头属性组合起来的道的集合就叫做道集。比如道头属性ＣＤＰ（ｃｏｍｍｏｎｄｅｐｔｈｐｏｉｎｔ）记录某道的深度点，按ＣＤＰ组成的道集就叫做共深度点道集；道头属性ＣＭＰ（ｃｏｍｍｏｎｍｉｄｄｌｅｐｏｉｎｔ）记录某道接收点的中心位置，按ＣＭＰ组成的道集就叫做共中心点道集；道头属性ＣＣＰ（ｃｏｍｍｏｎｃｏｎｖｅｒｓｉｏｎｐｏｉｎｔ）记录转换点的位置，按ＣＣＰ组成的道集就只叫做共转换点道集。也可以按照ＣＤＰ和ＣＭＰ一起组成道集或更多个属性一起组成道集。并行Ｉ／０子系统的功能是：先将一个大数据的不同道集分发到有计算能力的节点上，然后将分发后的数据索引并建立数据集，用户可以构建流程并通过数据索引服务器中的数据集进行处理，处理完之后再将数据集合并进行显示和分析。设计并行文件系统首先需要考虑同一个道集不能被分散到不同的计算节点上，这样可以将并行处理的通信开销降低到最小，文件系统的数据放置算法主要包括下面几个方面的内容：（１）数据的分发（ｓｃａｔｔｅｒ），将大文件进行分片并将其分布在集群中的Ｉ／Ｏ节点上，对分片后的数据索引并建立数据集。数据分发的目的是为了进行简单的数据并行，不同的节点可以对不同的道集进行的处理而彼此之间不需要通信，因此可以先将一个大数据的不同道集分发到有计算能力的节点上处理完之后再合并，计算节点在并行处理这些数据的时候彼此之间不需要通行，可以达到很高的并行效率。（２）数据的合并／清理，将处理完的数据合并到磁带或者数据备份服务器上，并将原始数据删除。（３）数据的备份／恢复，分发数据之后一硕士学位论文个以上的节点崩溃后，可以通过查找数据索引服务器将损坏节点上的数据复制到备份节点上。算法４．１文件系统数据放置（ｓｃａｔｔｅｒ）：步骤一：输入源节点数ｓｏｕｒｃｅＮｕｍｂｅｒ和目的节点数ｄｅｓｔＮｕｍｂｅｒ。步骤二：输入需要放置的源数据ｓｏｕｒｃｅＦｉｌｅ以及相应的源数据节点ｓｏｕｒｃｅＮｏｄｅ．Ｎａｍｅ，并指定不能被放置到不同Ｉ／０节点上的道集的道头ｆｉｒｓｔｌｄｅｎｔ，ｓｅｃｏｎｄｌｄｅｎｔ，ｔｈｉｒｄｌｄｅｎｔ。步骤三：输入目的节点名ｄｅｓｔＮｏｄｅＮａｍｅ，目的数据名ｄｅｓｔＦｉｌｅ，目的节点数据大小ｆｉｌｅＳｉｚｅＬｉｍｉｔ，如果不设置则默认为平均分配。步骤四：在客户端生成分发数据请求，并将请求配置文件上传到数据索引服务端。步骤五：数据索引服务器根据输入的ｓｏｕｒｃｅＮｏｄｅＮａｍｅ，ｓｏｕｒｃｅＦｉｌｅ，从ｓｏｕｒｃｅＦｉｌｅ中将ｆｉｒｓｔｌｄｅｎｔ，ｓｅｃｏｎｄｌｄｅｎｔ，ｔｈｉｒｄｌｄｅｎｔ读入到内存中，在内存中采用一个大小可变的结构ｖｅｃｔｏｒ＜ｃｐＳｏｒｔｉｎｇＴａｂｌｅ＞ＳｏｒｔＴａｂｌｅ记录排序后的道头，ｃｐＳｏｒｔｉｎｇＴａｂｌｅ结构体的定义为：ｓｔｒｕｃｔｃｐＳｏｒｔｉｎｇＴａｂｌｅ，ｌｏｎｇ＿ｒｅｃｎｕｍ；｜膏ｒｅｃｏｒｄｎｕｍｂｅｒ·｜ｌｏｎｇ＿ｍａｙｖａｌ；ｌ＇ｍａｙｏｒｉｄｅｎｔｖａｌｕｅ＇ｌｌｏｎｇｍｉｒｖａｌ；｜＇ｍｉｎｏｒｉｄｅｎｔｖａｌｕｅ＇｜ｌｏｎｇ＿ａｄｄｖａｌ；｜＿ａｄｄｉｔｉｏｎａｌｓｏｒｔｉｎｇｉｄｅｎｔｖａｌｕｅＩｌｌｏｎｇ—ｅｘｔｖａｌ；｜囊ｅｘｔｒａｓｏｒｔｉｎｇｉｄｅｎｔｖａｌｕｅＩ｜｝；采用ＳＴＬ中的稳定排序算法将内存中的道头按降序排列ｓｔａｂｌｅｓｏｒｔ（ＳｏｒｔＴａｂｌｅ．ｂｅｇｉｎＯ，ＳｏｒｔＴａｂｌｅ．ｅｎｄＯ，ＬｅｓｓＴｈａｎＯ）；根据排序后的道头综合考虑道集不被分散，目的节点数据大小ｆｉｌｅＳｉｚｅＬｉｍｉｔ生成详细数据分发方案。详细分发方案中准确记录了ｓｏｕｒｃｅＦｉｌｅ中的相应道在ｄｅｓｔＦｉｌｅ中的位置。步骤六：将分发方案返回客户端，客户端显示数据分发方案。如果分发方案客户端确认分发方案符合要求，则进入步骤七，否则客户端重新编辑详细分发方案，回到步骤四。步骤七：根据详细分发方案，在源数据节点和目的数据节点上启动数据分发和接收进程，将数据从源节点复制到目的节点上。步骤八：将分发好的数据保存为数据集（数据集保存在系统的ｍｙｓｑｌ数据库，数据集是一组数据的集合，数据集的配置文件中记录了数据集中每个数据所属的节点，以及数据在该节点的绝对路径）。地震数据处理中的并行计算技术研究算法４．２文件系统数据合并（ｍｅｒｇｅ）：步骤一：从数据索引服务器上读取需要合并的数据集。步骤二：从数据集的配置文件中读取源数据ｓｏｕｒｃｅＦｉｌｅ以及相应的源数据节ｓｏｕｒｃｅＮｏｄｅＮａｍｅ。步骤三：源数对应每个据，输入相应目的节点名ｄｅｓｔＮｏｄｅＮａｍｅ，目的数据名ｄｅｓｔＦｉｌｅ。步骤四：在客户端生成分发数据请求，并将请求配置文件上传到数据索引服务器端。步骤五：数据索引服务器根据客户端的数据合并请求生成详细的数据合并方案。步骤六：根据详细合并方案，在源数据节点和目的数据节点上启动数据分发和接受进程，将数据从源节点复制到目的节点上。步骤七：将分发好的数据保存为数据集（数据集保存在系统的ｍｙｓｑｌ数据库，数据集是一组数据的集合，数据集的配置文件中记录了数据集中每个数据所属的节点，以及数据在该节点的绝对路径１。算法４．３文件系统数据清理（ｍｅｒｇｅ）：步骤一：从数据索引服务器上读取需要合并的数据集。步骤二：从数据集的配置文件中读取源数据ｓｏｕｒｃｅＦｉｌｅ以及相应的源数据节点ｓｏｕｒｃｅＮｏｄｅＮａｍｅ。步骤三：在客户端生成清理数据请求，并将请求配置文件上传到数据索引服务器端。步骤四：根据客户端上传的清理数据请求，在相应的数据节点上启动数据清理进程，删除需要清理的数据。步骤五：删除对应数据索引服务器上的数据集。算法４．４文件系统数据恢复（ｍｅｒｇｅ）：步骤一：从数据索引服务器上读取需要恢复的数据集。步骤二：从数据集的配置文件中读取备份的详细数据分发方案，包括源数据节点ｓｏｕｒｃｅＮｏｄｅＮａｍｅ，源数据ｓｏｕｒｃｅＦｉｌｅ，包括目的数据节点ｄｅｓｔＮｏｄｅＮａｍｅ，源数据ｄｅｓｔＦｉｌｅ，以及ｓｏｕｒｃｅＦｉｌｅ中的相应道在ｄｅｓｔＦｉｌｅ中的精确位置。步骤三：选择需要恢复的目的数据，输入替代节点名和替代数据源名，并将恢复请求上传到数据索引服务器。步骤四：根据客户端上传的恢复数据请求将已经损坏的ｄｅｓｔＦｉｌｅ在源数据中对应的道集重新定位道替代数据节点上。步骤五：在源数据节点和替代节点上启动数据分发和和接收进程，将需要恢复的硬士学位论盘数据从源节点复制到替代节点上。步骤六：更新数据索引服务器上的数据集。４．４．２算法的性能分析和实现算法４ｌ是整个文件系统算法的核心，在算法的步骤二可以由用户指定不能被放置到不同Ｉ／ｏ节点上的道集的道头，这样可以保证一个道集不会被放置到不同的数据节点上，大大减小以后并行处理的通信开销。在步骤五生成的详细分发方案中准确记录了ｓｏｕｒｃｅＦｉｌｅ中的相应道在ｄｅｓｔＦｉｌｅ中的位置。假设某～个节点崩溃，数据索引服务器可以根据详细分发方案方便的从ｓｏｕｒｃｅＦｉｌｅ定位丢失的数据内容并将数据放置到替代节点上，算法４．４详细描述了数据备份恢复的过程。并行框架中提供了两个标准模块在包含数据的节点启动数据处理流程并行的对一个数据集进行处理，由于一次分发多次使用，且对于简单的数据并行可以将处理数据不同部分的进程之间的通信开销降低到晟小。■㈣－卜ｍｓ…ＮｍⅫｔ～…●＃１ｆｉｏｄｔｌ—ｌｓ㈣㈦ｅ“ｍｎ一川出Ｍ－ｔ“，，ｓ一ｍｄ…Ｉｍ９々５１９０Ｂ—Ｉ—翌竺竺＿ＪＬ』竺！ＪＬ＿！！ＬＪＬ—竺Ｌ一图４２系统图形界面我们在Ｌｉｎｕｘ集群上实现了该并行文件系统的原型，并提供了一套易用且美观的图形界面以方便用户使用文件系统，图形界面采用ＯＴ（一个跨平台的图形界面库）实现，图４．２展示了系统数据放置的界面和数据恢复的界面，图中．Ｓｃａｔｔｅｒｓｅｔｔｉｎｇ数据分发的配置界面，ＲｅｓｃａｔｔｅｒＳｅｔｔｉｎｇ是数据恢复的界面。地震数据处理中的并行计算技术研究４．５应用实例下面采用ＳＢＳ（ＡＲＣＯ地震测试程序软件包）中的三维叠后深度偏移算法作为一个完整的应用实例进行阐述【４３１。ＳＢＳ中的应用算法是以ＺｈｉｍｉｎｇＬｉ（Ｇｅｏｐｈｙｓｉｃｓ，１９９１）的隐式有限差分算法为基础的。改算法首先处理地面记录到的时间和空间上的三维地震波场ｐ（ｔ，ｘ，Ｙ，ｚ一０）。经傅立叶变换，数据转换到瞬时频率域ｐ（ｆ，ｘ，ｙ，ｚ－０）。根据标量波动方程的近似有限差分的隐式解发，可以获得地下每个深度步长的等效波长ｐ（ｆ，ｘ，Ｙ，ｚ—ｚ１）～厂笔而ｉｗ丽ａＳｌ６ｚＰ１，（墨ｙ，ｚ）（１＋卢Ｓ）（４．１）１４．－－其中Ｐ为地震波场，Ｗ为角频率，ｖ（ｘ，Ｙ，ｚ）是传播速度，ａ，卢为展开系数，并且有如下关系：ｓ一％户§＋》旷觑。ｄＶ‘ｎ２，上述方程的求解称之为”向下延拓”。若给定向下延拓波长Ｐ（／，ｚ，１，，ｚ—ｚ１）。则从其中提取时间面（ｘ，ｙ）可以获得地下图像ｔ（ｘ，Ｙ，Ｚ—ｚ１），其中Ｐ（ｆ，毛．），，ｚ—ｚ１）是所有频率的总和。在输出图像空间内对每个深度步长递归求解上述方程，每次得到一个（ｘ，ｙ）面。这些面累积起来构成了一个完整的三维图像ｔ（ｘ，Ｙ，ｚ），地震数据处理可以被看作是一个很规则的采样组，其中最后一维可分配给并行机上的所有处理器。我们利用图４．３中三维偏移算法的第一步处理来说明这一概念。数组的Ｙ维ｐ（ｔ，ｘ，），）分配给每个处理器，每个节点管理着一片ｆ—ｘ切片，并行地进行傅立叶变换生成ｐ化Ｙ，厂）。在初始化变换和转置以后，数据根据深度步长向下延拓。由于图像需要所有的频率成分，因此，数据必须在处理器之间进行移动。正如第２章中描述的扇入／扇出实例一样，当某个节点从其他节点收集数据时。可以采取主一从方式，但是这有可能导致输入／输出的瓶颈效应，采用转置操作可以消除这种瓶颈效应。每个处理器首先执行局部求和ｐ似，Ｙ，，，ｎ）－＞Ｉ（ｘ，），，ｎ）（在此ｎ为处理器个数）。然后图像数组通过各个处理器进行转置，生成ｔ（ｘ，ｎ，ｙ）（在此ｙ为并行分布维）。给定ｔ（ｘ，ｙ）（ｙ表示并行分布维）以后，可以进行频率成分的局部求和。数据写盘可采用并行方式，即每个处理器往盘上写图像条带。图４．３是整个算法的数据流图，先是数据通过文件系统放置到各处理节点上，数据在每个节点上经历了傅立叶变换，数据转置，最后是将处理完成的数据合并进行数据的显示和分析。硕士学位论文／／／／Ｘ／彳么２黼荡／／／．数据觚．—’——、迤之＝；乡／．多彳·／声／ｃ‰拉，｝＿矿—／＼．．．／／／≤乡懈粗－／／／彳ｒ３谢．。ｙ．．∥一德图４．３系统应用实例４．６实验设计并行文件系统的最终目的是建立高效的并行模型对数据进行处理，下面将一组真实的地震数据在集群上并行文件系统上进行实验，实验集群由８个节点组成，其中每个节点两个处理器，处理器为Ｉｎｔｅｌｘｅｏｎ３．０６ＨＺ，５１２Ｍ内存。前端总线为８００ＭＨＺ。采用１００Ｍ以太网相连。操作系统为Ｒｅｄｈａｔ９。处理数据是某探区一组二维地震数据测线采集的数据，数据处理流程是先通过文件系统将地震数据分置到计算节点上，在计算节点上对分解后的数据进行二维偏移运算。实验采用了并行地震数据处理中最常见的作业复制并行计算模型，分别在４，８个节点的集群上进行了实验，处理流程如图４．４所示，其中在集群上并行处理的时候包括两部分，将数据放置到计算节点上的时候和数据处理的时间。表４．１、４．２是采用ＰＶＦＳ文件系统在Ｌｉｎｕｘ集群上的的实验结果，表４．３、４．４是采用本文专用文件系统在Ｌｉｎｕｘ集群上的实验结果。Ｉｌ读ｌｌｌ读读Ｉ读★Ｉ二维偏移＋写★ｌ二维偏移’＋Ｉ二维偏移Ｉ二维偏移●写＋写★写图４．４作业复制表４．１ＰＶＦＳ系性能测试（４个节点）处理时间加速比＼＼蝴４０Ｍ１．７３Ｇ文件大，Ｊ＿＼１．８４Ｇ１７．３Ｇ单机处理时间８ｍ５ｓ６ｈ６ｍ５７ｓ６ｈ４５ｍ１５ｓ６４ｈ４７ｎ１２０ｓ数据放置时间１０ｓ６ｍ４８ｓ６ｍ５０ｓ并行效率６６．５％６１％６０．３％５１．８％２ｍ５２ｓ２ｈ２２ｍ５８ｓ２ｈ４０ｍ５３ｓ３０ｈ８ｍ１２ｓ２．６６２．４５２．４１２．０７１ｈ９ｍ４４ｓ表４．２ＰＶＦＳ系性能测试（８个节点＞数据放置时间处理时间加速比并行效率６２．４％５７％‘≥《文件大小＼４０Ｍ１．７３Ｇ１．８４Ｇ１７．３Ｇ单机处理时间８ｍ５ｓ６ｈ６ｍ５７ｓ１３ｓ１ｍ２４ｓｌｈｌ３ｍ２８ｓ１ｈ２３ｍ２ｓ１５ｈｌｌｍ３０ｓ５．０４．５６４．４８３．９６７ｍ７ｍ２５ｓｌｈｌｏｍ８ｓ６ｈ４５ｍ１５ｓ６４ｈ４７ｍ２０ｓ５６％４９．５％表４．３专用文件系性能测试（４个节点）≥《文件大小＼４０Ｍ１．７３Ｇ１．８４Ｇ１７．３Ｇ单机处理数据放置时间时间８ｍ５ｓ１２ｓ处理时间２ｍ６ｓ１ｈ３３ｍ２３ｓｌｈ４５ｍ４６ｓ１５ｈ４６ｍ４１ｓ加速比３．５３．６３．６５。３．７６并行效率８７．５％９０％９１％９４％６ｈ６ｍ５７ｓ６ｈ４５ｍ１５ｓ６４ｈ４７ｍ２０ｓ８ｍ３２ｓ９ｍ５ｓ１ｈ２７ｍ１０ｓ表４．４专用文件系性能测试（８个节点）‘≥≮文件大小＼４０Ｍ１．７３Ｇ１．８４Ｇ１７．３Ｇ单机处理数据放置时间时间８ｍ５ｓ６ｈ６ｍ５７ｓ６ｈ４５ｍ１５ｓ６４ｈ４７ｍ２０ｓ１６ｓ处理时间加速比并行效率５６ｓ４２ｍ４０ｓ４８ｍ２２ｓ８ｈ５ｍ５７ｓ６．７３６．９１７．０２７．４２８４％８６．３％８７．７％９２％８ｍ４５ｓ９ｍ１７ｓ１ｈ２７ｍ４０ｓ从上面实验结果可以看出，虽然专用文件系统数据分发的时间比ＰＶＦＳ稍微要长，但就总体性能而言，对于并行地震数据处理中最常见的简单并行采用ＰＶＦＳ并行文件系统所达到的并行加速比明显要低于本文提供的专用并行文件系统，且文件越大并行效率越低，而采用本文提供的专用文件系统不仅可以达到很高的加硕士学位论文速比，且文件越大这种优势越明显、并行效率越高，非常适合海量的并行地震数据处理。４．７小结本章主要从体系结构，数据放置算法，数据的合并／清理，数据的备份恢复方面描述了并行Ｉ／Ｏ子系统的实现，并给出了一个完整的应用实例，文件系统针对地震数据的特点采取了一种全新的数据放置算法，通过对文件系统的数据的备份恢复算法可以看出，系统可以允许多个节点崩溃而不需要重新分发数据，相对于ｐｖｆｓ文件系统在容错方面有较大的改进，此外我们还在集群上对文件系统的性能进行了小规模的初步测试，实验表明对于并行地震数据处理中最常见的简单并行可以达到很高的加速比，且文件越大这种优势越明显，非常适合海量的并行地震数据处理。地震数据处理中的并行计算技术研究第５章基于ＭＰＩ＋ｏｐｅｎＭＰ模型的地震数据处理本章贡献在于将现有的基于消息传递（ＭＰＩ）的并行地震处理模型与共享存储（ＯｐｅｎＭＰ）模型相结合，实现了一个适合于ＳＭＰ集群并行地震数据支撑库，将涉及到消息传递的并行地震数据操作以直观的ＡＰＩ的形式提供给开发人员，本文利用支撑库提供的ＡＰＩ开发了一些测试模块，实验证明，支撑库可支持现有地震数据处理和显示模块的多种并行计算模型，并且能够获得较高的并行加速比和计算效率。５．１ＳＭＰ集群的体系结构国内外目前流行的并行计算机体系结构主要有ＳＭＰ（ｓｙｍｍｅｔｒｉｃｍｕｌｔｉｏｆｐｒｏｃｅｓｓｉｎｇ，对称多处理机）、ＭＰＰ（ｍａｓｓｉｖｅｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇ）、ＣＯＷ（ｃｌｕｓｔｅｒｗｏｒｋｓｔａｔｉｏｎ）和ＳＭＰ机群【２１。这其中ＳＭＰ是一种支持两个或两个以上的ＣＰＵ以同步数据处理方式运行的技术。运用此技术的计算机系统中，所有的ＣＰＵ共享系统资源，这样要比同型号ＣＰＵ的单处理器系统快上很多。正因如此，此技术较多地应用于网络、图像等对计算机速度或多任务处理要求比较高的领域。随着硬件技术的进步，小规模配置的ＳＭＰ成为可能，这也使得利用ＳＭＰ作为并行计算机的计算节点成为可能，从而构成了ＳＭＰ集群体系结构。图５．１显示了具有Ｎ个节点（每个节点为４．ＣＰＵ的ＳＭＰ）的ＳＭＰ机群的体系结构。图中，Ｐ／Ｃ指的是ＳＭＰ节点中的处理器（Ｐｒｏｃｅｓｓｏｒ，ＣＰＵ）和该处理器的局部高速缓存（Ｃａｃｈｅ）。在ＳＭＰ中，多个处理器通过总线或交叉开关连接起来，并通过它们访问共享的内存区域和Ｉ／０设备。ＳＭＰ机群则是通过通信网络（如以太网或高性能开关）把多个ＳＭＰ节点连接起来，并且节点间可以通过消息传递进行通信。甲甲甲甲甲甲甲甲甲甲甲甲囱豳囱囱豳囱总线或交叉开关总线或交叉开关通信网络：如啪ｅｔ，以太网或者高性能开关图５．１ＳＭＰ集群体系结构硕士学位论文５．２ＭＰＩ和ＯｐｅｎＭＰＭＰＩ相关概念５．２．１ＭＰＩ提供了一种与语言和平台无关，可以被广泛使用的编写消息传递程序的标准。用它来编写消息传递程序不仅实用、可移植、高效和灵活，而且和当前已有的实现没有太大的变化。ＭＰＩ是一种标准或规范的代表，而不特指某～个对它的具体实现。迄今为止，所有的并行计算机制造商都提供对ＭＰＩ的支持，可以在网上免费得到ＭＰＩ在不同并行计算机上的实现，一个正确的ＭＰＩ程序，可以不加修改地在所有的并行机上运行【１６】。由于ＭＰＩ是一个库而不是一门语言，因此对ＭＰＩ的使用必须和特定的语言结合起来进行。ＦＯＲＴＲＡＮ是科学与工程计算的领域语言，而Ｃ又是目前使用最广泛的系统和应用程序开发的语言之一，因此对ＦＯＲＴＲＡＮ和Ｃ的支持是必须的。ＭＰＩＣＨ是一种最重要的ＭＰＩ实现，是一个与ＭＰＩ．１规范同步发展的版本，每当ＭＰＩ推出新的版本，就会有相应的ＭＰＩＣＨ的实现版本，我们使用的ＭＰＩＣＨ的版本是ＭＰＩＣＨ．１．２．１，它支持部分的ＭＰＩ．２的特征。Ａｒｇｏｎｎｅ国家试验室和ＭＳＵ对ＭＰＩＣＨ作出了重要的贡献。一个ＭＰＩ程序的框架结构可以用图５．２表示：图５．２ＭＰＩ程序的框架结构在ＭＰＩ－１有１２８个调用接口，在ＭＰＩ．２中有２８７个，应该说ＭＰＩ是比较庞大的。但是，从理论上说，ＭＰＩ所有的通信功能可以用它的６个基本的调用来实现，掌握了这６个调用就可以实现所有的消息传递并行程序的功能。下面给出ＭＰＩ对Ｃ语言的六个基本调用。地震数据处理中的并行计算技术研究（１）ＭＰＩ初始化：ｉｎｔＭＰＩＩｎｉｔ（ｉｎｔ＊ａｒｇｃ，ｃｈａｒ¨ａｒｇｖ）。ＭＰＩＩＮＩＴ是ＭＰＩ程序的第一个调用，它完成ＭＰＩ程序所有的初始化工作，所有ＭＰＩ程序的第一条可执行语句都是这条语句。（２）ＭＰＩ结束：ｉｎｔＭＰＩ—Ｆｉｎａｌｉｚｅ（ｖｏｉｄ）。ＭＰＩＦＩＮＡＬＩＺＥ是ＭＰＩ程序的最后一个调用，它结束ＭＰＩ程序的运行，它是ＭＰＩ程序的最后一条可执行语句，否则程序的运行结果是不可预知的。（３）当前进程标识：ｉｎｔＭＰＩＣｏｍｍｒａｎｋ（ＭＰＩＣｏｍｍｃｏｍｍ，ｉｎｔ＊ｒａｎｋ）。这一调用返回调用进程在给定的通信域中的进程标识号，有了这一标识号．不同的进程就可以将自身和其它的进程区别开来，实现各进程的并行和协作。（４）通信域包含的进程数：ｉｎｔＭＰＩＣｏｍｍｓｉｚｅ（ＭＰＩＣｏｍｍｃｏｍｍ，ｉｎｔ＊ｓｉｚｅ）。这一调用返回给定的通信域中所包括的进程的个数，不同的进程通过这一调用得知在给定的通信域中一共有多少进程在并行执行。（５）消息发送：ｉｎｔＭＰＩ—Ｓｅｎｄ（ｖｏｉｄ·ｂｕｙ，ｉｎｔｃｏｕｎｔ，ＭＰＩ＿Ｄａｔａｔｙｐｅｄａｔａｔｙｐｅ，ｉｎｔｄｅｓｔ，ｉｎｔｔａｇ，ＭＰＩ—Ｃｏｍｍｃｏｍｍ）。ＭＰＩＳＥＮＤ将发送缓冲区中的ｃｏｕｎｔ个ｄａｔａｔｙｐｅ数据类型的数据发送到目的进程，目的进程在通信域中的标识号是ｄｅｓｔ，本次发送的消息标志是ｔａｇ，使用这一标志，就可以把本次发送的消息和本进程向同一目的进程发送的其它消息区别开来。ＭＰＩＳＥＮＤ操作指定的发送缓冲区是由ｃｏｕｎｔ个类型为ｄａｔａｔｙｐｅ的连续数据空间组成，起始地址为ｂｕｌ＇。注意这里不是以字节计数，而是以数据类型为单位指定消息的长度，这样就于具体的实现，并且更接近于用户的观点。其中ｄａｔａｔｙｐｅ数据类型可以是ＭＰＩ的预定义类型，也可以是用户自定义的类型。通过使用不同的数据类型调用ＭＰＩＳＥＮＤ，可以发送不同类型的数据。（６）消息接收：ｉｎｔＭＰＩ—Ｒｅｃｖ（ｖｏｉｄ幸ｂｕ／，ｉｎｔｃｏｕｎｔ，ＭＰＩ—Ｄａｔａｔｙｐｅｄａｔａｔｙｐｅ，ｉｎｔｓｏｕｒｃｅ，ｉｎｔｔａｇ，ＭＰＩ—Ｃｏｍｍｃｏｍｍ，ＭＰＩ—Ｓｔａｔｕｓ｝ｓｔａｔｕｓ）ＭＰＩＲＥＣＶ从指定的进程ｓｏｕｒｃｅ接收消息，并且该消息的数据类型和消息标识和本接收进程指定的ｄａｔａｔｙｐｅ和ｔａｇ相一致，接收到的消息所包含的数据元素的个数最多不能超过ｃｏｕｎｔ。程序与代码：本文说的程序不是指以文件形式存在的源代码、可执行代码等，而是指为了完成一个计算任务而进行的一次运行过程。进程（ｐｒｏｃｅｓｓ）：一个ＭＰＩ并行程序由一组运行在相同或不同计算机或计算结点上的进程或线程构成。为统一起见，将ＭＰＩ程序中一个参与通信的个体称为一个进程。在Ｕｎｉｘ系统中，ＭＰＩ的进程通常是一个Ｕｎｉｘ进程。在共享内存或消息传递混合编程模式中，一个ＭＰＩ进程可能代表一组Ｕｎｉｘ线程。进程组（ｐｒｏｃｅｓｓｇｒｏｕｐ）：指一个ＭＰＩ程序的全部进程集合的一个有序子集。硕士学位论文进程组中每个进程被赋于一个在该组中唯一的序号（ｒａｎｋ），用于在该组中标识该进程。序号的取值范围是零到进程个数。通信器（ｃｏｍｍｕｎｉｃａｔｏｒ）：通信器是完成进程间通信的基本环境，它描述了一组可以互相通信的进程以及它们之间的联接关系等信息。ＭＰＩ的所有通信必须在某个通信器中进行。通信器分域内通信器（ｉｎｔｒａｃｏｍｍｕｎｉｃａｔｏｒ）和域间通信器（ｉｎｔｅｒｃｏｍｍｕｎｉｃａｔｏｆ．）两类，前者用于属于同一进程组的进程间的通信，后者用于分属两个不同进程组的进程间的通信。域内通信器由一个进程组和有关该进程组的进程间的拓扑联接关系构成。ＭＰＩ系统在一个ＭＰＩ程序运行时会自动创建两个通信器，一个称为ＭＰＩＣＯＭＭＷＯＲＬＤ，它包含该ＭＰＩ程序中的所有进程，另一个称为ＭＰＩＣＯＭＭＳＥＬＦ，它指单个进程自己所构成的通信器。序号（ｒａｎｋ）：序号用来在一个进程组或通信器中标识一个进程。ＭＰＩ程序中的进程由进程组、序号或通信器、序号所唯一确定。序号是相对于进程组或通信器而言的；同一个进程在不同的进程组或通信器中可以有不同的序号。进程的序号是在进程组或通信器被创建时赋予的。ＭＰＩ系统提供了一个特殊的进程序号ＭＰＩＰＲＯＣＮＵＬＬ，它代表空进程（不存在的进程）。与ＭＰＩＰＲＯＣＮＵＬＬ间的通信实际上没有任何作用。消息（ｍｅｓｓａｇｅ）：ＭＰＩ程序中在进程间传送的数据称为消息。一个消息由通信器、源地址、目的地址、消息标签和数据构成。通信（ｃｏｍｍｕｎｉｃａｔｉｏｎ）：通信指在进程之间进行消息的收发、同步等操作。５．２．２ＯｐｅｎＭＰ相关概念共享存储模型（如图５．３所示＿），其底层硬件为一序列的处理器，这些处理都访问同一个共享存储器。由于所有的处理器可以访问内存中的同一个位置，因而它们可以通过共享变量进行交互和同步【１７１。图５．３共享存储模型在共享存储的并行程序中，标准的并行模式为ｆｏｒｋ／ｊｏｉｎ式并行。当程序开始执行的时候只有一个叫做主线程的线程存在。主线程执行算法的顺序部分。当遇到需要进行并行运算时，主线程派生出一些附加线程。在并行区域内，主线程和这些派生的线程协同工作。在并行代码段结束时，派生的线程退出或者挂起，同时控制流回到单独的主线程手中，我们称为会合。共享存储模型和消息传递模型的一个关键区别在于消息传递模型中的所有进程存活于整个程序的执行过程当中，而在共享存储模型中，在程序的开始和结地震数据处理中的并行计算技术研究束时存活的线程属均为一，而在整个程序的执行过程中线程数会动态发生变化。你可以用ＭＰＩ在多处理机器上编写并行程序，然而你还可以用专门为共享存储环境量身打造的编程语言来得到更优的性能。ＯｐｅｎＭＰ是作为共享存储的标准而问世的。它是为在多处理机上编写并行程序而设计的一个应用编程接口。它包括一套编译指导语句和一个用来支持它的函数库。ＯｐｅｎＭＰ是通过Ｆｏｒｔｒａｎ．Ｃ和Ｃ＋＋结合来工作的。下面将简要介绍如何用ＯｐｅｎＭＰ在共享存储的环境下编写并行程序。ＯｐｅｎＭＰ由一套功能强大的编译指导语句组成；ｐａｒａｌｌｅｌ，用在一个代码段之前，知识这段代码将被多个线程并行执行。ｆｏｒ，用在一个ｆｏｒ循环之前，每个循环之间必须无相关性，从而可以被分到不同的线程中并行执行ｐａｒａｌｌｅｆｏｒ，是ｐａｒａｌｌｅｌ和ｆｏｒ这两个编译指导语句的结合ｓｅｃｔｉｏｎｓ，出现在一序列可能会被并行执行的代码之前ｐａｒａｌｌｅｌｓｅｃｔｉｏｎｓ，是ｐａｒａｌｌｅｌ和ｓｅｃｔｉｏｎｓ这两个编译指导语句的结合ｃｒｉｔｉｃａｌ，用在一段代码的临界区之前ｓｉｎｇａｌ，出现在一段只被单个线程执行的代码之前由于本章中需要用到ＯｐｅｎＭＰ并行操作绝大部分以ｆｏｒ循环的形式表现，因此需要着重介绍一下在ＯｐｅｎＭＰ中怎样指示ｆｏｒ循环的迭代可以被并行地执行，比如参考下面的循环：ｆｏｒ（ｉ＝ｆｉｒｓｔ；ｉ＜ｓｉｚｅ；ｉ＋＝ｐｒｉｍｅ）ｍａｒｋｅｄ［ｉ］＝ｌ很明显，在这个循环的每次迭代之间不存在相关性。在ＯｐｅｎＭＰ中，我们只需要简单的告诉编译器一个ｆｏｒ循环可以被并行执行；编译器会负责生成派生和会合线程以及调度并行迭代的代码，并将循环的迭代分配给线程。就像为预处理器提供信息的其他代码行一样，编译指导语句以撑开头。编译指导语句在Ｃ或者Ｃ＋＋程序中的文法如下：＃ｐｒａｇｍａｏｍｐ＜ｒｅｓｔｏｆｐｒａｇｍａ＞当这一行下面紧紧跟着一个ｆｏｒ循环的时候，它将指示编译器将ｆｏｒ循环并行化：却ｒａｇｍａｏｍｐ＜ｒｅｓｔｏｆｐｒａｇｍａ＞ｆｂｒ（ｉ－－ｆｉｒｓｔ；ｉ＜ｓｉｚｅ；ｉ＋＝ｐｒｉｍｅ）ｍａｒｋｅｄ［ｉ］＝ｌ为了使编译器能够成功的将顺序执行的循环转化为并行执行，在分析控制子句时运行系统必须能够得到所需信息以确定循环迭代的次数。因此ｆｏｒ循环的控制子句必须具备规范格式，并且，ｆｏｒ循环中不能包含允许循环提前退出的语句。比如，语句ｂｒｅａｋ、ｒｅｔｕｒｎ、ｅｘｉｔ、ｇｏｔｏ以及此类循环外的标记。然而这里允许语句ｃｏｎｔｉｎｕｅ的存在，因为它的执行不会影响到迭代的次数。硕士学位论文５．２．３混合编程模型ＳＭＰ体系结构的特点是基于共享存储，处理器间通信开销低，这有利于性能提高，同时编程容易，但它的缺点是可扩展性差。其编程模型主要是共享变量模型，实现标准有ＯｐｅｎＭＰ和Ｐｔｈｒｅａｄｓ等。ＭＰＰ和ＣＯＷ体系结构的特点是基于分布式存储，可扩展性好，但处理器间通信开销过大，而且编程比较困难。其编程模型主要是消息传递模型，实现标准有ＭＰＩ，ＰＶＭ等。ＳＭＰ机群体系结构也称作ＣＬＵＭＰＳ（ｃｌｕｓｔｅｒｓｏｆｍｕｌｔｉｐｒｏｃｅｓｓｏｒｓ），它综合了上述两者的优点，成为并行计算机体系结构的主流发展趋势。ＳＭＰ机群同时具备节点内共享存储和节点间分布式存储的特点，传统的共享存储体系结构和分布式存储体系结构下的编程模型已经不再完全适用于它．如果我们想要利用ＳＭＰ机群中别的节点加速求解，就必须考虑采用ＯｐｅｎＭＰ＋ＭＰＩ的混合编程模型１４２，４３】。混合编程模型是指在ＳＭＰ机群体系结构下，同时使用共享变量和消息传递两种编程界面的模型。这是另外一种流行的ＳＭＰ机群编程模型。这种模型是专门针对ＳＭＰ机群提出的，它充分利用了ＳＭＰ机群的特点，节点内利用共享存储进行通信，节点间采用分布式存储的消息传递进行通信。相应的它使用了共享变量和消息传递编程的混合，例如使用ＯｐｅｎＭＰ和ＭＰＩ的混合。它的优点非常明显，因为它是针对ＳＭＰ机群体系结构提出的，是ＳＭＰ机群体系结构下编程模型中性能最高的。但它也有着难以使用的缺点，因为程序员需要掌握两种编程界面，无疑对程序员来说困难一些１４４。４７１。５．３并行地震数据处理支撑库无论大规模并行计算机的并行处理系统的研发，还是设计基于工作站集群的并行处理系统，均需对地震数据处理和解释中的多种模块所适宜的并行处理模型进行深入探索。在能够有效利用这些高性能计算资源前，要解决的问题之一是软件开发工具的设计，其目的是帮助建立新的并行程序，以及把现有的串行程序并行化，避免在开发、调试、测试并行程序过程中花费过多精力，从而简化地球物理学专业人员的开发工作。本文从大量并行应用程序（特别是中粒度和大粒度并行应用程序）中常见的并行程序设计技术基础上抽象出来有意义的、通用的并行结构，本节先介绍了支撑库怎样从宏观上对通用并行模型提供支持，简化程序员的开发工作，然后讨论了怎样有效地将ＯｐｅｎＭＰ技术融入这些基于ＭＰＩ的并行结构，以达到既不增加程序员编程的负担，又充分利用ＳＭＰ集群性能的目的。５．４基于ＭＰＩ的并行模型支撑库将一些难以掌握的ＭＰＩ消息通信操作用Ｃ＋＋类封装，并以直观的ＡＰＩ４１地震数据处理中的并行计算技术研究的形式提供给程序员。程序员可以在高层次模型领悟和解决问题，而不必关心不必要的细节。现有应用广泛的基于ＭＰＩ的并行模型有作业复制，流水模式、扇出／扇入模式、主从模式以及上述各种模式的混合，上述各种通用的并行处理算法在２．５节已经作过详细讨论，在此不在赘述，下面将详细描写怎样利用系统提供的ＡＰＩ简述上述算法的编写。流水线，模块的编写人员可以通过系统提供的ｒｅｃｅｉｖｅＴｒａｃｅ０方法得到上一级模块传送下来的数据，利用ｓｅｎｄＴｒａｃｅ０方法将处理好的数据传送到下一级模块，模块编写人员不需要知道上一级模块和下一级模块运行在那个节点上。一个简单流水模式并行滤波模块如算法５．１。算法５．１流水模式并行滤波模块ＰｒｏｃｅｄｕｒｅＴｒａｃｅＦＩＬＴＥＲ：：ｅｘｅ《）ｔ＝ｒｅｃｅｉｖｅＴｒａｃｅＯ；／／得勤上一个模块的输入道ｌ代吣；｜｜获取数据成功ＦＩＬＴＥＲ（ｔ）；／／将数据进行滤波运算ｓｅｎｄＴｒａｃｅ（ｔ）；／／将数据发送蓟Ｔ一级模块ｒｅｔｕｒｎＯＫ；ｅｎｄｉｆ；ｒｅｔｕｒｎＦＡＩＬ；ＥｎｄＰｒｏｃｅｄｕｒｅ扇出／扇入模式，在支撑系统中可以看做是一种特殊类型的流水线，系统调用ｓｃａｔｔｅｒＴｒａｃｅ０可以将上一级模块处理后的数据”扇出”到下一级模块的多个节点上，ｓｃａｔｔｅｒＴｒａｃｅ０调用提供了多种分解数据的方法，例如按照道或者道集平均分解，按照道集分解需要程序员指定道集的道头。程序员通过ｍｅｒｇｅＴｒａｃｅ０在复制的模块下一级合并”扇出”的数据，模块的编写人员同样不需要了解流程中相应的模块具体运行在那些节点上，在扇出的模块可以通过类似流水线中的ｒｅｃｅｉｖｅＴｒａｃｅ０方法得到上一级模块扇出的数据，模块的编写人员同样可以不需要了解上一级模块是怎样将数据分解，数据处理完毕之后通过ｓｅｎｄＴｒａｃｅ０将数据传送到下一级模块。主从模式，在流程执行的时候，框架将根据用户的设置为每个主从模式的的模块分配一个ＭＰＩ子通信域（ＭＰＩＣｏｍｍ），模块的主节点和从节点都属于这个子通信域，主节点在通信域中的编号为０，主从模式的模块可以在运行的时候通过ｇｅｔＭｙＣｏｍｍ０动态得到系统分配的子通信域，模块编写人员可以在该通信域编写主从模式的ＭＰＩ应用程序。主从模式的示例代码如下，需要指出的是每一个分支的主节点在子通信域中的标识号被设置为Ｏ，所以从节点可以根据这个进程号找到自己通信域中的主节点。硕士学位论文算法５．１主从模式并行模块ＰｒｏｃｅｄｕｒｅＩｎｔｐａｒａｌｌｅｌＭｏｄｕｌｅ：：ｒｕｎＯＭｙＰｒｏｃｅｓｓ／／予通信域进程总数ＭＰＩ—ＣｏｍｍｍｙＣｏｍｍ＝』一·＞ｇｅｔＭｙＣｏｍｍＯ；＆ｍｙＰｒｏｃｅｓｓ）；＆ｍｙｌｄ）；ＭＰｌ＿Ｃｏｍｍ＿ｓｉｚｅ（ｍｙＣｏｍｍ，ＭＰＩ＿Ｃｏｍｍ—ｒａｎｋ（ｍｙＣｏｍｍ，ｌｆ（－ｌｍ』＞ｉｓＤａｔａＳｏｕｒｃｅＯ）／／主节点ｇｅｔＴｒａｃｅｓＯ／／从上一个模块得勤输入数据｜ｌ将读取的道发送劲从节点ＳｅｎｄＴｒａｃｅ（ｔｒａｃｅ，ｄｅｓｔＮｏｄｅｌｄ，９９，ｍｙＣｏｍｍ）；ｊＥｎｄｉｆＥｌｓｅ’ｒｅｖｅｉｖｅＴｒａｃｅ（ｔｒａｃｅ．０，９９．ｍｙＣｏｍｍ）／／从主节点得勃输入道ｐｒｏｃｅｓｓ（ｔｒａｃｅ）／／处理ｓｅｎｄＴｒａｃｅ（ｔｒａｃｅ。０．９９．ｍｙＣｏｍｍ）／／将处理后的数据发绘圭节点ＥｎｄｅｌｓｅＥｎｄＰｒｏｃｅｄｕｒｅ最后是混合模型，它是上述两种或三种模型的结合。这在地震数据处理中很常见。上述多种地震并行处理模型的设计的目的是为使系统具有最大的吞吐率和最大效率。其说明如图５．４，这九个作业的混合是把并行处理用于整个处理任务的一个极好的实例。２Ｉｆ．、。ＩｒＩｋｌ、Ｌ～Ｐ２＋ｃＩ＋工ＩＩｊＩ▲ｌＩ、Ｐ１ｒ【１Ｉｂｅ１一，巧１ｅ２．一’ｆ２＋１【√一：＼·，二Ｍ＼Ａｈ１／ｈ硝Ｊ２／’工２．■叫－．—＋、２图５．４并行地震处理模式复合作业Ａ，Ｌ和Ｍ在单个节点上执行，类似于在常规机器上执行。作业ｂ、Ｃ、ｄ采用３步流水线在三个节点上处理。作业ｅ和ｆ各复制成两份，组成两个两步流水线在４个节点上并行工作。作业Ｇ采用数据分解，占用４个节点。作业ｈ、ｉ、ｊ、ｋ构成两个复式流水线作业。流水线有四步，第一和第二用两个节点作数４３地震数据处理中的并行计算技术研究据分解，整个作业在１２个节点上进行。作业１１和Ｏ采用两步流水线，每步用两个节点作数据分解作业，整个作业占用４个节点。最后，作业Ｐ用两个复制进程在两个节点上运行。支撑系统通过封装ｏｐｅｎＰＢＳ的集群管理工能实ＭＰＰ节点上的作业管理，ｏｐｅｎＰＢＳ是一个批处理作业和计算机系统资源管理软件包。ｏｐｅｎＰＢＳ的组件包括四个主要的组件：命令组件、作业服务器、作业执行组件和作业调度器。它原本是按照ＰＯＳＩＸｌ００３．２ｄ批处理环境来开发的。这样，它就可以接受批处理作业、ｓｈｅｌｌ脚本和控制属性，作业运行前对其储存并保护，然后运行作业，并且把输出转发回提交者。ｏｐｅｎＰＢＳ可以被安装并配置运行在单机系统或多个系统组来支持作业处理。由于ＰＢＳ的灵活性，多个系统可以以多种方式组合，实验证明通过对ＯｐｅｎＰＢＳ功能的封装支撑系统可以很好的实现上述复杂的作业管理，将作业提交到指定的节点上。５．５ＭＰＩ＋ＯｐｅｎＭＰ混合模型从地震数据处理与解释一体化系统的全局出发，本系统应该基于ＭＰＩ消息传递接口，来满足多数地震数据处理与显示模块的并行编程需求，但是这并不能充分利用ＳＭＰ集群的性能，ＭＰｌ只是在宏观上提供了对通用并行结构的支持，但对那些以多个道或道集为处理单元、且各处理单元之间涉及更多边界信息共享或通讯的模块，应用ＭＰＩ难以实现，这应该采用节点内共享存储机带ｌＪ（ＯｐｅｎＭＰ＇）来实现数据共享，提高并行处理的性能和加速比。节点内的ＯｐｅｎＭＰ多线程并行计算，有粗粒度并行化和细粒度并行化两种方法。粗粒度并行化是一种类似ＳＰＭＤ（ＳｉｎｇｌｅＰｒｏｇｒａｍＭｕｌｔｉｐｌｅＤａｔａ）编程模式的方法。在这种方法中，ＯｐｅｎＭＰ的编译制导指令通常使用在程序的最外层，即ＯｐｅｎＭＰ首先在主程序中生成多个线程（一般情况下，ＯｐｅｎＭＰ的多线程紧随着ＭＰＩ进程的生成而生成．），每个线程类似于ＳＰＭＤ编程模式中的一个进程，然后使用这些线程就类似于使用ＳＰＭＤ编程模式中的进程，在这种方法中，除了省去数据分配的操作外，程序员使用多线程等同于使用ＭＰＩ的多进程，因而编程依然非常复杂。而且当混合模型的两级并行机制一同使用时，这种编程复杂性将更大。细粒度并行化是指利用ＯｐｅｎＭＰ只并行求解循环部分的计算，又称为循环级并行化。细粒度并行化的方法是在需要用多线程求解的原串行代码中的循环代码段外插入ＯｐｅｎＭＰ的编译制导指令，对串行代码中的其它代码则不并行化。因而在这种方法中，只有在循环计算的部分是多线程并行求解，而在其他代码段，则是只有单个ＭＰＩ进程求解［４８－５０】。从上面的分析可以看出粗粒度ＯｐｅｎＭＰ并行化对提高本节提到的通用并行结构并没有多大的作用，而且增加了程序员编程的难度，如果选择细粒度的并行硕士学位论文化将可以达到性能和易用性两方面兼顾，ＭＰＩ进程中可以在＃ｐｒｏｇｍａｏｍｐｐａｒａｌｌｅｌ编译制导所标示的区域产生线程级并行而在区域之外仍然是单线程，混合编程可以充分利用两种编程模式的优点：ＭＰＩ可以解决多处理器间的交互，而ＯｐｅｎＭＰ提供的轻量级线程可以很好地解决每个多处理器内部各处理器间的交互。图５．５显示了ＯｐｅｎＭｐ与ＭＰＩ混合编程模型：ＯｐｅｎＭＰ与ＭＰＩ混合编程模型步骤一：步骤二；在每个节点上只有一个ＭＰＩ进程，这个ＭＰＩ进程首先初始化；每个节点上的ＭＰＩ进程可以作一些局部计算，时也可以进行节点问的通信；步骤三：在进程内的主要计算部分通常是循环部分，采用ＯｐｅｎＭＰ线程并行求解；步骤四：在求解部分结束后，ＭＰＩ进程也可以做局部计算、通信或同步；全部计算工作结束后，ＭＰＩ进程结束；步骤五：ＯｐｅｎＭＰ多线程求解部分和ＭＰＩ进程局部计算、通可以穿插进行，当步骤六：以上是以两个节点、每节点四个线程为例，当有更多节点、节点内更多线程时，ＭＰＩ进程和ＯｐｅｎＭＰ多线程计算完全类似。ｎｏｄｅｌｎｏｄｅ２图５．５ＳＭＰ集群混合编程模型ＭＰＩ＋ＯｐｅｎＭＰ下面给出一个混合模型的应用实例：例如构建如图５．６流程：模块ｉｎｐｕｔ占用一个处理器，模块ｂａｎｄｐｓ扇出为两份，占用两个处理器，模块ｏｕｔｐｕｔ占用一地震数据处理中的并行计算技术研究个处理器，整个流程占用４个处理器。流程运行过程中ｉｎｐｕｔ将读入的道集发送到ｂａｎｄｐｓ（：慌数据处理中用来去噪音的模块），ｂａｎｄｐｓ可能会对一个很大的道集进行处理，流程构建器允许用户添加ＯｐｅｎＭＰ代码优化ｂａｎｄｐｓ模块中处理相应道集的ｆｏｒ循环。ｂａｎｄｐｓ中处理道集的代码如算法５．３。ｐｒｏｃｅｓｓｏｒＰ１ｍｏｄｕｌｅｐ２Ｐ３ｐ４图５．６混合模型并行地震数据处理流程算法５．３ＰｒｏｃｅｄｕｒｅＯｐｅｎＭｐ与ＭＰＩ混合模型滤波模块ＢＡＮＤＰＳ：：ｅｘｅｃ０ＲｅｃｅｉｖｅＰａｎｅｌ（ｐａｎｅＯ／／从上一个模块得到道集Ｏｍｐ＿ｓｅｔｎｕｍ．．ｔｈｒｅａｄｓ（２）；＃ｐｒａｇｍａｏｍｐｐａｒａｌｌｅｌ＃ｐｒａｇｍａｏｍｐｆｏｒｐｒｉｖａｔｅ（ｉ）Ｆｏｒ（ｉ＝Ｏ；ｉ‘ｐａｎｅｌ．ｓｉｚｅＯ；ｔ＋＋）ＣｏｍｐｕｔａｔｉｏｎＥｎｄｆｏ，ｓｅｎｄＰａｎｅｌ（ｐａｎｅＯｅｎｄＰｒｏｃｅｄｕｒｅ５．６实验以下是利用支撑库中提供的ＡＰＩ编写的地震数据处理模块在Ｌｉｎｕｘ集群上的实验结果，实验集群由８个节点组成，其中每个节点两个处理器，处理器为Ｉｎｔｅｌｘｅｏｎ３．０６ＨＺ，５１２内存。前端总线为８００ＭＨＺ。采用１００Ｍ以太网相连。操作系统为Ｒｅｄｈａｔ９。处理数据是某探区一束二维地震数据测线采集的数据，共２４０２００道，每道２００１个采样点。采用图５．６所示的作业流程。流程中使用模块都采用系统提供的ＡＰＩ编写。这里我们省略了模块的参数设置，以及将流程提交给集群执行的过程。在实硬士学位论文验中ｂａｎｄｐｓ占用２，４，６个处理器，数据输入和输出模块分别另外占用一个处理器，表５１是没有在ｂａｎｄｐｓ中添加ＯｐｅｎＭＰ代码的并行作业流程与窜行作业流程运行时间比较。表５．２是添加了ＯｐｅｎＭＰ代码的并行作业流程和串行作业流程时间比较。从上面两表我们可以看出并行处理加速比与节点数目成正比，线性加速，另外，加入了ＯｐｅｎＭＰ代码的并行流程的并行效率要明显高于单纯的ＭＰＩ模式。国５．７比较了两种模型的加速比，从图上可以看出，适当的时候采用ＭＰＩ＋ＯＰｃｎＭＰ混合编程的性能要明显高于单纯的ＭＰＩ编程模型。表５序号Ｃｐｕ数ｌＭＰＩ模型在集群上的测试结果驻机时问（ｕｐｌ、加速比井行效率３ｈ２０ｍ２ｓ２３２３９６５０４５８％６６％６３％裹５．２序号Ｃｐｕ数１ＭＰＩ＋ＯｐｅｎＭＰ模型在集群上的测试结果驻机时Ｉ＇目（ＭＰＩ＋ＯｐｅｎＭＰｌ加速比并行教率２＋２４＋２６＋２２９３５２２７０４７３％８７％８８％９８７６蓑曼４３２１Ｏ一５一：∥ｔ，二７／／，／／／１／一处理机数固５７流程的加速比５．７小结支撑库亦是并行地震数据处理支撑框架的子项之一，开发支撑库的目的在于将底层基于ＭＰＩ的消息通信机制封装，使地球物理专业人员不需要掌握分布式地震数据处理中的并行计算技术研究软件开发技术而专注于地震数据处理和解释模块算法的开发，缩短将串行地震数据处理模块移植到集群的时间。而此外，支撑库首次将ＭＰＩ＋ＯｐｅｎＭＰ混合并行编程模型引入并行地震数据处理系统中，对现有并行地震数据处理与显示中各模块的高效并行提供了良好的支持环境，提高机群计算系统计算和存储资源的利用率。地震数据处理和解释系统是一个复杂而庞大的软件系统，已经设计出的模块数多达２００多个，本文虽然对一些模块的并行处理效率进行了实验，但仅是初步性的，要设计支持所有并行处理模块中的有效的并行计算模型和通信模式，显然是一个长期的过程，但注意到地震数据处理在工业和避灾减灾等领域中的重要地位，对支撑库的进一步深入理论研究和实验探索无疑具有相当意义。硕士学位论文总结和展望在攻读硕士学位期间，随着项目和课题的进展，对和地震数据相关的并行Ｉ／Ｏ和并行数据处理技术进行了学习、研究和实践。已经完成的工作如下：（１）了解了工作站网络环境下提供高性能的Ｉ／Ｏ所采取的主要解决方案，对并行地震数据处理系统中，怎样建立并行模型对数据服务器上的海量地震数据进行并行处理进行了较为深入的研究。（２）根据并行数据处理的特点设计并实现了网络化并行数据处理平台。该平台首先可以为开发者提供一个集成的包含语法分析等多功能的编辑环境。其次，该平台应可以为模块开发者提供一个强大的、分布的网络编译、调试和模块提交环境。平台还为实验人员提供一个集成的实验环境，内容包括数据处理数据，数据显示和分析。（３）在深入分析原有文件系统和基于ＮｅｔＣＤＦ地震数据格式特点的基础上，为并行地震数据处理系统设计了一个基于ＮｅｔＣＤＦ的高效，高可靠的专用并行文件系统，专用文件系统采用一种全新的数据放置算法，且相对现有并行文件系统在容错，数据备份／恢复机制上有较大的改进。（４）将现有的基于消息传Ｊ整（ＭＰＩ）的并行地震处理模型与共享存储（ＯｐｅｎＭＰ）模型相结合，实现了一个适合于ＳＭＰ集群并行地震数据支撑库。虽然本文设计并实现了一个完整的并行地震数据处理支撑框架，并在Ｉ／Ｏ，并行地震处理模型等方面对大规模并行地震数据处理进行了深入的研究，但仍然存在下面几个方面的问题：（１）网络化的并行地震数据处理中间件仍然采用的是比较过时的Ｃ／Ｓ模式。下一步工作更加的模式应用到并行地震数据处理系统中，研究网格环境下地震等灾变分析模拟支撑系统的关键理论与技术。（２）并行文件系统只能处理ＮｅｔＣＤＦ数据格式，而地震分析模拟中不仅有二维、三维、四维等不同维数的数据，且数据常表示成ＮｅｔＣＤＦ或ＳＥＧＹ等不同格式，下一步工作中将研究异构数据源的处理，使得并行文件系统可以支持不同类型的数据格式。（３）由于实验条件，本文的实验都是小规模的初步实验。下一步的工作是，在前期研究工作的基础上，最终研究目标是将中间件理论与网格计算技术密切结合，研究网格环境下地震等灾变分析模拟支撑系统的关键理论与技术，给地震和强台风等重大灾变模拟与分析提供一个稳定可靠、可扩展、适应计算和网络技术演化需求的计算环境或中间件。使得地震和其它灾变的专业人员可以利用本支撑系统透明地利用其专业理论与方法，开发具有良好成长性的地震数据处理中的并行计算技术研究数值求解、分析和预测系统，而不必关心和注意他们所不擅长的最新的计算机技术和软件开发理论与方法。注意到灾变计算、分析和模拟的特点，结合我们在面向地球物理支撑软件设计理论与方法上的积累，在后续的研究中将解决网络环境下地震灾变模拟系统中各种并行和分布式环境的异构、数据源的异构，有效的作业调度和容错恢复机制，以及并行Ｉ／Ｏ的设计等关键理论与技术问题。最终目标是设计和研发一个可以在任意一个集群／网格或者其他分布式计算环境上运行的灾变模拟分析中间件系统，为我国防灾减灾系统的构建在软件设计和开发理论和方法上奠定基础，促进我国相关学科的研究与进步，为保障重大工程的安全建设和国家财产的安全提高技术支撑。由于本人时间及精力的，论文也存在一些不足之处，但仍希望通过本文的研究，能对目前地震数据处理及分析问题的解决提供一点思路。硕十学位论文参考文献【１】（美）亨尼西，（美）帕特森，郑纬民等译，计算机体系结构：量化研究方法．第三版．北京：电子工业出版社，２００４【２】陈国良．并行计算机体系结构．第一版．北京：高等教育出版社，２００２【３】ＡｖｅｒｙＣｈｉｎｇ，ＫｅｎｉｎＣｏｌｏｍａ，Ａｌｏｋ．ＣｈａｌｌｅｎｇｅｓｔｈｅＧｒｉｄ：ＳｔａｔｕｓｆｏｒＰａｒａｌｌｅｌＩ／０ｉｎＧｒｉｄＣｏｍｐｕｔｉｎｇ．Ｉｎ：ＥｎｇｉｎｅｅｒｉｎｇａｎｄＰｅｒｓｐｅｃｔｉｖｅ，Ａｍｅｒｉｃａｎ：ＳｃｉｅｎｔｉｆｉｃＰｕｂｌｉｓｈｅｒｓ，２００６，６２５－６３２【４】杨红霞，赵改善．２１世纪的地震数据处理系统，石油物探．２００１，１３（４）：１２６．１４１【５】ＣｈｉｎｇＡｖｅｒｙ，ＬｉａｏＷｅｉ—ｋｅｎｇ．ＥｖａｌｕａｔｉｎｇＩ／ＯＣｈａｒａｃｔｅｒｉｓｔｉｃｓａｎｄｔｈｅ２０ｔｈＭｅｔｈｏｄｓｆｏｒＳｔｏｒｉｎｇＳｔｒｕｃｔｕｒｅｄＳｃｉｅｎｔｉｆｉｃＤａｔａ．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓｏｆＩｎｔｅｒｎａｔｉｏｎａｌＰａｒａｌｌｅｌａｎｄＤｉｓｔｒｉｂｕｔｅｄＰｒｏｃｅｓｓｉｎｇＳｙｍｐｏｓｉｕｍ．ＩＥＥＥ，２００６，１－１５【６】ＫｅｎｉｎＣｏｌｏｍａ，ＡｌｏｋＣｈｏｕｄｈａｒｙ，ＡｖｅｒｙＣｈｉｎｇ，ｅｔａ１．ＰｏｗｅｒａｎｄＰｅｒｆｏｒｍａｎｃｅｉｎＩ／ＯｆｏｒＳｃｉｅｎｔｉｆｉｃＡｐｐｌｉｃａｔｉｏｎｓ．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＮｅｘｔＧｅｎｅｒａｔｉｏｎＳｏｆｔｗａｒｅＷｏｒｋｓｈｏｐ，ＩＥＥＥ，２００５，１—８【７】李冀，李晓明，陆桑璐．数据筛选技术在并行Ｉ／０中的应用．电子学报，２００１，２９（２）：２４９．２５２【８】ＣａｒｎｓＰ，ＬｉｇｏｎＷ，ＲｏｓｓＲ，ｅｔａ１．ＰＶＦＳ：ＡＰａｒａｌｌｅｌＶｉｒｔｕａｌＦｉｌｅＳｙｓｔｅｍｔｈｅ４ｔｈＡｎｎｕａｌＬｉｎｕｘＳｈｏｗｃａｓｅｆｏｒＬｉｎｕｘＣｌｕｓｔｅｒｓ．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇＳｏｆａｎｄＣｏｎｆｅｒｅｎｃｅ．Ａｔｌａｎｔａ：ＧＡ，２０００，３１７－３２７【９】张若洋，吕杨．ＰＶＦＳ在ｌｉｎｕｘ集群上的应用研究．西南科技大学学报，２００６，２１（１）：１０．１７【１０】Ｔｈｅｐａｒａｌｌｅｌｖｉｒｔｕａｌｆｉｌｅｓｙｓｔｅｍ２（ＰＶＦＳ２）．ｈｔｔｐ：／／ｗｗｗ．ｐｖｆｓ．ｏｒｅ，／ｐｖｆｓ２／，２００７．．１２．．２０【１１】ＳｅａｍｏｎｓＫＥ，ＣｈｅｎＹ，ＪｏｎｅｓＰ．ＳｅｒｖｅｒｄｉｒｅｃｔｅｄｃｏｌｌｅｃｔｉｖｅＩ／ＯｉｎＰａｎｄａ．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓｏｆＳｕｐｅｒｃｏｍｐｕｔｉｎｇ．Ｃａｌｉｆｏｒｎｉａ：ＡＣＭ，１９９５，５７—６２ＭＩＭＤＭｕｌｔｉｐｒｏｃｅｓｓｏｒｓ．ＡＣＭＴｒａｎｓａｃｔｉｏｎｓｏｎ【１２】ＫｏｔｚＤ．Ｄｉｓｋ—ＤｉｒｅｃｔｅｄＦＯｆｏｒＣｏｍｐｕｔｅｒＳｙｓｔｅｍｓ（ＴＯＣＳ）．１９９７，１５（１）：４１—７４ｇｅｏｐｈｙｓｉｃａｌｐｒｏｃｅｓｓｉｎｇ．ＴｈｅＬｅａｄｉｎｇＥｄｇ，１９９６，【１３】ＷｅｓｌｅｙＰｅｒｋｉｎｓ．Ｐａｒａｌｌｅｌ１５（１２）：１３５９—１３６１【１４】王宏琳，高绘生．地震并行处理模式与应用框架．计算机学报，２００１，２４（２）：２０２．２０８【１５】魏嘉．可扩展的地震数据并行处理．石油物探．１９９７，４：１２—１７【１６】都志辉，高性能计算之并行编程技术．ＭＰＩ并行程序设计．北京：清华大学出版５１地震数据处理中的并行计算技术研究社，２００１【１７】陈文光，武永卫．ＭＰＩ与ＯｐｅｎＭＰ并行程序设计．北京：清华大学出版社，２００４【１８】张云泉．高性能计算一体系结构，并行编程，性能评价与展望．ｈｔｔｐ：／／ｗｗｗ．ｒｄｃｐｓ．ａｃ．ｃｎ／，２００７—１２—２２【１９】黄铠，徐志伟．可扩展并行计算－技术结构与编程．北京：机械工业出版社，２０００【２０】ＫｕｒｔＧｅｉｈｓ．ＭｉｄｄｌｅｗａｒｅＣｈａｌｌｅｎｇｅｓＡｈｅａｄ．ｃｏｍｐｕｔｅｒＩＥＥＥ，２００１，３４（６）：２４—３１【２１】ＤｏｕｇＷｉｌｌｅ．Ｉｍｍｅｒｓｉｖｅｅｎｖｉｒｏｎｍｅｎｔｓｅｎｈａｎｃｅｔｅａｍｃｏｌｌａｂｏｒａｔｉｏｎ．ＷｏｒｌｄＯｉｌ，１９９９，２２０（５）：７２—７４【２２】ＦｒｅｄＡｍｉｎｚａｄｅｈ．Ｆｕｔｕｒｅｇｅｏｐｈｙｓｉｃａｌｔｅｃｈｎｏｌｏｇｙｔｒｅｎｄｓ．ＴｈｅＬｅａｄｉｎｇＥｄｇｅｏｆＧｅｏｐｈｙｓｉｃｓ，１９９６，１５（６）：７２９－７３５【２３】李蕾，方明科，杜欣．计算机机群技术及其在Ｗｅｂ领域中的应用．现代计算机．２００６，５：６０—６２【２４】ＤｉｍｉｔｒｉＢｅｖｃ．Ｉｎｔｅｒｎｅｔｂａｓｅｄｓｅｉｓｍｉｃｐｒｏｃｅｓｓｉｎｇ：Ｔｈｅｆｕｔｕｒｅｏｆｇｅｏｐｈｙｓｉｃａｌｃｏｍｐｕｔｉｎｇ．Ｉｎ：ＡｎｎｕａｌＭｅｅｔｉｎｇＡｂｓｔｒａｃｔｓ，ＳＥＧ，２０００，２１１９—２１２２【２５】ＷｉｌｌｉａｍＫＡｙｌｏｒ．Ａｂｕｓｉｎｅｓｓｃａｓｅｆｏｒｓｅｉｓｍｉｃｄａｔａｔｒａｎｓｍｉｓｓｉｏｎｂｙｓａｔｅｌｌｉｔｅ．Ｉｎ：ＡｎｎｕａｌＭｅｅｔｉｎｇＡｂｓｔｒａｃｔｓ，ＳＥＧ，２０００，１８７－２３５技术．２００３，１６３：４３．４５Ｃｈａｎｇ．３－ＤｐｒｅｓｔａｃｋＫｉｒｃｈｈｏｆｆｄｅｐｔｈｍｉｇｒａｔｉｏｎ：Ｆｒｏｍｐｒｏｔｏｔｙｐｅｔｏｐｒｏｄｕｃｔｉｏｎｉｎａｍａｓｓｉｖｅｌｙｐａｒａｌｌｅｌｐｒｏｃｅｓｓｏｒｏｆｇｅｏｐｈｙｓｉｃａｌｃｏｍｐｕｔｉｎｇ．Ｉｎ：ＡｎｎｕａｌＭｅｅｔｉｎｇＡｂｓｔｒａｃｔｓ．ＳＥＧ，２０００，２１１９－２１２２Ｄａｉ．ＰａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇｏｆＰｒｅｓｔａｃｋＫｉｒｃｈｈｏｆｆＴｉｍｅＭｉｇｒａｔｉｏｎｏｎａＰＣＣｌｕｓｔｅｒ．ＣｏｍｐｕｔｅｒｓａｎｄＧｅｏｓｃｉｅｎｃｅｓ．２００５，３１（１）：８９１·８９９１】ＣｈｅｎＬｉ．Ｐａｒａｌｌｅｌｐｅｒｆｏｒｍａｎｃｅｏｐｔｉｍｉｚａｔｉｏｎｏｆｌａｒｇｅ·ｓｃａｌｅｕｎｓｔｒｕｃｔｕｒｅｄｄａｔａｖｉｓｕａｌｉｚａｔｉｏｎｆｏｒｔｈｅｅａｒｔｈｓｉｍｕｌａｔｏｒ．ＩｎＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＦｏｕｒｔｈＥｕｒｏｇｒａｐｈｉｃｓＷｏｒｋｓｈｏｐｏｎＰａｒａｌｌｅｌＧｒａｐｈｉｃｓａｎｄＶｉｓｕａｌｉｚａｔｉｏｎ．２００２，１３３—１４０２２２—２２６６５８．６６９报，２００６，２８（２）：７２－７５【２６】杨晓云，庄建军，李淑英．集群技术在石油地震处理中的应用研究．高性能计算【２７】赵改善．集群技术及其在石油工业中的应用．石油物探．２００１，４０（３）：１１８．１２６【２８】Ｈｅｒｍａｎ【２９】李家康．大规模并行处理机三维叠前深度偏移．石油物探．１９９８，３７（２）：７７．８７【３０】Ｈｅｎｇｃｈａｎｇ【３【３２】陈莉．大规模数据场的并行可视化．浙江大学学报（理学版）．２００１，２８（２）：【３３】何成万，何克清．基于角色的设计模式建模和实现方法．软件学报，２００６，１７（４）：【３４】曾闽山，侯岩松．海量地震数据网格化算法分析与研究．石油天然气学【３５】曹凤海，易昌华，李秀山．地震勘探测量数据处理的全面解决方案，物探装备．硕士学位论文２００６，１６（１）：５９‘６２【３６】陈茂山，王云高．油气勘探软件用户界面设计方法探索与实践．勘探地球物理进展．２００４，２７（２）：１３２．１３８【３７】刘宏涛，李义杰，于长江．基于Ｂ／Ｓ模式三层结构地震信息管理系统的设计．东北地震研究．２００６，２２（１）：７５．８０【３８】李冀，陈晓林，陆桑璐．一个基于ＮＯＷ的并行Ｉ／Ｏ系统．软件学报，２０００，１２（１１）：１６５４．１６５９【３９】赵欣，陈道蓄，谢立．一个基于ＮＯＷ的跨平台并行文件系统的设计和实现．计算机科学．２０００，２７（２）：２１．２５【４０】李群，谢立，孙钟秀．并行文件系统的设计．计算机科学．１９９６，２３（２）：３６．３９【４１】ＬｉＪｉａｎｇｗｅｉ，ＬｉａｏＷｅｉｋｅｎｇ，ＡｌｏｋＣｈｏｕｄｈａｒｙ，ＰａｒａｌｌｅｌｎｅｔＣＤＦ：ＡＨｉｇｈＰｅｒｆｏｒｍａｎｃｅＳｃｉｅｎｔｉｆｉｃＩ／ＯＩｎｔｅｒｆａｃｅ．ＡＣＭ，２００３Ｓ．ＯｐｅｎＭＰｅｘｔｅｎｓｉｏｎｓｆｏｒｍａｓｔｅｒ—ｓｌａｖｅ【４２】ＨａｄｊｉｄｏｕｋａｓＰＥ，ＰａｐａｔｈｅｏｄｏｒｏｕＴｍｅｓｓａｇｅｐａｓｓｉｎｇｃｏｍｐｕｔｉｎｇ．ＰａｒａｌｌｅｌＣｏｍｐｕｔｉｎｇ．２００５，３１，１１５５—１１６７【４３】ＩｎｈｏＰａｒｋ，ＳｅｏｎＷｏｏｋＫｉｍ．ＳｔｕｄｙｏｆＯｐｅｎＭＰａｐｐｌｉｃａｔｉｏｎｓｏｎｔｈｅＩｎｆｉｎｉＢａｎｄｂａｓｅｄｓｏｆｔｗａｒｅｄｉｓｔｒｉｂｕｔｅｄｓｈａｒｅｄ—ｍｅｍｏｒｙｓｙｓｔｅｍ．ＰａｒａｌｌｅｌＣｏｍｐｕｔｉｎｇ．２００５，３１：１０９９．１１１３【４４】ＬｕＨ，ＨｕＹＣ，ＺｗａｅｎｅｐｏｅＷ．ＯｐｅｎＭＰｏｎｎｅｔｗｏｒｋｓｏｆｗｏｒｋ－ｓｔａｔｉｏｎｓ．Ｓｕｐｅｒｃｏｍｐｕｔｉｎｇ’９８，Ｏｒｌａｎｄｏ，１９９８【４５】ＨｕＷ，ＳｈｉＷ，ＴａｎｇＺ，ｅｔａｌ．Ａｌｏｃｋ－ｂａｓｅｄｃａｃｈｅｃｏｈｅｒｅｎｃｅｐｒｏｔｏｃｏｌｆｏｒｓｃｏｐｅｃｏｎｓｉｓｔｅｎｃｙ．ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ．１９９８，１３（２）：９７·１０９ｕｓｉｎｇａｎ【４６】ＫｅｎｇｏＮａｋａｊｉｍａ．ＰａｒａｌｌｅｌＯｐｅｎＭＰ／ＭＰＩｈｙｂｒｉｄｉｔｅｒａｔｉｖｅｓｏｌｖｅｒｓｆｏｒｆｉｎｉｔｅ·ｅｌｅｍｅｎｔｍｅｔｈｏｄｓｏｎｐｒｏｇｒａｍｍｉｎｇｍｏｄｅｌｔｈｅＥａｒｔｈＳｉｍｕｌａｔｏｒ．ＰａｒａｌｌｅｌＣｏｍｐｕｔｉｎｇ．２００５，３１：１０４８－１０６５【４７】ＬｅｉＨｕａｎｇ，ＢａｒｂａｒａＣｈａｐｍａｎ，ＺｈｅｎｙｉｎｇＬｉｕ．ＴｏｗａｒｄｓａｍｏｒｅｅｆｆｉｃｉｅｎｔｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＯｐｅｎＭＰｆｏｒｃｌｕｓｔｅｒｓｖｉａｔｒａｎｓｌａｔｉｏｎＣｏｍｐｕｔｉｎｇ．２００５，３１：１１１４·１１３９ｔｏｇｌｏｂａｌａｒｒａｙｓ．Ｐａｒａｌｌｅｌ【４８】陈勇，陈国良，李春生．ＳＭＰ集群混合编程模型研究．小型微型计算机系统，２００４，２５（１０）：１７６３—１７６７【４９】赵永华，迟学斌．基于ＳＭＰ集群的ＭＰＩ＋ＯｐｅｎＭＰ混合编程模型及有效实现．微电学与计算机．２００５，２２（１０）：７．１１【５０】吴少刚，章隆兵，蔡飞．一种适用于机群ＯｐｅｎＭＰ系统的有效调度算法．计算机研究与发展．２００４，４１（７）：１２９８．１３０５地震数据处理中的并行计算技术研究致谢本文是在李肯立教授的悉心指导下完成的。导师渊博的知识，严谨求实的科学态度，踏实进取、勇于开拓的治学精神以及精益求精的工作作风使我终生受益。研究生期间，在学习和生活各方面都得到李肯立教授及师母无微不至的关怀和帮助。至此学位论文完成之际，谨向导师和师母表达我最崇高的敬意和深深的谢意。感谢湖南大学计算机与通信学院、嵌入式与网络实验室的各位老师和同学多年来在学习、工作和生活方面给予我的帮助。在我攻读研究生期间，杨磊老师，肖德贵老师，李智勇老师从各个方面给予了我热情的支持和帮助，为我提出了很多好的建议，让我受益匪浅。在此向他们致以最诚挚的谢意。同时感谢斯特尔令软件工作室的齐雪生，刘敏，秦云川和实验室研究生邹舒婷、李昭鹏等同学。最后，我要特别感谢我的父母。感谢他们对我的支持和关爱，使我能够有信心和勇气面对困难，迎接挑战，顺利完成硕士学业。他们的勤劳工作一直是我学习的榜样。在此对他们表达我深深的祝福。感谢各位专家百忙之中对本文的审阅和赐教！杨进２００８年３月硕士学位论文附录Ａ攻读硕士期间发表的论文【１】李肯立，杨进，彭成斌，秦云川．基于ＭＰＩ＋ＯｐｅｎＭＰ混合模型的并行地震数据处理支撑库．计算机工程与科学，２００７，２９（１２）：１３６．１３９【２】李肯立，杨进，彭成斌，杨磊，肖德贵．基于集群的并行地震数据处理支撑框架．２００７全国高性能计算会议，２００７，４９３．４９９，被推荐到计算机研究与发展（增刊）发表，文章编号Ｈ０６５５地震数据处理中的并行计算技术研究附录Ｂ（攻读硕士期间参与的项目列表）【１】并行地震数据处理系统（与美国Ｎｅｘｕｓ公司合作项目）【２】网格环境下地震模拟支撑系统的关键理论与技术研究（国家自然科学基金）地震数据处理中的并行计算技术研究

作者：

学位授予单位：

杨进湖南大学

1.期刊论文 王宏琳.GAO Hui-sheng.WANG Hong-lin.GAO Hui-sheng 地震并行处理模式与应用框架 -计算机学报2001,24(2)

文中研究石油地震数据处理的并行计算设计模式(流水、扇出/扇入、主从和混合)和应用框架.框架和模式的目的都是复用成功的软件设计策略.框架可以看作一类设计模式的具体实现.针对地震数据处理模式设计和实现了GRISYS地震数据处理应用框架.利用这个框架，以往大量的串行地震处理模块，不需要任何改动，可以在工作站集群计算机或大规模并行计算机上实现并行计算.在曙光2000-II并行计算机上试验，获得了非常高的并行处理加速比.

2.会议论文 张军华.雷凌.吕宁 PowerEdge 1750微机集群并行性能测试及实例分析 2005

随着地震勘探新技术的发展和应用,地震数据量和处理量已变得越来越大.微机集群凭借其良好的性价比和高效的运算速度已逐渐成为地震数据处理的主要平台.本文以PowerEdge1750微机集群为例,首先对其体系结构进行了分析,然后给出了雅可比和矩阵乘积两个基准MPI程序的测试,最后以计算量较大的相干体算法为例,进行了实际并行计算与应用.文中给出的并行计算结果与性能分析,为推广应用该类集群提供了借鉴.

3.期刊论文 刘其成.郑纬民.薛巍.孙立民.LIU Qi-cheng.ZHENG Wei-min.XUE Wei.SUN li-min 时移地震数据处理中基于mobile agent的并行相位校正 -计算机应用研究2010,27(1)

研究了基于mobile agent的分布式并行计算及其在石油勘探时移地震数据相位校正中的应用,实现相位校正的高性能计算;利用mobile agent技术把各个可以并行执行的子任务派遣到不同的主机上,从而实现并行计算.将计算任务封装在mobile agent中发送至目的主机,在目的主机端借助目的主机所提供的计算环境及资源,利用本地操作的优势快速而高效地完成其计算任务;在计算过程中,mobile agent还可以适时地根据环境自动决定读取计算所需的数据.在Aglet workbench下基于mobile agent实现了相位校正分布式并行计算,取得了较好的效果.该方法可以应用于各种时移地震数据互均化校正算法,还可以应用于石油勘探常规数据处理的偏移等阶段以及正演模拟.

4.期刊论文 张军华.章多荣.雷凌.吕宁.陆文志.Zhang Junhua.Zhang Duorong.LEI Ling.LV Ning.Lu Wenzi PowerEdge 1750微机集群并行性能测试及实例分析 -石油仪器2005,19(3)

随着地震勘探新技术的发展和应用,地震数据量和处理量已变得越来越大.微机集群凭借其良好的性价比和高效的运算速度已逐渐成为地震数据处理的主要平台.文章以PowerEdge 1750微机集群为例,对其体系结构进行了分析,给出了雅可比和矩阵乘积两个基准MPI程序的测试,以计算量较大的相干体算法为例,进行了实际并行计算与应用.文中给出的并行计算结果与性能分析,为推广应用该类集群提供了方法.

5.学位论文 彭俊杰 基于CUDA平台地震数据处理研究 2009

在地震数据处理领域中，随着处理内容和算法复杂度的不断增加，这为计算技术带来了巨大挑战。并行处理技术日益引起石油地球物理界的广泛关注，如何快速高效地并行处理大规模地震数据这一问题已成为亟待解决的重大课题之一。随着新近发展的图形处理器通用计算技术日趋实用成型，因此，本文基于CUDA（Compute Unified Device Architecture）平台，针对大规模地震数据处理模块中的两个重要处理流程：叠前偏移和相干体并行处理技术，分别研究其高效并行处理技术和并行算法。

为了解决复杂地质构造成像问题，同时提高地震资料信噪比和分辨率，本文研究了Kirchhoff叠前地震偏移，它包括Kirchhoff叠前深度偏移和Kirchhoff叠前时间偏移两个内容。由于Kirchhoff叠前偏移是地震数据处理中最耗时的模块之一，为加快地震数据计算和显示速度，针对CUDA平台多处理器流水线特性，我们首先对传统Kirchhoff叠前深度偏移算法在CUDA平台上进行了重新设计，包括计算地面点对应射线旅行时的并行算法和成像处理的并行算法；然后改进了传统Kirchhoff叠前时间偏移算法，包括基于CUDA的Kirchhoff叠前时间偏移算法，基于CUDA的纵波波动方程算法和GPU与CPU间的通信算法3个子算法。通过实验结果表明，我们提出的基于CUDA平台计算地震数据的并行算法的确能带来性能上的提升。

另外，对于相干体处理技术，传统的计算方法需要较长的运行时间。为缩短解释周期，本文提出了基于CUDA平台的单侧旋转算法，改进了相干体C3算法中的矩阵特征值计算。通过在Intel Core2DueCPU和NVIDIA GeForce8800 GT显卡的PC上进行测试实验，在不丧失地震成像精度的情况下，基于CUDA平台的相干体C3算法处理速度得到8倍以上的提升。本文的研究表明，基于CUDA平台处理地震数据，对提高大规模地震数据处理与显示的实时性具有一定意义。

6.期刊论文 黄易.师学明.范建柯.胡文宝.HUANG Yi.SHI Xue-ming.FAN Jian-Ke.HU Wen-Bao 并行计算技术及其在勘探地球物理学中的现状与展望 -地球物理学进展2010,25(2)

本文详细阐述了并行计算技术及其在地球物理勘探数据处理中的发展现状和发展趋势,分析了几个代表性的并行算法实例.这些结果表明,在拥有强大的并行机的基础上,基于并行计算开发环境(MPI和PVM等)设计高效的并行算法,通过分配合理的并行粒度、通信开销、负载平衡等执行高效的并行计算,可以有效加快处理速度、降低成本.目前,并行算法在地震数据处理中应用已较为成熟,近年来向更实用的基于PC机群的并行技术发展.然而,在非地震方法中,并行算法应用较少见文献报道,研究尚处于初级研究阶段.在大地电磁的二维和三维正、反演问题上,并行计算技术逐渐得到越来越多关注和重视.随着资源和能源需求的增长,地球物理勘探向深度和广度快速发展,大幅增长的数据量使得高性能并行计算机和高效的并行算法在勘探地球物理学中的发展和应用将占据愈来愈重要的地位.

7.会议论文 冯保民.魏锐.李建霞 并行集群环境下迭前时间/深度偏移作业的运行效能研究 2004

地震数据处理领域一直是高性能计算服务器应用的重要领域。基于队架构的高性能集群并行机是伴随着计算机芯片技术、网络技术、系统集成技术和Linux的发展而出现的新产品。这些高性能集群并行机主要应用于地震数据处理、全三维可视化数据体解释、油藏模拟计算，尤其在三维叠前深度偏移及高分关辨率地震资料处理得到了很好的应用，高性能集群并行机和三维叠前深度偏移理论的发展，极大地提高了复杂地质构造的地震资料的成像持量和油气勘探目标的准确识别，成为了三维叠前深度偏移及高分辨率地震资料处理的首选平台。

本研究认为：作为系统管理员，工作中从实际问题、实际需求出发，深入研究系统性能优化技术并结合地震处理软件在实际应用中对系统资源的不同需求，找出应用软件与系统之间存在的某些瓶颈。改进了这些瓶颈，将会对实际生产带来显著的效果和经济效益。

8.期刊论文 方伍宝.孙建国.赵改善.王华忠.程玖兵.Fang Wubao.Sun Jianguo.Zhao Gaishan.Wang Huazhong.Cheng Jiubing 波动方程叠前深度偏移成像软件系统的研制及应用 -石油物探2005,44(5)

基于波动方程的叠前深度偏移成像技术可以将叠前深度偏移技术的应用领域从复杂构造成像扩大到复杂地质条件下的岩性地层成像.研制开发了波动方程叠前深度偏移成像软件系统,该系统包含工区管理、数据管理、偏移速度分析、构造建模、2D/3D地震速度建模、地震偏移成像、三维可视化、辅助计算等一系列功能模块;具有独特的速度建模、叠前深度偏移成像、高效并行计算、三维可视化和性能优化等特色技术.对该软件系统进行了SEG/EAGE3D盐丘模型数据测试,在所获得的成像剖面上盐丘边界和断层清晰.将该软件应用于实际地震资料的处理,河南油田泌阳凹陷的高陡构造、胜利油田的古潜山内幕都得到了很好的成像.

9.学位论文 刘祁 用于地震数据征处理中的一个并行文件系统 1999

地震数据处理中的I/O数据量特别大,研制一个高效、实用的并行文件系统对提高地震数据处理的速度和效率具有重要的实用价值.该文首先简要地叙述了并行处理技术在石油勘探中的应用,给出了一个适于地震数据处理并行计算框架,该框架引入组件技术,提供了一个完整的、有层次的类系统;然后论文重点论述了如何基于地框架构造一个并行文件系统,并介绍了研究人员设计和实现的适合地震数据处理的一个并行文件系统.该系统由目录管理、config管理及负载分配、并发控制和缓冲区管理等组成,与现有的并行文件系统相比,具有简单、高效的特点.

10.期刊论文 方江雪.陈明俊.冯全东.史军超.史彦华 并行计算机在泌阳凹陷地震资料处理中的应用 -江汉石油学院学报2004,26(1)

结合石油勘探和地震资料处理的实际需要,根据并行计算机的特点和性能,讨论了并行计算机在泌阳凹陷地震资料处理中的应用.应用结果表明,并行计算机不仅大大缩短地震资料的处理周期,同时提高了地震资料的处理质量和效率.

本文链接：http://d.g.wanfangdata.com.cn/Thesis_Y1659631.aspx

授权使用：中国传媒大学(中国传媒大学)，授权号：a3102b51-675d-4cd2-bea3-9e7100ff9634

下载时间：2011年1月20日