第37卷第11期计算机工程2011年6月V-01.37NO.11ComputerEngineeringJune201l・云计算专曩・文章■号:l∞o—34勰(加11)ll—o帕l—03文麓标识码lA中圈分类号:"EF311云计算环境下的资源监测模型研究葛君伟8,张博6,方义秋“(重庆邮电大学a.软件学院;b.计算机科学与技术学院,重庆400065)■要:云计算环境下的资源监测是云计算平台资源管理的重要组成部分,为资源分配、任务调度和负载均衡等提供依据。由于云计算环境下资源的透明虚拟化和弹性化,并需要对用户使用资源进行计费,因此原有的资源监测方法不能完全满足云计算环境的要求。为此,根据云计算平台的特点,提出一种适应云计算环境下的资源监测模型,该模型通过虚拟机监测器和Java调用c,C++得到资源的状态信息。通过理论分析和实验表明,该模型可以较好地收集节点的资源监测信息,满足云计算平台特性的要求。关悯:云计算;虚拟化;弹性化;虚拟机监测器;资源监测模型StudyonResourceMonitori—lgModelinCloudComputingEnvironmentGEJun.wei4,ZHANGBoo,FANGYi-qiuo(a.CollegeofSoftware;b.CollegeofComputerScienceandTechnology,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)[Abstract]Resourcemonitoringisanimportantpartofresourcemanagementinthecloudcomputingenvironment,soastoprovidereferenceforresourceallocation,taskschedulingandloadbalancing.Theresourcesinthecloudcomputingenvironmentalehighlyvirtualization,scalabilityandtransparency,inadditioncloudcomputingtargetiscommercialapplicationsneedforstatisticalresourcesusingofusersforbilling,sotheexistedresourcemonitoringmethodscannotfullymeetthecloudcomputingenvironment.Accordingtothecharacteristicsofcloudcomputingplatforms,itpresentsanovelresourcemonitoringmodelwhileadapttocloudcomputingenvironment,themodelbyVirtualMachineMonitor(VMM)andtheJavacallC,c++togetinformationofthelagSOUreestatUs.Throughtheoreticalanalysisandexperimentsshowthemodelcanbeusedtocollectresourcemonitoringinformationonnodes,itmeetstherequirementsofcloudcomputingplatformfeatures.[Keywordslcloudcomputing;virtualization;scalability;VirtualMachineMonitor(VMM);resourcemonitoringmodelDOI:10.39690.issn.1000-3428.2011.11.0111撰述Ganglia【3】、NWS(TheNetworkWeatherService)【4】、MDSl51等,云计算(cloudcomputing)是2007年提出的一种基于互联它们在分布式系统或者网格系统中都起到了重要的作用,但网的超级计算模式,它是在并行计算(parallelcomputing)、分如果直接用于云计算环境下,会有一些不足。一方面,云计布式计算(distributedcomputing)和网格计算(gridcomputing)算环境下的资源是高度虚拟化和弹性化的,同时云计算向外基础之上发展而来的,或者说是这些科学概念的商业实现…。提供如IaaS、PaaS、SaaS等不同层次的服务,那么就需要除云计算环境下的集群节点是松散耦合的,要提供高质量了对物理服务器的资源进行监测外,还需要对运行在其上的的服务就必须要解决资源管理问题,而资源监测是资源管理虚拟机进行监测。另一方面,云计算为商业化计算模式,需的重要组成部分。在云计算环境下,各种资源都采用了虚拟要对用户进行合理的计费。已有的资源监测系统监测信息的化技术,资源的特性大多都被隐藏起来,但云计算应用系统粒度不细,不能获取到进程层次的信息,不能实时跟踪用户还需要根据用户对资源的需求信息,如处理机的速度、内存任务执行过程中所消耗CPU、内存和存储等资源。因此,结空间大小、硬盘可用存储空间大小等,帮助用户找到合适的合云计算自身的特性可知,当前的一些分布式计算、网格计资源。若集群中的某个节点或者在某个节点上运行的虚拟机算中的资源监测方法,不能完全适应于云计算环境。出现了问题,这就要求系统提供资源的状态信息,及时发现3云计算环境下资源监测模型分析与设计和解决故障。这些都完全依赖于资源监测技术。同时,资源在云计算环境下,资源监测可采用2种模式:(1)主动模监测得到的数据可以用于资源发现与分配、任务调度和负载式,工作节点(WorkNode)中的资源监测构件和虚拟机监测器均衡,并且根据云计算需要用户付费的特点,资源监测信息采集自身及运行其上的虚拟机的状态信息,然后主动向主节对用户所使用资源的计费也有重大的指导作用。因此,研究点(MasterNode)发送自身的监测信息。(2)被动模式,主节点云计算环境下资源监测,对云计算的发展有着巨大的推动作主动发送请求给工作节点,工作节点再将自身的监测数据反用。为此,本文对云计算环境下的资源监测模型进行研究。基金项目:重庆市教委科技基金资助项目(KJ090519)2研究基抽作者筒介:葛君伟(1961一),男,教授、博士,主研方向:云计算,目前,关于云计算资源监测方面的研究还很少,但在分软件工程,MDA;张博,硕士研究生;方义秋,副教授布式计算和网格计算有较多的研究。如DRMonitort…、收■日期:2010.12.28E-nmil:zhangb01005@163.corn万方数据32计算机工程2011年6月5日馈给主节点。云计算环境下的资源监测信息具有实时性,需要采用轮询策略——周期性或基于事件驱动方式。周期性方式是指工作节点每隔一段时间将采集到的自身的监测信息发送给主节点或者是主节点的资源监测构件每隔一段时间向工作节点发送请求,工作节点采集自身信息,然后反馈给主节点。而基于事件驱动方式旧1是指工作节点会产生一系列事件,每个事件的产生都会触发相应的采集器对所监测的资源状态做一次检查,并与上一次检查到的数据进行对比,当2次事件之间的改变程度大于设定的阈值时,工作节点才主动或者被动地发送自身的监测数据。本文基于以上对云计算环境下资源监测模式的分析,再结合云计算自身的特点,提出了适用于云计算环境下的资源监测模型,如图1所示。GuIManagementJL▲PDataReader1ThresholdsenerI匝亚‘禀点c。mmunicatec。mponenlt』lCommunicateComlTIU[IicateC。mponentC。mponenI▲DataReaderI.貊lvMMIlcom1’拉睡工作节点2Monitored0bjCOt.至一暂裔MonitoredOhjcotHardware,Software.OS,NetworkHardware,Software,OS,Network圈1云计算环境下的赉誓t舅模童对图l的说明如下:(1)MonitoredObject(被监测对象):云计算环境下的被监测对象是硬件资源、软件资源和网络资源等。(2)Collector(监测数据采集器):周期性地采集节点自身的资源数据或者采用基于设定阈值的数据采集策略进行自身监测数据的采集。(3)VMM(虚拟机监测器):在虚拟环境中,VMM负责获取运行在物理服务器上各虚拟机对CPU和内存的使用情况等信息。(4)LocalDatabase(本地监测数据库):用于存储监测数据采集器和VMM采集到的工作节点及虚拟机的资源数据。(5)DataReader(数据读取器):用于从资源监测数据库中读取监测数据。(6)CommunicateComponent(通信构件):用于工作节点与主节点之间的数据通信部件。(7)DataReceiver(数据接收器):主节点中用于从通信构件中接收由工作节点传送过来的资源监测数据。(8)GlobalDatabase(全局监测数据库):用于存储云计算数据中心的所有由主节点接收到的资源监测数据。万方数据(9)GUIManagement(图形用户管理界面):系统管理员可以通过监测界面,查看该数据中心所有节点的监测信息,也可以在此设置监测对象的阈值。(10)ThresholdSetter(阈值设置器):设置监测对象的阈值。在云计算的数据中心,各个工作节点中的Collector负责获取自身的静态信息,如CPU个数、类型、主频等关键信息以及物理内存存储空间大小、虚拟内存的存储空间大小,还有磁盘的存储空间大小、操作系统版本号、IP地址等,然后将收集到的这些静态信息通过与主节点进行通信的CommunicateComponent传送给主节点的DataReceiver,数据接收器将这些静态信息写入GlobalDatabase。各个节点的静态信息在节点加入的时候自动一次性写入全局监测数据库,在节点离开的时候进行自动删除。DataReceiver读取GlobalDatabase中存储的静态信息数据,然后传递给GUIManagement。Collector需要周期性地或采用基于设定阈值的轮询策略去采集节点自身的动态信息,如节点自身的平均负载、运行的总任务数以及这些任务的状态、CPU利用率、物理内存占用情况、虚拟内存的使用情况、当前计算任务运行的进程数、每个进程的运行时间、每个进程消耗的CPU和内存信息,已使用的磁盘空间大小和可用的磁盘空间大小,还有节点当前的网络流量、网络带宽和网络延迟等;VMM负责获得运行在物理服务器上各虚拟机对CPU、内存的使用情况和网络流量等信息;然后将这些监测到的数据写入LocalDatabase。这些数据具有更新频繁、数据量大、时效性强等特点,将所有监测到的数据进行长期存储是没有意义的。因此,需对LocalDatabase中的数据采用队列的方式进行存储,即存储空间大小是固定的,当有新的监测数据需要存储时,进行入队操作,当队满以后,位于队尾的监测数据自动地进行出队操作,只存储最近短期数据。DataReader读取LocalDatabase的监测数据,通过通信构件实时传送给主节点的DataReceiver,这些实时数据没有必要存储到GlobalDatabase中,因此,DataReceiver就直接传递给GUIManagement。通过主节点监测系统的图形用户管理界面,云计算平台的管理人员可以查看所有工作节点的静态和动态监测信息,同时也可以通过Thresholdsetter来设置一些重要的被监测对象的阈值,阈值设置器再将阈值通过通信构件传递给工作节点的Collector。Collector根据相应的阈值,决定是否要将监测到的数据写入到本地监测数据库。比如:设置CPU利用率的阈值为90%,当CPU利用率小于90%时,监测数据采集器不将监测到的数据写入数据库,数据库中依然保留设置阈值前的数据;当CPU利用率大于或等于90%时,监测数据采集器才会将该数据写入到本地监测数据库中。4实现方案与论证基于本模型的资源监测系统,底层也即监测数据采集器和VMM均采用C/C++语言实现,而其他部件以及图形用户界面则采用Java语言编写。各节点安装Linux系统,监测数据采集器可以通过读取“/proc”文件系统中的相关文件,并在其中筛选出需要的数据,从而获得CPU、物理内存、虚拟内存、磁盘空间和网络设备等数据;使用Linux/Unix系统提供的命令“ps”可以获得用户作业信息,使用“top”命令也可以获取这些数据及进程信息,使用“dP命令可以得到各文件系统的磁盘空间使用情况;借助Linux/Unix系统下的nload工具监测节点网络流量等网络信息。第37卷第1I期葛#伟,帐博,方女秋:i计算环境F舯资杯监测模型研究自上进的模唰讣析与☆计和实现方案日知,陵模Ⅲ县有mF4十方呵的特性(】)目扩E性a§i计算4境F的计算机集群中有新的I怍节点加^的时候一监测系统可毗A接获取谚{,点自身的静态信息,将其g^全局监捌敖*库巾m女某I作节点离开的时候,监删系统日以自动从幸目数据库中■障凄竹点的静态信息。(2)可谨性。在奉监谢系统十,I柞节点&测到的数据到}节点±问的传递链路是冗籴的,因此单一的I作节点失效.乖会影响对片他H点和整十系统的监测。f3)秉统报警功能。本监测系统提供r秉统报警腿务,’j某十1作节点的被监测的对象选到T已§设定好的阑值时,或者某个I作节点发牛故肆.t法m常运行时,都台发}I{报警情息。(4)提供较好的用户计贤模式依据。基f率楼型的5计算吐测系统币仪能磬实时地采集系统舳动静恋信息.还能够跟踪任务的运行状巷,获取I作节点I-的进程信息,包括每个进程所消耗的CPU赍铱、内存赍槔、所属用户、进程优先缀等,这些对用户的计费模式提供了较好的依据。在实验中,使用3台Pc机霸§建i计算实验平台,其中I白作为±节点,*外2白月作I作节点。}节^和t作节点都通过千兆空换机连接起来。各节点±安装Linux系统(Ubunlu910J,并在扦节点l‘安装和配口i计算f白开源T具EucalyplasI6.2”.在该年台上扩Ⅲ"发基于卓横型舳资源监测系统,VMM使月XenHVM310。图2一目5是采样时目为500s,每黼1s采集砍的I怍节点1:的资馥监测信息(m十篇幅,选取部分数据,列)。EII…………fih、‘f…‘I_∞J_{bj、日2盘#啦*精耗∞CPU自m奉h—__“Ⅱ・■3童#*Ⅸ自m■自#口R万方数据扩V\~厂V\.I^,、^£o,t\。。\J1。nEn∞f‘0…n……m-…∞:,.∑一匾囝日5藏■墓--4"谴S∞t2pU目日#dm●s结柬语赘振监测足i计算平白必{可少的一十Ⅲ要m成部分。本文提山基于d¨算Ⅱ境F的资源监测模型,分析卖Ⅸ该模型的燕健技术,山4论分析可知本模型具有可扩屉性、可靠性、系统推警和提供教好的月户计费模式依女,通过实验表明谤横疆能够有效获取虚拟机的m捌信息。母目的I作足根据资《监测状m的教据,mH高减可靠的责谭发现算法,为用户舶请求查找到满足用户所需的资探。●考文t|】I#{*j・■%自i#¥fMPI∞i”#*ⅢⅢ”#nIn200935(24):"8612Ia4rrySMarkBARexibleMonjto’…1dNolifications,s”兀1mrSymposium∞Parallel㈣l㈣kdDismbut“趾…lClmⅥor岫71hTnIemac10∞lComl,IltlngKmkowPoled:fsl'I2㈣13lLiuYIGanshub*■DiEttlbmeMvlsua¨∞El。Il【cl№ofthemhIEEF3ACM】…4lIOn4IwsRFSympOsium0丌Clus”rCompudng“dlhcGridShanghⅢChina:IsⅡl2009f41…删lcllonfcl*眦of㈣…¨onUI:igueiredoRAdapIl"№tor]nlegⅢionforSystemPerf..PaHIHⅫdDisⅡibukdP—singSymposiumIS】l:IEEEPmxs2007『51I㈣a¨onDmIFernandez6MarIinmMlatcgmtlagiheC㈣mOAInkmmⅢlⅢC∞k…ⅢIModelwithMDS41CII/I'mevfthe9th【£EEMcMGridComputiagTsukubtJ….『sn12r鹏【6】^E#镕目§*¥#W自!Z&*¥;日镕№171ⅧDt&■“M日%{】I7WolskiRG叩”qkCR镕8目mi‰2(J08,271i01:14.I1■cEucalyptusO口ns…ClnudComputinEthemhInk【n…a】SymposiumSystem[C]I/P雠ofonClusterCompuling㈣GridIEF*3ACMsh¨nmChina:bnI2009编辑阵文云计算环境下的资源监测模型研究
作者:作者单位:刊名:英文刊名:年,卷(期):
葛君伟, 张博, 方义秋, GE Jun-wei, ZHANG Bo, FANG Yi-qiu
葛君伟,GE Jun-wei(重庆邮电大学软件学院,重庆,400065), 张博,方义秋,ZHANG Bo,FANGYi-qiu(重庆邮电大学计算机科学与技术学院,重庆,400065)计算机工程
COMPUTER ENGINEERING2011,37(11)
本文链接:http://d.g.wanfangdata.com.cn/Periodical_jsjgc201111011.aspx