有效资源减少量最大化的云计算工作流调度

计算机工程与设计

COMPUTER ENGINEERING AND DESIGN

Nov. 2017Vol. 38 No. 11

有效资源减少量最大化的云计算工作流调度

刘晓天、朱耀琴2，顾大明1

(1.盐城工业职业技术学院机电工程学院，江苏盐城224005;2.南京理工大学计算机科学与工程学院，江苏南京210094)

摘要：针对云环境中运行大规模科学工作流资源利用效率低的问题，提出一种有效资源减少量最大化算法（MERR)。延 迟限制识别，寻找增加时间和有效资源使用减少量之间的平衡点；任务合并，即合并原始工作流调度中资源利用率低的任 务；资源合并，采用一种最佳拟合方法合并没有完全使用的资源，进一步改进资源使用效率。使用CyberShake、Epi- genomics、LIGO和Montage这4种科学工作流进行仿真实验，仿真结果表明，MERR能有效降低54%实际使用资源，平

均时间增长少于10%,优于基于关键路径的调度算法。关键词：云计算；工作流；调度；资源利用率；资源配置中图法分类号：TP391

文献标识号：A 文章编号：1000-7024 (2017) 11-2964-07

doi： 10. 16208/j. issnl000-7024. 2017. 11. 014

Workflow scheduling for cloud computing based on

maximum effective resource reduction

LlUXiao-tian1，ZHUYao-qin2，GUDa-ming1

(1. School of Mechatronic Engineering，Yancheng Industrial Vocational and Technical College, Yancheng 224005，China；2. School of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing 210094，China)

Abstract： Concerning the problem that resource running efficiency of large-scale scientific workflow is low in cloud environment,

an algorithm of maximum effective resource reduction (MERR) was proposed. The delay limitation was identified. The balance point between increasing of makespan and effective resource reduction was found out. Tasks were merged. Tasks with low re­source utilization were merged. Resources were consolidated. A best fit method was adopted to merge resources that were not fully used，to further improve the efficiency of resource. The simulation was carried out on four kinds of scientific workflow including CyberShake, Epigenomics，LIGO and Montage. The results show that proposed MERR reduces the used resources by 54%，and the average increasing time is less than 10% > which are better than scheduling algorithm based on critical path.

cloud computing； workflow; scheduling； resource utilization； resource allocationKey words：

〇引言

随着资源容量的增加，大规模多核系统云计算的普及 以及虚拟技术的发展，大量资源信息已经被广泛应用于提 高大型应用程序（如企业的数据中心和云计算系统等）的 性能。由于工作流[1]具有良好的可伸缩性，对大量资源的 应用具有一定优势，引起了极大的关注。然而，大多数工 作流以较低的资源利用率换取应用性能的提高[2]。

一般资源调度算法侧重提高有限资源的使用性能[3],

收稿日期：2016-09-06;修订日期：2016-10-13 基金项目：国家自然科学基金项目（61202003)

而多核处理器和云计算的出现引起人们对资源利用率的关 注[4]。现存的大多数资源调度算法可能在调度时通过限制 资源数量自适应处理大量资源，但是仅针对部分或特定问题[5]。

Mao等m说明了公共云中动态资源配置一般是二选一。 然而，来自工作流和不均匀宽度不同层的资源利用率较低， 这种情况在一段时间内（一般是1 h)仍然存在。Lee等[7] 证明了可以通过合并空闲任务来降低工作流调度的资源使 用量。在众多调度算法中，基于关键路径的调度算法比较

作者简介：刘晓天（1981-)，女，江苏滨海人，硕士，讲师，研究方向为云计算等；朱耀琴（1977-)，女，江苏无锡人，博士，副教授， 硕士生导师，研究方向为云计算、虚拟机等；顾大明（1979-)，男，江苏射阳人，硕士，副教授，研究方向为云计算等。

E-mail： liuxiaotianyc@126.com

第38卷第11期 刘晓天，朱耀琴，顾大明：有效资源减少量最大化的云计算工作流调度 • 2965 •

流行，它们也是最小化时间的常用方法。

Xie等[8]提出一种基于工序集的动态关键路径调度 (dynamic critical path scheduling, DCS)算法，将多个树状

大多数情况下，一个任务可以看作为准备运行的任务 (或作为准备任务）。根据任务M的上一个任务（父任务） 确定其准备就绪，保证以最短时间完成通信。务M的最早开始时间和完成时间定义如下

(

一

般地，任

结构转化为一*个虚拟加工树。随后，提出了 一*种基于多核 处理器的关键路径和任务复制调度（critical path & task duplicating, CPTD)算法[9]，将任务分配到多个并行的计

〇，

ESTM =

if 1 i

,

Gentry

•

|

[max^

{EST(vp)+wp+cp^) otherwise j

算机内核中，并进行优化以缩短总完成时间。Lee等M提 出一种关键路径优先（critical path first，CPF)算法，通 过加工树获得关键路径，然而，其资源利用率比较低，对 (1)

EFTivi) = ESTivd+zv,

式中：

(2)

为没有任何父任务的根任务，R为％父任务集

于分布式资源，调度器的核心是调度算法。

考虑到运行大规模科学工作流存在的资源利用效率问 题，本文提出一种有效资源减少量最大化算法（maximum effective resource reduction，MERR)来降低资源使用量所

增加的时间。该算法是一种后优化算法，与输入调度资源 相比，该算法将现存工作流调度和合并调度算法中的任务 视为较小资源，寻找降低资源使用量的最小时间增加量， 其主要工作总结如下：

(1) MERR通过允许时间增加或延迟最大化使用资源 减少量扩展了很多工作流调度算法；

(2) MERR主要创新点是它能找到增加时间和减少资 源使用量之间的平衡点，该平衡点可提高资源利用率，优 化资源配置，降低能耗。

1最优化工作流调度算法存在的问题

本节主要描述工作流和系统模型的工作流调度算法的 优化问题。1.1科学工作流

科学工作流由有向图（directed acyclic graph，DAG) 表示的优先约束任务数据集组成[11]，G= (V，£：)包含任 务集合V，

U，仍，…，％}，以及边集合E，连接两

个任务的边表示它们存在优先约束或数据依赖关系，如图 1所示。

合，w和％分另lj表示％和％的计算成本（即执行时间）， 且为％到％的通信成本。

K的最新开始时间和完成时间定义如下

LSTU) =LFTivl)~vul (3)

j

EFT) if vt = )1 \\ minVcect {LST(vc)—ct,c} otherwise J

(4)

式中：G为％的子任务且表7K退出的任务。

任务M的实际开始时间和完成时间分别表示为 AST(功）和AFT(双），且如果同一资源的其它任务调度的

实际完成时间小于£ST(k)，则来自最早开始时间和完成 时间的AST(功）和AFT(功）不同。以相同方式定义 ALST(功）和ALFT(功），功的LFT (或ALFT)通常表

示为任务最后截止时间。因此，超过该截止时间的延迟增 加了总时间。最大延迟定义为LFT和EFT (或ALFT和 AFT)之间的差异；该延迟值为功子任务的同步需求。

1.2目标系统

本文的目标系统由同种计算资源只组成，只={%， 风，…，兄《}，资源可能为物理计算节点或一种虚拟机器， 只中的每个资源由一组^处理元素或（虚拟）处理器核组 成，即兄=

{n，。，^

，…，^}。本文假设单一资源任务

间通信成本可以忽略，依据通信成本的核数量、计算功率 和成本代价假设资源为同种资源。1.3公式化问题

假设工作流调度为给定科学工作流G和资源集合i? 的调度算法的输出。这种调度算法可以描述为Gantt chart， 输出调度是G中的一种执行任务计划，子集资源i?°来自 只，包含3个元组集合。每3个元组集合由任务功、资源 W和ASTfe)组成。资源的调度任务表示为用

于资源的总资源时间定义为Vy中任务执行时间，且使 用i?T(r; j)表示。

为了寻找一种合并调度^和一种原始输出调度S°， 同时最小化时间增加，需要解决工作流调度最优化问题， 然而，当考虑时间的延迟时，工作流调度的优化问题变的 更加复杂。特别地，针对任务完成时间的延迟（通常由合 并操作引起）可能递归传播给更多任务，不仅包括先前任

• 2966 •

计算机工程与设计

2

3 4

2017 年

务，而且也包含合并任务后的调度任务。

工作流调度的最优化目标是导找时间延迟与减少资源 使用量之间的平衡点。

为此，本文采用有效资源减少量可以确定时间资源使 用量中的实际减少量和完工时间的增加量（increase in makespan，MI)，合成调度的有效减少量（effective reduc­tion, ER) 定义如下

据RT群组\"

srcnt—0ERmax—0

) do

i for R； i G 6

srcnt— srcnt+ | R[ |

?ns^?ns°

7

8 9

+i?T^

trcnt— | i?0 | —srcntif srcnt

trent then

式中：li^ I—合成调度使用的资源数量，

—输

入调度的时间，〃—

合成调度的时间&

2最大化有效资源减少量算法MERR

MERR是一种工作流调度算法的最优化技术，且它的

最优时间增加与资源减少之间可以保持乎衡。MERR由 以下阶段或子算法组成：①延迟限制识别；©任务合并；③资源合并。

本质上，MERR通过两种方法合并以寻找最优化工作 流调度算法：①根据任务间的数据相关性填充空闲时间段; ②挤压任务。1般情况下，考虑只合并少量的资源任务0 如果该平移改进了资源的有效性，则任务转到其它资源， 通过修改允许延迟时间调整合并程度。特别地，MERR通 过在延迟限制内下推一个或更多任务在原来完工时间内来 进行整合，如图2(b)所示。

ro,o

r0,l

ri,Q

ru

rzo

u

ro,o

ro,i

：5

三

n10

10

!

n

：15

V；

K

K

15：

K17~

20

:va20

=K25

25

:

K,[w；

KVn

30

30:

V14

3535j

1I

4040

：

1

1

⑷使用CPF产生原始调度(b)使用MERR最优化调度

图2

最优化工作流调度

2.1延迟限制识别

对给定输入调度，MERR合并该调度且允许一种特定 时间增加度。因此，识别增加的最小度是最小化资源使用 量的关键。:解决该问题的方法是延迟限制识别算法，如算 法1所示。该算法的基本原理是合并较小的资源总使 用时间。

算法1:延迟限制识别 1

根据升序RT存储i?°的资源

11

while srcnt^^> 0 do

12

在 i?’ 中，7，?/—

+

朦〇?/认

13 srcnt ^srcnt

— trent

14 mi—(而’ms

—r

°)15

| i?。|

16 if E

R>ERma^

then

17

En

R

18 d^^MI

输入调度（i?°)使用的资源存储（\"）按升序存储且 通过资源总使用时间（resource time, RT)进行组群 为了识别最大有效减少量，外循环（第5行）迭代每个存 储的资源群组。对特定资源（第6行尺\")，如果已经合并了 资源，任务花费的资源总共使用时间是一种较好描述最大 增加时间的指示器《由于本文处理资源群组，因此，可以 保持有效减少任何目标资源中已经合并的资源使用量，对 先前资源群组也一样（第6行)e资源数量用于合并处理其 它资源的任务，因此，通过srcnt确定资源使用的减少量 (reduction in resource usage, RUR)(第 15 行）。

图2(a)中，从苽到招，3种资源的RT分别为45、8

和6。通过求和所有任务的执行时间计算特定资源的RT， 例如，图2(a)中恥的RT值表示经过两个核心11个任务 的执行时间总和，即中的T；。，访，…，麵4和中的 奶，％，…，仍!,使用RT是因为在最糟糕场景下，所有 这些n个任务合并为一核中。如图2所示，RT的资源 顺序为炤，苽和硒；排序后的实际顺序为％和记紧跟其 后，除7尨（即第5行只'一\"⑷在第一次迭代• m.沉、 加泣、只广和州/分别为1，2，6和35。然后，MI、RUR 和 ER 分别为 0.21 (21%)，0.33 (33%)和 0.12 (12%)。

如果5「〇奸大于?nrw? (9行），则可以递归原资源的RT 确定时间增加。在图2(a)中，在如此计算中，原资源是 \"中第2和第1个资源,然后， ms = 21+1+8, srcnt =

2

,

MI、RUR和ER分别为（L48、0. 67和0• 190因此，如

图2(b)的调度过程。ER值为0.19作为延迟限制，因为 图2(b)中的最优调度时间增加。

在每次迭代末尾，比较最大有效资源（£^max)和当前

第38卷第11期 刘晓天，朱耀琴，顾大明：有效资源减少量最大化的云计算工作流调度

源集合

.2967 .

ER识别最终,该值是用于任务合并算法/阶段的时

间延迟限制W1^)。2.2合并任务

一旦不能合并少量使用资源（/),则中断资源合并过 程（算法3第10行），因为矿中没有处理其它少量使用的 资源且这些资源拥有相同或更多的核。

算法3:合并资源1 2 3

根据使用的#核，按升序排序的资源完全使用的资源

矿―拥有#使用核的资源

实际上，资源子集的整合即任务的整合[13]，如算法2 所示。完工时间的增加由时间延迟限制与剩余资源整合获 得，如算法2的第1行所示，输人调度（S°)使用的资源 〇?°)首先反序进行分配，因为对于大多数资源，给定调度 的资源使用率逐渐降低。然后，考虑合并资源（rf)的每 个任务和其它资源的任务。合并任务的资源 导致最小时间增加，且插人/合并 到资源（第9行）。其

中，

()函数用于确定时间增加的程度。

算法2:合并任务1 iT—]?°反向排序2 S* —S03 for r,* G-R* do4 R'—R'—rt'5 for Vi, G Vi do

6 for r k G-R，do

7 ASTivlj , n ) -^FindMinMISlotivlj , r )8 ifASTCr),*,, r'k)

then

9 在AST(<, r()中插人<10 更新调度（S*)

11 -mimn

12 break

13 if r* = =0 then

14

n

* —r,*

合并特定任务后，更新调度和时间延迟限制（第10行 和第11行)。如果合并任务产生的延迟大于任何其后调度 任务或后继任务的LST (即延迟传播），则更新调度（第 10行）可能处理大量任务。超过LST的延迟会导致时间的 增加。特别地，识别由合并影响的任务更新任务调度数据, 如此识别过程在合并任务的后继任务循环发生。一

旦特定

资源中的所有任务完成合并且合并任务后资源已经不存在

(算法2第13行)，就移除任务。2.3资源合并

由于资源可以看作是服务节点，或者云计算术语的资 源/虚拟实例[14]，因此，存在一个或更多处理单元。在这 种意义上，用于输人调度的一些资源可能没有完全使用， 一个或更多核没有分配给任何任务。算法3以一种最佳拟 合方法合并这些资源来处理这个问题。合并资源帮助进一 步改进资源效率，这是因为该过程减少了用于最终输出调 度的资源数量。根据使用核的数量升序排序资源（算法3 第1行），为了提高算法效率，本文考虑改变资源的任务， 减少使用核的数量，从而进一步大量使用资源（算法3第3 行)。然后考虑合并少量使用资源集合（，）和大量使用资

4 for

do

5

—

6 forr;€_R'(来自最新 res) do

7 if r〗#未使用核大于等于/#未使用核then

8 合并/到rj9 break

10 if没有合并r〃 then11

break

3

性能评估与分析

3.1实验介绍

本文评估4种不同调度算法，它们分别是动态关键路 径调度算法DCS[8]、多核处理器的关键路径和任务复制调 度算法CPTD[9]、关键路径优先算法CPF[1°]*本文的 MERR算法，所比较的算法都是基于关键路径的调度算

法，是目前比较流行的用于解决最小化时间的方法。为了 运行无限数量资源，本文稍微修改了比较的算法。所用的 实验平台在Intel酷睿双核处理器，@2. 29GHz主频，4. 0GB RAM的台式机上，运用matlab2011b进行实验仿真，实验所用工作流数据从如下网站上下载：https: // confluence, pegasus. isi. edu/display/pegasus/WorkflowGe- nerator0

本文使用4种不同资源大小（#核数：1, 2, 4和8), 但是本文仅显示资源大小为8的实验结果，因为不同资源 大小实验结果存在相似性。工作流应用为CyberShake、

Epigenomics、LIG0

和 Montage,如图 3 所示，表 1 给出了

具体信息，节点间/资源带宽设为1 Gbps,每个工作流由 20个不同特性的变体组成，Epigenomics工作流痕迹包括额 外120个随机工作。3.2性能分析

本文根据完成时间的增加量（MI)、使用资源减少量 (RUR)、时间延迟限制和最终有效减少量（ER) 来评估实验结果，见表2,表2的描述如下：对于每个应 用，第一行中两个数字分别表示原始调度的时间和 合并（mf)后的时间，第二行表示每个应用时间增加比 (即圆括号中MI值），第三行是原始调度使用的资源数量 (I i?° I )和合并调度使用的资源数量（I i?' I )，第四行

• 2968 •

计算机工程与设计

2017 年

(c) LIGO (d) GyberShake

图3科学工作流

表1

科学工作流介绍

应用

#工作流

井一个工作中的任务工作数量

数量(工作流大小）

CyberShake22050&[100，1000]，间隔 100Epigenomics

44050，[100，1000]，间隔100且 {2000，3000，4000，5000，6000}LIGO22050&[100，1000]，间隔 100Montage

220

50&[100，1000]，间隔 100

是降低的使用资源量比（即圆括号中RUR)，第五行表示 延迟限制（^^)。

由表2所示，提出的MERR的MI平均程度为10. 5%， 得到54%的RUR，从而导致ER为43. 7%左右。可以看出 提出的MERR明显改进了 Montage的资源利用率，这主要 是因为这种工作流的结构，特定层或两层能并行运行许多 任务，从而导致过多使用资源。ER值是根据它们的原始输 出调度获取的，且这些调度算法的质量描述了不同算法之 间的差异。

为了进一步说明其有效性，本文通过手动设置多种不 同延迟时间限制的实验数据集进一步论证。结果如图4〜图 7所示。

对于CyberShake科学工作流，如图4所示，通过手工 设置延迟限制，随着延迟的增加，MERR完成时间较 CPTD、CPF和DCS都略低，在600 s-1000 s，且拥有较低

的使用资源数量。这是因为MERR是一种后处理技术，且 独立于调度算法。CPTD将任务图转化为相对应的产品加 工树，没有考虑在加工树中寻找关键路径时间消耗，其它 两种方法也类似。

对于Epigenomics科学工作流，根据时间增加比较，如

表2

各算法的平均性能结果比较

应用

CPTDCPFDCSMERR567,683566,681567,682684,806(21%)

(23%)(20%)(15%)CyberShake21. 0,9. 520. 9,9. 720. 8,9. 518. 7,6. 5(55%)(54%)(54%)(65%)24%24%24%23%20878,20876,20878,23634,27108

235772308329703Epigenomics

(30%) (13%) (11%) (6%) 40. 5,18. 731. 2,24. 430. 6,24. 940. 5,17. 0(55%)(22%)(18%)(59%)39%18%14%36%1398,1398

1398,14011398,13981420,1420(〇%)

(〇%)(〇%)(0%)LIGO

16. 2,14. 215. 4,13. 415. 6,14. 216. 2,14. 0(12%)(13%)(9%)(17%)2%1%0%0%212,241

212,242212,241231,255(14%)(17%)(14%)(7%)Montage

42. 0,11. 342. 0,11. 242. 0,11. 341. 3,10. 9(73%)(73%)(73%)(75%)18%

18%

18%

17%

图5所示，提出的MERR的资源使用量明显高于其它3种 算法的值。另外，完成时间方面也至少提高了 1〇〇〇 s。一

第38卷第11期 刘晓天，朱耀琴，顾大明：有效资源减少量最大化的云计算工作流调度 • 2969 •

_

^黩 90

2〇 溆15

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

^ ^成时N延迟限制

〇>)减少使川的资源故

-^MERR --^DCS —i—CPTD

—

CPF

图3 手工设置延迟限制的Epigenomics的性能比较

图6

手工设置延迟限制的LIGO的性能比较

般情况下，较差调度质量会使资源被无效的使用，导致许 多时间隙空闲。这4种方法根据关键路径任务截止时间给 其它任务分配子截止时间。然而，CPTD、CPF和DCS的

图7 手工设置延迟限制的Montage的性能比较资源利用率比较低，尤其是对于分布式资源。

对于LIGO科学工作流，从图6可以看出，CPTD、 CPF、DCS和提出的MERR的完成时间曲线基本重合，这

是由于LIGO工作流固有的性质所决定，即对于LIGO工 作流，调度的方法似乎并不是决定性因素，对于Montage 科学工作流，如图7所示，其性能提高更加明显。虽然最 大ER值根据特定MI值获取，但是没有MI值也可以获 取ER值（如图4〜图7)，即不需要MI的情况下， MERR获取平均RUR为12K,从图4〜图7可以看出， MI —般小于RUR，即RUR的斜率，特别是较小延迟限

制，明显大于MI的斜率。这是由于通过MERR获取了 较高ER值。3.3负载问题

除了 MERR的性能，本文也测M它的负载。在〗11访1酷 睿双核i3处理器，@2. 29GHz主频，4. 0GB RAM的台式 机上，MERR的实际运行时间几乎保持在毫秒水平（6 ms 到58 ms之间），忽略工作流类型。其实，负载依赖于合并 的程度。这种负载等级论证了 MERR改进资源使用率的能 力，科学工作流的执行时间常常是很多小时[1S]。

4结束语

本文提出了一种工作流调度优化算法，即有效资源减

少量最大化算法MERR，提出的算法能用于任何现存工作 流调度，这是由于该算法中存在|种后处理技术。它由3 个主要阶段组成，首先寻找最小时间增加与最大化资源减

• 2970 •

计算机工程与设计

IEEE Press, 2013： 219-226.

2017 年

少量之间的平衡点，通过合并任务和资源提高资源利用率。 通过4种实际科学工作流的实验结果论证了本文算法的有 效性。通过允许较小时间增加能有效减少资源使用量，提 高资源利用率。未来研究的重点是支持资源性能分析和其 它应用的工作流改进方法。

[8] XIE Zhiqiang, YANG Jing, ZHOU Yong, et al. Dynamic

critical paths multi-product manufacturing scheduling algorithm based on operation set [J], Chinese Journal of Computers, 2011，34 (2): 406-412 (in Chinese).[谢志强，杨静，周勇，

等.基于工序集的动态关键路径多产品制造调度算法[J].计

参考文献：

算机学报，2011，34 (2): 406-412.]

[9] XIE Zhiqiang, HAN Yingjie, QI Yonghong, et al. A schedu­

[1] Zhang F, Malluhi QM, Elsayed T, et al. CloudFlow： A da-

ta-aware programming model for cloud workflow applications on modern HPC systems [J], Future Generation Computer Sys­tems, 2014, 51 (4)： 98-110.

[2] Ganga K, Karthik S, A fault tolerent approach in scientific

workflow systems based on cloud computing [C] //Interna­tional Conference on International Conference on Pattern Recog­nition, Informatics and Mobile Engineering, 2013 ： 387-390.[3] YUAN Zhengwu, LI Junqi. Cloud resource scheduling based

on improved particle swarm optimization algorithm [J], Com­puter Engineering and Design, 2016，37 (2): 401-404 (in Chmese).[袁正午，李君琪.基于改进粒子群算法的云资源

调度[J].计算机工程与设计，2016, 37 (2): 401-404.]

[4] HAN Yingjie. Research on multi-core task scheduling based on

the key path of integrated scheduling [D]. Harbin： Harbin University of Science and Technology, 2014 (in Chinese).[韩

英杰.基于综合调度关键路径的多核任务调度研究[D].哈 尔滨：哈尔滨理工大学，2014.]

[5] CHEN Donglin, YAO Mengdi, LYU Qiuyun. Construction 〇£

scheduling system for cloud federation across multi-data center [J], Computer Engineering and Design, 2015，36 (2) ： 546­550 (in Chinese).[陈冬林，姚梦迪，吕秋云.云联盟环境下

跨数据中心的资源调度系统构建[J].计算机工程与设计，

2015, 36 (2)： 546-550.]

[6] Mao M, Humphrey M. Auto-scaling to minimize cost and meet

application deadlines in cloud workflows [C] //Conference on High Performance Computing, Networking, Storage and Anal­ysis, 2011： 1-12.

[7] Lee YC, Zomaya AY, Stretch out and compact： Workflow

scheduling with resource abundance [C] //Proceedings of the International Symposium on Cluster Cloud and the Grid. Delft：

ling algorithm for multi-core based on critical path and task du­plication [J], Journal of National University of Defense Tech­nology, 2014, 29 (1)： 172-177 (in Chinese).[谢志强，韩

英杰，齐永红，等.基于关键路径和任务复制的多核调度算法

[J].国防科技大学学报，2014, 29 (1): 172-177.]

[10] Lee YC, Han H, Zomaya AY. On resource efficiency of

workflow schedules [C] //Proceedings of the 14th Interna­tional Conference on Computational Science. Guimaraes ： IEEE Press, 2014： 534-545.

[11] LI Siyun. Matching and searching of workflow model [D].

Shanghai： Shanghai Jiaotong University, 2015 (in Chinese).[李思韵.工作流模型的匹配与查找[D].上海：上海交通

大学，2015.]

[12] Zhan ZH, Liu XF, Gong YJ, et al. Cloud computing re­

source scheduling and a survey of its evolutionary approaches [J]. ACM Computing Surveys, 2015, 47 (4)： 1-33.

[13] ZHANG Yuan, ZHANG Yunyong, FANG Bingyi. A kind 〇£

openstack auto-deployment architecture based on workflow [J], Telecommunications Science, 2014，30 (11): 14-21 (in Chinese).[张园，张云勇，房秉毅.一种基于工作流的

云系统自动化部署架构[J].电信科学，2014，30 (11):

14-21.]

[14] LI Ming, WU Yue, CHEN Jia. Cloud resource scheduling

based on semantic search engine [J], Application Research of Computers, 2015, 32 (12)： 3735-3737 (in Chinese).[黎

明，吴跃，陈佳.基于语义搜索引擎的云资源调度[J].计 算机应用研究，2015，32 (12): 3735-3737.]

[15] Wang S, Du Z. Dispersion cloud resources scheduling based

on mobile agent [J], Journal of Computational Methods in Sciences

Engineering, 2016，16 (2) ： 303-316.