管理科学 ・ｌＯ９・ 国内外电子资源服务绩效评估指标体系分析 刘翠英王振良韩剑虹李丽燕薛梅季双琪杨枫孙婧 （唐山学院，河北唐山０６３０００） 摘要：介绍了电子资源服务绩效评估的内涵及国内外自２０世纪９０年代以来开展的电子资源服务绩效评估研究项目、制定的相关 指南／标准、公开发表的相关文献以及取得的初步成果，并就电子资源服务绩效研究中的重要问题进行了评析。 关键词：电子资源；资源服务；绩效指标 ２０世纪９０年代以来，电子资源在图书馆预算中所占的比重越 了一些与电子资源使用统计相关的问题。 来越大，以ＡＲＬ的成员馆为例，２０００—２００１年，ＡＲＬ成员馆在电子 国际图书馆统计数据标准ＩＳ０２７８９（２００３）。由于电子资源及电 资源方面的投入从３．６％升到１６．２５％，几乎是１９９２—１９９３年的五 子服务在图书馆中所占的比例越来越大，ＩＳＯ的年的修订版中增加 倍。我国的相关统计显示，一些地区的图书馆其电子资源的购买经 了一个附录Ａ：电子图书馆服务使用评价。标准指出了图书馆电子 费已达到总经费的３０％左右。随着图书馆购买电子资源的数量增 信息资源和电子服务需要收集的数据元素，并对每个统计指标进行 多，以及电子资源的使用在图书馆服务中占据着越来越重要的地 了定义，说明了它们是如何收集的。 位，电子资源使用绩效的问题也受到了人们重视。 ＣＯＵＮＴＥＲ国际项目成立于２００２年３月。它的目标是研制一系 １电子资源服务绩效评估的内涵 列普遍接受的、国际化的实施规范，用于管理不同种类的电子资源 评估始于２０世纪初，原本是企业管理的一种工具，包括个人评 的使用数据。至２００６年３月，ＣＯＵＮＴＥＲ已发布了四大类电子资源 估与组织评估。１９１６年，西方古典管理理论的先驱、法国古典管理 （电子期刊、数据库、电子图书、参考工具书）的使用统计规范，主要 理论学家亨利・法约尔（Ｈｅｎｒｉ Ｆａｙｏ）发表了《工业管理与一般管理》 包括在线使用数据的定义、数据收集报告的原则以及数据传递的格 这部划时代的巨作，把评估从企业推广到各种人类组织。 式等内容。ＣＯＵＮＴＥＲ规范是目前电子资源在线使用统计研究取得 电子资源的服务绩效是客观存在的，集中体现在其被使用的结 的最重要的成果。 果，如在某一时间段内被使用了多少次，有多少人使用过它，被下载 国际图书馆联盟（ＩＣＯＬＣ）的研究，国际图书馆联盟于１９９８年制 过多少篇文献（或记录）等。如果再深入地谈可以是电子资源使用给 定的《基于Ｗｅｂ的索引、文摘及全文资源的使用统计评价指标指 机构带来的成绩和效益（社会效益和经济效益），由于电子资源使用 南》提供了一套网络化信息资源使用的绩效测度指南。并于２００１年 后带来的效益包括当前效益和潜在效益，例如高校图书馆电子资源 １２月和２００６年９月进行了两次修订。该指南规定了对每种电子资 的服务给机构带来的效益，可以表现在科研成果创新中，也可能表 源必须统计的数据：登录数、检索数、浏览的次数、使用全文的数量。 现在教师通过使用电子资源的课堂教学中，不容易量化，具有间接 图书馆和信息资源协会（ＣＬＩＲ）的相关研究，ＣＬＩＲ于１９９９年至 性。无法量化的绩效就无从谈起，更谈不上评估。评估是指为达到一 ２０００年展开了一项关于网络数据使用的统计的研究项目，成果是 定目的，运用特定指标，对照统一的标准，采用规定的方法，对事物 关于电子期刊使用统计的白皮书（Ｗｈｉｔｅ Ｐａｐｅｒｏｎ Ｅｌｅｃｔｒｏｎｉｃ Ｊｏｕｒｎａｌ 做出价值判断的一种认识活动，也是行政管理的一种重要步骤和方 Ｕｓａｇｅ Ｓｔａｔｉｓｔｉｃｓ）。它综述了当前收集的电子统计指标和它们如何被 法。 收集，以及图书馆员在接受和熟悉其统计收集过程之前需要解决的 ２国内外电子资源服务绩效评估指标体系分析 问题。 ２．１国外电子资源服务绩效评估指标体系分析 美国国家图书馆和信息学委员会（Ｎａｔｉｏｎａｌ Ｃｏｍｍｉｓｓｉｏｎ ｏｎ Ｌｉ— ２０世纪９０年代中期以来有关数字馆藏的使用统计及服务绩 ｂｒａｒｉｅｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ，ＮＣＬＩＳ）一直从事在线数据库使用 效评价的问题引起了国际图书馆界及专家的高度关注，开展了很多 统计和报告机制的标准化方面的工作，其活动以公共图书馆为背景， 这方面的研究。 该组织到目前已经召开了四次研讨会来讨论网络绩效评估问题。 图书馆电子服务的绩效评价和质量管理的绩效指标体系（Ｅ— １９９７年召开的第６３届ＩＦＬＡ Ｇｅｎｅｒａｌ Ｃｏｎｆｅｒｅｎｃｅ上，Ｐｅｔｅｒ Ｙｏｕｎｇ提 ＱＵＩＮＯＸ Ｐｒｏｊｅｃｔ）由欧洲委员会资助。该项目为期两年，完成于２０００ 交的大会论文中涉及了图书馆电子资源绩效评估的定义、面临的问 年１１月，主要致力于为欧洲学术图书馆的网络资源和服务制订绩 题和挑战等内容。 效指标。ＥＱＵＩＮＯＸ得出的图书馆电子资源使用绩效评价体系包含 ２．２国内电子资源服务绩效评估指标体系分析 １４个指标，分别反映了电子资源的使用、费用、配套设施、用户培 ２Ｏ世纪９０年代中期，国内关于电子资源使用和绩效评估研究 训、用户满意度等。尽管当前ＥＱＵＩＮＯＸ已经完成，但与其相关的研 才刚刚兴起，其研究成果大多是个人经验的总结和设想。同时也包 究仍在进行中，并在ＥＱＵＩＮＯＸ网站（ｈｔｔｐ：／／ｅｑｕｉｎｏｘ．ｄｃｕ．ｉｅ／）提供新的 含少量基金资助的研究，比较重要的有：国家社科基金项目“数字馆 研究成果和相关新闻。 藏质量评价与绩效分析”、国家自然科学基金项目“电子资源在线使 美国的研究图书馆协会（ＡＲＥ）的Ｅ—ｍｅｔｉｒｃｓ项目。项目的研究任 用统计与绩效评估”以及清华大学图书馆牵头的、由１２所工科高 务由佛罗里达州立大学的信息使用管理及政策研究所（Ｉｎｆｏｒｍａ— 校制定的《高校图书馆数字资源评估指标》等。２０世纪９０年代后 ｔｉｏｎＵｓｅＭａｎａｇｅｍｅｎｔ ａｎｄ Ｐｏｌｉｃｙ Ｉｎｓｔｉｔｕｔｅ）来承担，Ｅ—Ｍｅｔｒｉｃｓ项目开始 期，图书馆的管理者逐渐改变以往的经营理念和意识，吸取和借鉴 于２０００年５月，终止于２００１年１２月，有２４个ＡＲＬ的成员馆参加 国外同行的经验，强调图书馆业务“效能”与“效率”的评价，着力于 了此项目，项目分三个阶段进行。目的在于建立电子资源评估框架 图书馆绩效评价的理论探索和实践工作，形成了新一轮的研究热 结构，了解各种资源对图书馆的效益影响，使学术图书馆更好地管 潮。公共图书馆和高校图书馆普遍开展了绩效评估工作，取得了一 理网络信息资源，高效地发挥网络信息资源的作用。 定的成果，并相继出台和制定了各系统的评估指标体系和实施办 美国国家信息标准组织（ＮＩＳＯ）的图书馆统计标准ＡＮＳＩ／ＮＩＳＯ 法。比较重要的有：《全国公共图书馆评估文件》、《普通高等学校图 Ｚ３９．７。标准于１９６８年制定，２００２年７月，ＮＩＳＯ颁布了图书馆统计 书馆评估指标体系》、《国家图书馆绩效评估指标体系》以及《国家图 标准草案Ｚ３９．７并增加了电子资源评估的内容。２００４年颁布的 书馆业务考核办法》等。这些研究大多结合本馆实际进行评估改革， Ｚ３９．７更全面地反映了电子资源及其服务的统计和绩效指标，这个 侧重点和改革范围与幅度大小不一，其中２００１年国家图书馆制定 版本的Ｚ３９．７还有一个附录Ｂ为“测量数字图书馆的使用”（Ａｐ— 的《国家图书馆绩效评估指标体系》最全、最细，最具有代表性、权威 ｐｅｎｄｉｘ Ｂ．Ｍｅａｓｕｒｉｎｇ ｔｈｅ Ｕｓｅ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｌｉｂｒａｒｙ Ｓｅｒｖｉｃｅｓ），它阐述 性。 基金项目：２０１１年度河北省教育厅高校人文社会科学研究项目（项目编号：ＳＺ２０１１８０４）。 作者简介：刘翠英（１９７５一），女，硕士研究生，馆员，研究方向：信息管理。 ・ｌ１０・ 管理科学 国内学者韩红，朱江等人撰写的《清华同方（ＣＮＫＩ）与重庆维普 ［４］张宏玲．国外数字馆藏使用及服务绩效评价指标体系述评『Ｊ］．大学 （ＶＩＰ）网络版中文期刊全文数据库的比较研究》在对《中国期刊全文 图书馆学报，２００５（６１：６３－６９． 数据库》与《中文科技期刊全文数据库》的收录范围、检索方法进行 【５】张文彦．欧美图书情报机构虚拟信息服务评估指标研究综述ＩＪ１－图 比较的基础上，以流量计费的方式对两大数据库的检索方法以及全 书情报工作，２００５ｆ４）：１２８—１３０． 文下载的速度、费用和结果进行了分析，是数字资源对比研究的一 【６］ＥＱＵＩＮＯＸ Ｌｉｂｒａｒｙ Ｐｅｒｆｏｒｍａｎｃｅ Ｍｅａｓｕｒｅｍｅｎｔ ａｎｄ Ｑｕａｌｉｔｙ Ｍａｎ— 篇代表文献。肖珑和张宇红提出的“电子资源评价指标体系”较为全 ａｇｅｍｅｎｔ Ｓｙｓｔｅｍ．ｈｔｔｐ：／／ｅｑｕｉｎｏｘ．ｄｃｕ．ｉｅ，２００３，４，２． 面科学。他们对评价的作用与意义、评价的原则与方法、评价的内容 ［７］ＡＲＬ Ｅ—Ｍｅｔｒｉｅｅｓ．（２００６－１－１５）．ｈｔｔｐ：／／ｗｗｗ．ａｒ．１ｏｒｇ／ｓｔａｔｓ／ 等方面进行了论述，给出了电子资源内容、检索系统及功能、使用情 『８］Ｚ３９．７ Ｉｎｆｏｒｍａｔｉｏｎ ｓｅｒｖｉｃｅ ａｎｄ ｕｓｅ：Ｍｅｔｉｒｅｓ＆ｓｔａｔｉｓｔｉｅｓｆｏｒ ｌｂｒａｒｉｅｓ 况、价值与成本核算、出版商／数据商服务、存档６个方面的评估内 ａｎｄ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｖｉｄｅｒｓ—ｄａｔａ ｄｉｃｔｉｏｎａｒｙ． ｆ２００５一ｌ １—２５）．ｈｔｔｐ：／／ ｅｍｅｔｒｉｅｓ／ｃｕｒｒｅｎｔ／ｃｏｍｐｌｅｔｅ．Ｈｔｍｌ 容和指标。其基本思路也是电子资源利用率与成本核算。令人遗憾 ｎｉｓｏ．ｏｒｇ］的是最终并未形成系统的评价指标体系。索传军（２００４）在分析国外 ｆ９］ＩＳＯ Ｉｎｆｏｍａｔｒｉｏｎ ａｎｄ Ｄｏｃｕｍｅｎｔａｔｉｏｎ—Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｂｒａｒｙ Ｓｔａｔｉｓ— 电子资源研究的现状之后，进一步分析了国内电子资源中存在的问 ｔｉｃｓ．Ｓｗｉｔｚｅｒｌａｎｄ，ＩＳ０２７８９２Ｏ０３ｆＥ１：３５—４３． 题，并提出解决方法。李枫林（２ｏｏ８）对国外具有代表性的电子服务 ［１０］Ａｂｏｕｔ ＣＯＵＮＴＥＲ．Ａｖａｉｌａｂｌｅ ａｔ：ｈｔｔｐ：／／ｗｗｗ．ｐｒｏｊｅｃｔ—ｃｏｕｎｔｅｒ．ｏｒｅ，／ 质量评估模型进行综合介绍，进一步提出适用于数字图书馆服务质 ａｂｏｕｔ．ｈｔｍｌ，２００３，６，７． 量评估维度的是环境质量、过程质量及结果质量。于良芝（２００５）以 『１ １］ＩＣＯＬＣ Ｇｕｉｄｅｌｉｎｅｓ ｆｏｒ Ｓｔａｔｉｓｔｉｃａｌ Ｍｅａｓｕｒｅｓ ｏｆ Ｕｓａｇｅ ０ｆｗｅｂ— 我国北方三所大学的用户调研为依据，通过对ＳＥＲＶＱＵＡＬ质量测 Ｂａｓｅｄ Ｒｅｓｏｕｒｃｅｓ ｆ１ ９９８）．Ｄｅｖｅｌｏｐｅｄ ｂｙ ＪＳＴＯＲＷｅｂ Ｓｔａｔｉｓｔｉｃｓ Ｔａｓｋ 量的信度、效度、标准方差等定量指标的考察，分析ＳＥＲＶＱＵＡＬ在 Ｆｏｒｃｅ ｆｕｓ）．Ａｖａｉｌａｂｌｅ ａｔ：ｈｔｔｐ：／／ｗｗｗ．１ｉｂｒａｒｙ．ｙａｌｅ．ｅｄｕ／～ｋｐａｒｋｅｒ／ ＷｅｂＳｔａｔｓ．ｈｔｍｌ，２００３。４。１２． 我国高校图书馆的实用性。唐琼，肖希明提出了数字资源利用绩效 的评价框架，重点分析其主体构成，即产出评价、成本一收益分析、 【１２］Ｌｕｔｈｅｒ Ｊｕｄｙ（２０００）．Ｗｈｉｔｅ ｐａｐｅｒ ｏｎ ｅｌｅｃｔｒｏｎｉｃ ｊｏｕｒｎａｌ ｕｓ－ａｇｅ ｉｓｔｉｃｓ Ａｖａｉｌａｂｌｅ ａｔ：ｈｔｔｐ：／／ｗｗｗ．ｃｌｉｒ．ｏｒｇ／ｐｕｂｓ／ｒｅｐｏｒｔｓ／ｐｕｂ９４／ｃｏｎ— 效用评价和用户满意度四种评价方式的基本原理、开展方法及在实 ｓｔａｔｅｎｔｓ．ｈｔｍｌ，２００３，４，１２． 践中的应用情况。由此可知，数字资源指标体系的研究仍然以定性 ｔ指标为主，定量性指标太少不成体系，缺乏可比性；即使是定量化指 『１３］ＮＣＬＩＳ（Ｕ．Ｓ．Ｎａｔｉｏｎａｌ Ｃｏｍｍｉｓｓｉｏｎ ｏｎ Ｌｉｂｒａｉｒｅｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ 标也因没有确定同样的比较单位和环境，事实上也造成了定量指标 Ｓｃｉｅｎｃｅ）．Ｓｅｅ ｗｅｂｓｉｔｅ：ｈｔｔｐ：Ｈｗｗｗ．ｎｃｌｉｓ．ｇｏｖ／ｓｔａｔｓｕｒｖ／ｓｔａｔｓｕｒｖ．ｃｆｍ．２００３１ 的不可比性。 结束语 ５／１２ 【１４］Ｙｏｕｎｇ，Ｐｅｔｅｒ Ｒ．（１９９７）．Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｓｅｒ—ｖｉｃｅｓ ｉｎ ｉｅｓ：Ｓｔａｔｉｓｔｉｃｓ ｆｏｒ ｔｈｅ Ｄｉｇｉｔａｌ Ａｇｅ．６３ｒｄ ＩＦＬＡＧｅｎｅｒａｌ Ｃｏｎｆｅｒ－ 虽然２０世纪９Ｏ年代中期以来，各国和国际组织开展了一系列 Ｌｉｂｒａｒ有关电子资源绩效评估的研究项目，召开了一些国际会议、学术讨 ｅｎｃｅ Ｐｒｏｇｒａｍｍｅ ａｎｄ Ｐｒｏｃｅｅｄ—ｉｎｇｓ．Ａｖａｉｌａｂｌｅ ａｔ：ｈｔｔｐ：／／ｗｗｗ．ｉｆｌａ． 论、制定了相关标准和指南，这些努力已经取得了一定的阶段性成 ｏｒｇｙ ＩＶ／ｉｌｆａ６３／６３ｙｏｕｐ．ｈｔｍ ２００３，４，１２． 果，由于相关信息技术发展十分迅速，造成了当前电子资源服务绩 【１５１韩红，朱江等．清华同方（ＣＮＫＩ）与重庆维普（ＶＩＰ）网络版中文期 效评估面临诸多困难，还需国际和各国的许多相关组织和机构通过 刊全文数据库的比较研究［Ｊ】．现代图书情报技术，２００３（６）：６１—６４． 不懈努力战胜目前的困难并且为图书馆界提供一套核心的测度来 【１６］肖珑，张宇红．数字资源评价指标体系的建立初探ｌＪ】．大学图书馆 展示其绩效。 学报，２００２（３）：３５—４２． 参考文献 【１７】索传军．论数字资源评价，评估研究【Ｊ】．图书情报工作，２００４（１１）： 【１］Ｊｕｌｉａ Ｃ．Ｂ．Ｍｅａｓｕｒｅｓ ｆｏｒ Ｅｌｅｃｔｒｏｎｉｃ Ｕｓｅ：Ｔｈｅ ＡＲＬ Ｅ－Ｍｅｔｉｒｃ Ｐｒｏ— ７９－８２．１８】李枫林，李娜．电子服务质量评价及其在数字图书馆中的应用【Ｊ］． ｊｅｃｔ．［２００４ ０３ ０１１．ｈｔｔｐ：／／ｗｗｗ．ａｒ１．ｏｒｇ／ｓｔａｔｓ／ｎｅｗｍｅａｓ／ｅｍ－ｅｔｉｒｅｓ／ 【ＢｌｉｘｍｄＩＦＬＡ．ｐｄｆ 图书情报工作，２００８（９）：４４—４６，８１． 【２］Ｃａｍｂｅｌｌ Ｊ Ｐ，Ｍｃｃｌｏｙ Ｒ Ａ，Ｏｐｐｌｅｒ Ｓ Ｈ，Ｓａｇｅｒ Ｃ Ｅ Ａ．Ｔｈｅｏｒｙｏｆ 【ｌ９］于良芝，王雅尊，洪秋兰．ＳＥＲＶＱＵＡＬ与我国高校图书馆服务质 Ｐｅｒｆｏｒｍａｎｃｅ．Ｐｅｒｓｏｎｎｅｌ Ｓｅｌｅｃｔｉｏｎ ｉｎ Ｏｒｇａｎｉｚａｔｉｏｎｓ．ＳａｎＦｒａｎｃｉｓｃｏ：Ｊｏｓｅｙ－ 量评价［Ｊ］．图书情报工作，２００５（６）：９０—９４． Ｂａｓｓ：１９９３：３５—７０． 【２０１唐琼，肖希明．关于数字资源利用绩效评价框架的探讨［Ｊ］．图书情 ［３】【法】亨利・法约尔著，迟力耕，张璇译．工业管理与一般管理【Ｍ］．北 报工作，２００８（５）：６６—６９． 京：机械工业出版社，２００７． ＿． （上接１６９页）设置要突出差异性。各学科根据本学科的特点和 要的专业修补课程，以加强跨专业研究生的专业基础，以利于后继 社会需求及研究生个体，不断调整培养方案和教学思想，在课程设 学习和研究的深入。 置方面不断创新，以满足社会发展多元化和研究生个性化的需要。 研究生课程体系改革与创新任重道远。构建有利于增强研究生 ３．２保障课程体系层级性 适应能力和创新能力，提高研究生培养质量的研究生课程体系，是 研究生课程的设置应考虑本科生、硕士研究生、博士研究生的 深化研究生教育改革的必然要求，也是摆在广大研究生教育工作者 层次性、连续性和系统性。根据研究生教学的研究性目标指向和课 面前的重要课题和任务。 程以研究来组织的教学理念，针对不同层次、不同学科研究生培养 参考文献 对课程体系设置的要求，统筹考虑本、硕、博三个层次的知识、能力、 【１］罗尧成．我国研究生课程体系研究［Ｄ】．上海：华东师范大学教育科 素质要求，注重三个过程的课程体系和教学内容的衔接，避免课程 学院，２００５． 内容的简单重复，实现课程的一体化设计。 【２］谢安邦．构建合理的研究生教育课程体系［Ｊ】．高等教育研究，２００３ （５）：７０． ３．３优化教学内容 ，教学内容是随着科学技术的进步和社会的发展而不断变化的， 【３】张春元．关于制定研究生培养方案的几点思考【Ｊ】．高等教育研究学 因此应不断更新完善，符合不断变化的人才培养模式的要求。首先， 报，２００９（１）：８０—８２． ４】杨小莉．硕士研究生课程体系设置问题探索【Ｊ］．技术与创新管理， 整合已有的知识体系和教学内容，删掉重复或内容陈旧的课程，合 【并相近课程。其次，增设跨学科课程和符合社会需求的课程，发挥多 ２００７（４）：８３—８５． ５】包迪鸿，江雪梅，黄勇．完善我国研究生课程教学的思考与研究【Ｊ１ ．学科交叉的综合优势，以适应科技发展的综合化和人才培养复合化 【的趋势。第三，增设一些前沿性、前瞻性的教学内容，引领研究生了 黑龙江高教研究，２００５（６）：１２２—１２３． 解本学科的前沿动态，开阔思路，使学生在汲取知识的同时得到创 ［６】陈花玲，仇国芳，王俐，王琳．改革研究生课程体系培养研究生创 新能力的培养。最后，针对跨专业入学的研究生，增设最基本、最必 新能力ｌＪ１．学位与研究生教育，２００５（６）：２６—２９．
