基于效度与信度理论对陕西省专升本英语考试改革的优势分析

【高职教育教学】

陕西青年职业学院学报

JournalofShaanxiYouthVocationalColleeg

NO．１

２０２０

基于效度与信度理论对陕西省专升本

英语考试改革的优势分析

()西北大学　陕西西安　７１００２７

杜兴雨　苏　蕊

摘　要:本文立足陕西省专升本英语测试中用语知和词汇题取代完形填空题型这一变化,以２００９到２以实证分析和数据对比作为研究手段,从信度０１９年间十一份专升本英语试题作为观察对象,与效度出发,探讨了试题改革后的相关变化,从而得出改革后的专升本英语试题在效度和信度上有了一定提升这一结论.通过这一分析,以期能为专升本英语科目的试题和选项设计提供一定参考.关键词:专升本英语;信度;效度;完形填空

()中图分类号:G７１２　　　文献标识码:A　　　文章编号:２０２００１－２７－０５

引言

陕西省专升本考试实施于２在过去１００１年,９

(,如表一所示)从效度和信度理论角度来分析改革后的专升本英语测试优势所在.

表一:

改革前

语知与词汇阅读理解完型填空英汉翻译英文写作共计

４０５０２０２０１５０２０

改革后６０５０２０１５０２００

年里,诸多大专院校考生通过参加该考试从而获得陕西省专升本考试报名人数和招生规模有了显著提升,专升本考试的关注度也随之逐渐获得广泛关注.根据陕西省考试院的要求,文史、艺术类考生需参加“大学英语”和“大学语文”科目考试,而理工类则需参加“大学英语”和“高等数学”的测试.由此可得,英语考试科目在三门考试中受众面广、普及度高,成为了专升本考试体系中最重要的组成部分.

陕西省专升本英语考试主要由２０１７年以前,

、、五部分构成:语知(阅读(完形填空４０分)５０分)

了继续接受教育、取得学士学位的机会.近年来,

效度是语言测试中的两个基本问题.信　　信度、

)度(是评判测试分数能否准确反映出考reliability)则用来评判一项测试或一道试题能否有效测ity

试某一考点、能否考察应试者对某一特定知识点的

]１

.任何考试体系在设计考题时都必须掌握情况[

生实际水平和知识掌握能力的标准,而效度(validＧ

(、、.然而,翻译(作文(自２２０分)２０分)２０分)０１８

年起,完形填空部分被取消,取而代之的是语知分值从４０分提升至６０分.本文针对这一题型变化

收稿日期:２０２０Ｇ１Ｇ１０

要兼顾试题的信度和效度.效度与信度一直以来

,作者简介:杜兴雨(男,广西桂林人,西北大学英语语言文学硕士研究生,研究方向:教学实践.１９９５－)

—),苏蕊(女,陕西西安人,西北大学外国语学院英语系主任、副教授,硕士生导师,研究方向:教学实践与教学法.１９７５

２８

基于效度与信度理论对陕西省专升本英语考试改革的优势分析

都是测试学领域的热点研究,但信度研究相对较少,效度研究偏多.此外,大部分测试学着眼于中高考、四六级、四八级或大学生英语竞赛等普及度和知名度较高的考试体系,对相对小众的专升本考试的关注度较低.本文从效度和信度角度分析陕西省专升本英语测试改革中用语知取代完形填空这一改革,不仅能观照该变化的合理与否,更反映出改革后对该项测试可信度以及有效性的优势所在,为专升本考试的试题设计合理化提出建议.

二、完形填空题型的“信度”分析

如果在难度大致相当但语篇不同的完形填空测试中,某一学生能得到大致一样的分数,则说明完形填空的信度较高,反之则为不高.本文以西北大学职业技术学院A同学在某一时间段内对２００９到２０１７年专升本完形填空的答题情况为参照数据,进而分析完形填空的信度问题:

表二:

一、完形填空的意义与争议

完形填空(验文章的母语可读cloze性pr,o即ce在du删re

去)设计之初是为了检部分词组之后,母语阅读者依然能根据上下文逻辑关系和语用习惯来推测出被删减掉的词组.但不久之后,该命题技巧就被应用于外语测试领域.其中的格式塔心理学(GestaltPsychology

cloze来源于

“形式”或者“完形”

.完形填空因此而得名),意为[“２]形状.”、完形填空文本的选取需要综合多方面的因素,

不仅要考虑题材和体裁,更要注重难度、长度的控制和其中的遣词造句.在上述要点都契合考试要求的前提下,该语篇才适用于完形填空.选取语篇后,命题者还需要结合考生平均知识水平,有目的地删减一些词语,并在下放给定的四个选项中选择合适的答案来进行填充,从而使文章的句法和结构

恢复完整[３

]语法、词组固定搭配.可以说、,词完形填空可用来考察学生对

汇量和阅读理解等多方面的知识掌握情况.

然而,完形填空引发了测２０１５年公共英语四六级考试率先取消

试学界对该题型的再审视.而陕西省专升本英语考试也在两年后正式取消该题型.以陕西省２００９到２０１７年间的９份完形填空试题来看,该部分存在一系列不足,被语知和词汇题所取代具有一定的必要性.首先,为了增加考试公平性,陕西省专升本英语命题组为非英语专业和英语专业的考生设计了难度系数不同的完形填空,而这也是考卷中唯一使用分别命题的部分.然而,这一分别命题在,足见完形填空部分的争议性２０１６、２０１７又被修正为统一命题,几经变化.本文即着眼于完形填空的语篇选择、选项设计、出题顺序等方面存在的问题,剖析其信度和效度的高低,以及被语知和词汇题所取代的必要性.

年份

文本主题

最后得分２００９１５０年前英国社会的贫富差异(社会科学)

８/２０２０１０八十岁的琼斯太太开车依旧眼神很好(２幽默故事)

１１/２０兴趣爱好的益处(社会科学)２００１１１２１９３//２２０

男女购物习惯的差异(心理学)０２０１３大学生是否应该选择热门专业(社会问题)

１２/２０２没有牙齿的老妇人(幽默故事)２０１１吝啬鬼琼斯先生的偶遇(某故事节选)２００１４１５６１４/为父亲洗梳子(家庭情感)

８１//２０２２００２０１７

我童年时代的一次舞蹈表演经历(回忆故事)

９/２０

　　通过该生的答题得分情况可以看出,

在试题难度大致相等的情况下,考生对于自己相对熟悉且日常化的话题可使正确率超过话题如外国社会变迁等,则正５０确％率,低而于面对陌生的该生对情况可以反映出２０１６、２０１５０％.而,７年试题中完形填空部分的作答在取消英语专业与非英语专业的区分命题后,完形填空难度系数有了明显提升,导致在未涉及专业话题的情况下,考生的作答正确率也很难超过通过以上数据可知５０％.

,左右考生分值变化的因素

是其对话题和专有名词的理解程度;考生一旦未能把握文章情节脉络,必然会导致大面积失分的现象.反之,考生在完成作答过程中一旦对后续情节有所洞悉,就可以大致猜出后续问题的答案.例如:unc２h０,１f４年完形填空中,

文章第一段就出现了astfoodr即使est不aur看an文t,章m足见文中中ea间l等词,夫妻是在进餐,部分,也可答出文末第７６问中:whenhewas____hismouthwithl基于效度与信度理论对陕西省专升本英语考试改革的优势分析

２９

intouchingD．g从文章开头便可推测出此时应是,饭后,且有n则一定是“擦嘴”因此选akin随后,p择了A选项.这就是应试者在掌握文章脉络后进

anakin．选项为:A．wiinwashinbathＧppgB．gC．年级的应届毕业生,国家教委在２高００６年颁布的«“普通高等专科英语的教学目的是让学生掌握必需的、基本的、实用的英语语言技能.此外还需要具

[]４”备阅读与翻译本专业英文资料的初步能力.可

职高专教育英语课程教学基本要求»中明确指出:

.这道题正确率极低,因为大部分人根据“狄lend更斯不得不去工厂打工”这一信息误断出“其父亲,是因花销过多,所以需要儿子去打工挣钱”从而选thanheearned．A．costB．sendC．wasteD．p

’Dickensfatherwasaclerk,whousedto___more

行的推测.反之,在２００９年完形填空的第７９题,

以看出,对于高职高专学生的语言培养偏重于日常交际和涉外业务等技能.与«基本要求»相匹配的高等学校英语应用能力考试A级(原大学三级考试)的阅读材料选取也偏重于应用文和说明文.因此,作为高职高专学子的升学考试,也应将测试重了A选项.而实际上狄更斯的父亲是因为无力偿还外债而被投进了监狱.这就是不熟悉故事情节或未把握文章脉络,仅仅根据碎片化推断做题的结果.

由此可知,在专升本完形填空中,存在诸多干扰应试者正常发挥水平和依靠非正常推理来做题的情况,因此,考生所得的分数会发生较为明显的波动,测试结果具备的一致性与可靠性不高,从而导致测试结果不可信.比如,某考生在熟悉某语篇的情况下可以通过非正常手段来对某些问题进行作答,而一旦缺乏对某些知识的了解时,又往往会在认识选项词汇的情况下答错.此外,英专与非英专考生无区别命题后,导致了对非英专考生的超纲考察,失分程度显著上升,因此其测试结果同样不具备原有的参考价值.

三、完形填空题型的“效度”分析

效度分析是评价试题质量高低的首要标准,通过效度分析可以检验出某试题在多大程度上检测出了要测量的目标物.效度分析应用在测试学上,即用于观照一份试题能否较好地完成其预期设置的任务,能否考中命题者期望测试的知识点.完形填空是一种命题灵活的阅读理解题,它在基于应试者对语篇的正确理解前提下,进一步考察其词汇的灵活运用能力以及语法的掌握能力.因此,完形填空是一项测评考生综合语用能力的考试手段.然而,由于文本选择、选项设计以及题型顺序安排等多方面因素,专升本英语试题中完形填空部分的效度不佳.本文即从上述三个方面来说明导致效度不佳的具体体现.

(一)文本选择方面

专升本应试对象主要是本省高职高专院校三

点放在大纲侧重的应用文和说明文上.

然而,通过表一列举的从填空的文章主题可以看出,涉及应用文和说明文的２００９到２０１７年完形

比重相对较少,大部分属于日常交际的范畴.对于应试者而言,专业性强的说明文难以兼顾和涵盖所有专业,对受众为专业不同的考生而言会带来一定的不公正因素;而对于命题方而言,应用文和说明文比普通文本更难满足同时考察语法、词汇和阅读理解三方面的要求.因此,既要使文本契合专升本考生实际需求,又要达到命题目的,无形中增加了命题的难度.

(二)试题选项设计的科学性

完形填空的出题模式大致有三种,即固定比例删词填空(词填空(TheFixedRatioMeth、变化比例删完形填空Th(eV为２１世纪以来普遍ThearMiaubllteRiatioMethoodd))

以及选[５]

择采p

l用e－c的类hoi型ce,选Me择th型od完)型.型填作空不仅被专升本英语测试所采用,更成为了各大英语语言测试体系的常见题型.但选择型完型填空面临着多项选择同样的问题,即选项是否合理,能否有效避免被考生通过其它途径缩小选择范围或直接锁定答案的情况.这一问题并非陕西省特有,邻省河南也有相关学者对选项设计设计的科学性进

行过研究[６

]省专升本完形填空命题中出现的选项设计失误.基于这一疑问,本文列举两例在陕西

,从而反映了由于选项设计导致该题型效度降低的情况.

首先,选项设计必须要体现一定的考察目的.在mich２０p０e９年完形填空第ole．,选项为６A．２题Therewerea___very第一次工业革命时any.p根据文章情节可知．．li期,新兴,t１tleB．muchC．fewD．资５０年前的英国正处于产阶级崭露头角,成

r３０

基于效度与信度理论对陕西省专升本英语考试改革的优势分析

为了英国社会的新贵,但同时也拉大了社会的贫富差距,加深了社会阶级的分化与矛盾.因此可知富人是少数.该题一方面考察了考生对文章大意的阅读理解能力,通过阅读上下文,可以判定答案是“.另一方面也考察了“人多”还是“人少”alittle后//语中没有am只有manmuch的表达方式,anyy

因此部分考生即便没能读懂,也能mucha的用法,够直接越过理解层面,从语法层面上将此题答案范围缩小在A和C之间.这就是由于选项设计不佳接不可数和a这一知识点.然而英few后接可数”

英语科目得分率普遍偏低的现象,也使得上线人数不足招生计划人数的情况加剧.

本文列举了近四年来陕西省专升本的报录数据,如表三所示:

表三:

年份２０１６２０１７报考人数１３０１２１３９３６增幅４．８１％６．９０％

计划招生人数８５１７８９４９

实际录取人数６９６４７３５１

实录/计划录取８１．７６％８２．１４％而违背了出题者的初衷、影响了试题效度.

此外,在设计选项中要尽量保持选项的形式、长度和词性一致,以免给考生不必要的暗示(如“三长一短必选短、三短一长必选长”等),从而影响了试题的效度.在专升本完形填空部分,诸多选项设计没有有效规避选项形式、长度或词性不一致的情况,而这种情况大多是由于命题方在设计选项过程中单纯将原文中被删减的词直接还原成正确选项,尔后在设计干扰项的过程中没有与正确选项保持一致所导致的.

典型的例子如题:Anyone,richor２０p１o１年非英专完形填空第or,oldoryoung

,sicko７５roeslilti,ocnan,ofrolilnocwaomesa．tisfyinghobby,____hisag

e,piteA．此题前三个ofD．intrheecg

aradseofB．intheeventofC．in

选le项ss为of干扰项,均有in开头且长

度都一致,相对于三个正确答案D选项是一个仅由两个单词构成的短语３~４个单词构成的干扰项,,且外形也大不相同.这样的情况极容易给考生提供暗示,从而促使其运用非正常解题手段锁定答案.

(三)完形填空在专升本考试中的出题顺序问题在专升本英语试题中,完形填空排序为第三,即在顺序答题的情况下,考生完成了４０道语知和词汇以及.部分考生由于时间安排不合理４篇阅读理解后才开始对完形填空进行作答,或者对完形填空有畏惧心理,往往会选择跳过该部分,先完成翻译和作文,最后再做完形填空.２０１７年陕西省专升本英语科目的阅卷情况显示:有３６．２％的考生未对完形填空进行作答,另有作答.这样的１７情．６况４％的考生对该部分进行了消极加剧了考生

２２００１１８９

２２１５２３１３７７

５１２９．．２４４１％％１１３５３７６９４４１１１４９０３５２３８８９８．．２９８７％％

数据来源:陕西省教育考试院官网.

专升本考试划有最低分数线,之所以出现录取人数少于计划招生人数的情况,一方面是由于某些专业报名人数不足,而另一方面也是由于上线人数不够造成的.作为文史类和理工类考生都需要面对的英语科目,其测试的效度高低就成了决定考生能否上线的关键因素.在实录人数低于计划人数的情况下,取消答题率不高的完形填空,扩大语知和词汇的测试比重对提升考生答题率、充分发挥试题作用,从而达到提高实际录取比例、充分利用专升本教育资源的目标.通过表三数据可以观察到,自计划录取人数的比例显著提２０１８年正式取消完形填空后,实际录取人数占升了尽管这一变化是由多个因素促成的７,~但不能否定英８个百分点.

语科目考试中的题型变动为录取比例上升所带来的正面影响.因此,由于完形填空出题顺序所导致的考生答题率不高现象,也是影响专升本英语测试效度的因素之一.

四、语知和词汇比重增加的优势

语知和词汇部分的单项选择题在效度与信度方面都相对较优.首先,语知词汇选择题具有较高的信度.如在考察词汇的情况下,考生只要认识选项中的词汇就基本能答出该题.同理,在考察语法知识点的情况下,如果考生对某语法题测试的语法点了解相对透彻,也会大概率答对该题.相对于完形填空需要基于理解的基础,语知和词汇选择选择题受其它因素干扰较少、作答情况较为一致,因此信度较高.除此以外,语知和词汇选择题相对完形填空还有较高的效度.６０道题中语法和词汇考察各占３０道,

每道题专注于一个考点,考察目的单一p

ws基于效度与信度理论对陕西省专升本英语考试改革的优势分析

７]

,且具有针对性[通过作答情况可以反映考生对各

３１

一方面的考察力度,反而使完形填空的功能得到了有效替代,各知识板块的考察比重也更加均衡合理,使之能够更有效地反映考生的综合能力.

个知识点和词汇的掌握程度.

另外,取消完形填空、增加语知和词汇的考察能够有效均衡语法、词汇和语篇理解在整张试卷中所占的比重,有利于全面考察应试者的能力.众所周知,完形填空测试主要以考察阅读理解和词汇为主,语法检测所占比重相对较少,如２０１１年非英语专业组完形填空部分,词汇考察占２而语０题中的１７题,法考察仅占３题.由于完形填空中词汇和阅读理解通常结合在一起考察,因此本文将该部分词汇题视为阅读与词汇各占５０％的比重.基于这样的前提,我们从表四可以大致观察出改革前后语法、词汇和阅读考察在整张试卷中所占的比重变化:

表四:

语法

取消完形填空之前取消完形填空之后

２３３０

词汇阅读理解２８．５３０

５８．５５０

三项之比２１:２６:５３２７:２７:４６

总结:

效度与信度是测试学中衡量试题合理与否的重要标准.作为英语测试中常见的题型,完形填空是综合检验应试者词汇积累、语篇理解、语法知识、逻辑推理等语用能力的有效途径.然而由于专升本考试的特殊性、试题设计、选项设计以及出题顺序等多方面因素导致在专升本测试中信度和效度不佳.自２０１５年四六级考试率先取消完形填空后,２０１８年陕西省专升本考试也随之取消完形填空,增加了语知和词汇考察的比重.本文基于这一变化,从信度和效度的角度分析了高职高专英语教育大纲、命题的文章选取、选项设计的科学性、完形填空作答率以及语知和词汇题的优势等,从而得出此次改革是提高考生答题率、增加试题设计合理度,提升信度与效度的有益尝试这一结论.在陕西省专升本录取人数连年不满计划招生人数的情况下,提升考试的效度与信度,发挥试题合理选拔人才的功能从而达到合理利用我省专升本教育资源的目的.

高职高专教育英语课程教学基本要求»中,　　在«

对高职高专学生的词汇(认知３掌握１４００词、６００、词)语法(掌握并正确运用语法规则)和阅读能力

[４]

(阅读中等难度的英文材料)都有明确规定,因此

三者的重要程度都不可忽视.在专升本考试中用语知和词汇题取代完形填空后,不仅没有偏废任何

参

Press．１９９５．

考文献

[]:O１　LleF．Bachman．FundamentalConsiderationsinLanuaeTestinM]．LondonandNewYorkxfordUniversityggg[y[]:２　Hoffman&W．E．Harn．UseofClozeandContrastWordProceduresinReeatedStorbookReadinTaretinulＧpygggM[]]():张建丽．国内完形填空研究二十年评述[３　毛延生、J．外语教学理论与实践．２００８２５５－６１．[][高职高专教育英语课程教学基本要求»高等教育出版社．４　«R]．北京:２００６．[]]():５　胡风明．试论完形填空的效度和信度[J．唐山师范学院学报．２００２１７２－７４．

[]tileDomainsJ．JournalofCommunicationDisorders．２００４．p

[]]():６　史晓南．河南省专升本英语考试历年试题失误分析[J．高教学刊．２０１６３２５９－２６０．

[]]():朱晗．英语多项选择题的历史演变与发展前景[哲学社会科学版)７　高淑玲、J．西北大学学报(．２００９７１５６－１５９．

TheAdvantaeAnalsisoftheReformforShaanxiTOP－UPEnlishgyg

TestfromthePersectivesofReliabilitndValiditpyay

(下转第３４页)

３４

情绪推理在二外日语教学中的应用

[]现代教学论纲要[北京:人民教育出版社,４　李森．M]．２００５:６．

OntheAlicationofEmotionalReasoninodeinTeachinppgMg

JaaneseasaSecondForeinLanuaepggg

(,)Xi＇anUniversitfArtsandSciencesXi＇an７１００６５,Chinayo

ZhanhanshangSiorsbasedontheanalsisofemotions．IthasapositiveimactonJaaneseteachinsayppga

:,secondforeinlanuaefromthreeasectssubect－obectrelationshiteachinontentgggpjjpgcandteachinnvironment．Theimlementationstratefemotionalreasoninistofocusgepgyogonstudents＇emotionalexerienceandemhasizethepositiveroleofemotionsintheteachＧpp

:AbstractEmotionalreasoninistherationaludmentandevaluationofindividualbehavＧgjg

inrocess．gp

:;;KeordsEmotionalReasoninJaaneseasaSecondForeinLanuaeJaaneseTeachＧgpgggpywing

(上接第３１页)

(,N,’)SchoolofForeinLanuaesorthwestUniversitXian７１００２７,Chinagggy

DuXinu,SuRuigy,uradefromjuniorcolleetouniversitthispaerfocusesontheEnlishtestpaerspggy)pgp

from２００９to２０１９,analzesthechanesbeforeandafterthereformbasestudnddataygycyaliabilitndvaliditfthetesthavebeenobviouslincreasedafterthereform．AccordinyayoygtionsdesinsinTOP－UPtest．g

,comarisonfromthepersectiveofreliabilitndvaliditdrawsaconclusionthatbothreＧppyay

:AbstractOnthebasisofthereformwhichtheclozeprocedurehasbeenrelacedbramＧpygmarandvocabularuestionsinShaanxiTOP－UPEnlishTest(thetestforthestudentsyqg

,totheanalsisandthedatathispaerrovidesacertainreferencetothequestionsandoＧyppp:;;;KeordsTOP－UPEnlishTestReliabilitValiditClozeProceduregyyyw