托?？谡Z(yǔ)是機(jī)器打分還是人工打分
大家比較關(guān)心托?？谡Z(yǔ)的打分方式，下面小編就和大家聊聊這個(gè)話題。
【托?？谡Z(yǔ)】托福口語(yǔ)評(píng)分時(shí)人工還是機(jī)器
托?？谡Z(yǔ)本次改革引入自動(dòng)評(píng)分系統(tǒng)，其實(shí)這項(xiàng)計(jì)劃早就在準(zhǔn)備中了，這從ETS這份官方報(bào)告當(dāng)中就可以看出，其實(shí)現(xiàn)在所使用的引擎已經(jīng)是5.0版本的引擎，下面我們就來(lái)看一下托?？谡Z(yǔ)機(jī)器評(píng)分的要點(diǎn)。
19年托福改革后，我們可以非?？隙ǖ馗嬖V大家，托?？谡Z(yǔ)一定是機(jī)器批改，至少機(jī)器批改參與了每一位同學(xué)的評(píng)分過(guò)程。ETS官方公布的數(shù)據(jù)，最新版本的托?？谡Z(yǔ)機(jī)器評(píng)分系統(tǒng)Speech Rater與人工評(píng)分的相關(guān)性系數(shù)是0.81。說(shuō)實(shí)話，官方單純的拿這么一個(gè)統(tǒng)計(jì)學(xué)系數(shù)擺在我們的面前，對(duì)于考生或者是托福資深教師而言是沒(méi)有感覺(jué)的，這個(gè)系數(shù)到底是偏高還是偏低，究竟什么數(shù)值范圍值得我們進(jìn)行參考，根本就無(wú)從比較。
真人教師來(lái)核查的幾率不是100%的，所以盡量不要在結(jié)尾處留太多的空白。這樣機(jī)器肯定首先就會(huì)給考生扣分。但是為了防止教師來(lái)核查，復(fù)聽，建議考生在備考托?？谡Z(yǔ)的時(shí)候，學(xué)會(huì)掌控時(shí)間，盡量不要超時(shí)太久。再給考生一個(gè)小建議：在托?？谡Z(yǔ)考試中，盡量不要停止說(shuō)話，如果沒(méi)話說(shuō)就多說(shuō)點(diǎn)套話，在平時(shí)的練習(xí)中，針對(duì)機(jī)經(jīng)上的重點(diǎn)話題進(jìn)行準(zhǔn)備。
隨著越來(lái)越多的年輕學(xué)生在世界范圍內(nèi)學(xué)習(xí)英語(yǔ)作為第二語(yǔ)言(English as a Foreign Language)，為青少年語(yǔ)言學(xué)生(Young Language Students)設(shè)計(jì)的標(biāo)準(zhǔn)化語(yǔ)言考試 (比如托?？荚?。
變得越來(lái)越受歡迎。鑒于這一快速增長(zhǎng)的趨勢(shì)，需要更好地理解年輕學(xué)生的語(yǔ)言發(fā)展模式和語(yǔ)言表現(xiàn)的語(yǔ)言特征成為語(yǔ)言學(xué)教師的需求。根據(jù)2014年，兩位口語(yǔ)測(cè)評(píng)學(xué)者Bailey&Heritage的研究，語(yǔ)言發(fā)展模式和語(yǔ)言表現(xiàn)對(duì)于語(yǔ)言學(xué)評(píng)估的創(chuàng)建提供指導(dǎo)和指導(dǎo)至關(guān)重要。ETS于是系統(tǒng)地進(jìn)行實(shí)證研究：在青少年語(yǔ)言學(xué)生中檢查其英語(yǔ)語(yǔ)言能力(English Language Proficiency)的進(jìn)展以便驗(yàn)證青少年語(yǔ)言學(xué)生評(píng)估任務(wù)和評(píng)分標(biāo)準(zhǔn)，并為基于測(cè)試結(jié)果的提供有效性證據(jù)(Kane，2013)。
在目前ETS采用的機(jī)改Speech Rater的系統(tǒng)中，對(duì)于托福口語(yǔ)測(cè)評(píng)是何以科學(xué)、公正以及客觀地對(duì)考生們進(jìn)行評(píng)價(jià)的呢?根據(jù)ETS最新的一項(xiàng)研究, 自1996年就有語(yǔ)言學(xué)學(xué)者(Ginther et al., 2010; Towell, Hawkins, & Bazergui, 1996) 使用平均話語(yǔ)長(zhǎng)度(mean length of run) 這項(xiàng)指標(biāo)來(lái)對(duì)考生們的流利度進(jìn)行測(cè)評(píng)。
通俗易懂的說(shuō)法，就是在托?？荚囍心愕乃?quot;huh", "uh", "erm", "um", and “well" (filled pause)都會(huì)被計(jì)數(shù)，當(dāng)頻率高到一定程度，就會(huì)被認(rèn)為是弱流利度，另一種就是沉默(silent pauses), 在整個(gè)口語(yǔ)回答的過(guò)程中如果出現(xiàn)長(zhǎng)間斷，那么系統(tǒng)會(huì)自動(dòng)把你的口語(yǔ)歸為弱流利度。而托?？谡Z(yǔ)考試的不同任務(wù)(task)其對(duì)考生們的語(yǔ)言能力和認(rèn)知能力都有所不同，因此在進(jìn)行口語(yǔ)獨(dú)立任務(wù)(independent speaking task)設(shè)計(jì)和口語(yǔ)綜合任務(wù)(integreated speaking task)設(shè)計(jì)的過(guò)程中。
在這項(xiàng)研究中，青少年(YLS)與成人考生(Adult learner)的流利度水平在兩個(gè)任務(wù)的機(jī)評(píng)效果中都出現(xiàn)了較為穩(wěn)定的表現(xiàn)。因此我們可以得出客觀結(jié)論，在口語(yǔ)流利度方面，考生們?cè)诳谡Z(yǔ)獨(dú)立任務(wù)和口語(yǔ)綜合任務(wù)之間較少會(huì)出現(xiàn)流利度偏差。
最新的5.0引擎當(dāng)中，最新版的引擎已經(jīng)極為接近于真人閱卷者進(jìn)行了評(píng)分，在ets官方所發(fā)布的資料當(dāng)中，真人評(píng)分和機(jī)器評(píng)分的相關(guān)系數(shù)已經(jīng)達(dá)到了0.81，換句話說(shuō)也就是，ETS在告訴大家：我們這套系統(tǒng)已經(jīng)做得挺好了，已經(jīng)敢拿出來(lái)給你們看一看了。最為影響最終分?jǐn)?shù)的3個(gè)影響因素，他們分別是：平均沉默時(shí)長(zhǎng)，單詞重復(fù)率，和語(yǔ)速。
今天我們?cè)賮?lái)看另外8個(gè)重要的影響因素。
很顯然在這里排名第4位的影響因素，就是Total acoustic model score for all words with model trained on native data，看了這段生澀的語(yǔ)言，說(shuō)實(shí)話無(wú)老師也有點(diǎn)要吐了。這個(gè)名詞，還真有點(diǎn)不是特別好解釋。總而言之，這個(gè)其實(shí)涉及到ETS在評(píng)分過(guò)程當(dāng)中具體的一個(gè)流程，也就是在Speech Rater進(jìn)行評(píng)分的時(shí)候，其實(shí)有一個(gè)關(guān)鍵性的步驟，就是讓機(jī)器來(lái)識(shí)別，考生本人所說(shuō)的英語(yǔ)是否是地道的英語(yǔ)，這個(gè)主要是從發(fā)音和節(jié)奏來(lái)進(jìn)行判斷，就是當(dāng)你的口語(yǔ)越接近于地道的發(fā)音，那么你的分?jǐn)?shù)越高，反之亦然。這個(gè)影響系數(shù)達(dá)到了0.81，因此也就有了下面第2條影響因素，Total acoustic model score with model trained on nonnative data。
如上的4條，是所有的影響系數(shù)高于0.7的影響因素，接下來(lái)所列出的7條，影響系數(shù)全都低于0.7且高于0.5，這也就意味著對(duì)于最終分?jǐn)?shù)的影響，沒(méi)有前面4條影響那么大，但是同時(shí)也比較重要。
其中4條高于0.6的影響因素分別是，
Average of chunk length in seconds——平均意群的長(zhǎng)度
No.repetitions——重復(fù)程度
Score point with the highest grammatical similarity score——語(yǔ)法的相似程度
Total no. different lexical types——詞匯的多樣性
Average of chunk length in seconds——平均意群的長(zhǎng)度，歸屬大類Fluency——流暢：影響因子0.66，
這意味著，句子如果全都是三個(gè)詞，類似于I like you的簡(jiǎn)單句，那么得分一定會(huì)偏低，但是如果能多用一些固定搭配、或者一些修飾性的成分，使得這個(gè)句子一方面不脫離口語(yǔ)化，不會(huì)像書面語(yǔ)那么復(fù)雜，同時(shí)句式的內(nèi)容也可以比較豐富和飽滿，那么得分就會(huì)提高。當(dāng)然這一條的解讀還可以有很多的層次，無(wú)老師在此就先不一一展開了。
No.repetitions——重復(fù)程度，歸屬大類Fluency——流暢：影響系數(shù)0.61。
把重復(fù)程度放在流暢程度當(dāng)中，說(shuō)實(shí)話有點(diǎn)奇怪，既然放在流暢程度這個(gè)大類當(dāng)中，估計(jì)在這里面所表述的是，你是否會(huì)出現(xiàn)結(jié)巴的情況，也就是會(huì)連續(xù)反復(fù)同一句話。
托?？谡Z(yǔ)評(píng)分標(biāo)準(zhǔn)
口語(yǔ)“are rated by three to six raters”指的是每道題只有一位考官打分，但不同題目的打分考官可能不同，一位考生的六道題目最少會(huì)有三位考官， 最多會(huì)有六位( 每道題一位)。最后評(píng)分不會(huì)特別偏重某類題型，比如說(shuō)獨(dú)立或綜合。所以，總體而言，ETS 的評(píng)分用一個(gè)詞來(lái)講是：holistic，即，考慮考試口語(yǔ)內(nèi)容的整體性。也就是說(shuō)，ETS 口語(yǔ)評(píng)分標(biāo)準(zhǔn)不會(huì)因某個(gè)具體方面而出現(xiàn)偏重，如，在不影響理解的前提下，語(yǔ)音語(yǔ)調(diào)不好不會(huì)成為扣分原因。在holistic 這一標(biāo)準(zhǔn)下，ETS 的最重要考慮因素是：intelligible, 可理解為可以順暢的讓考官聽懂考生的表述內(nèi)容。在holistic 和intelligible 兩個(gè)標(biāo)準(zhǔn)之外，對(duì)答題內(nèi)容而言，有如下三個(gè)評(píng)分維度：
1.Structure
2.Content
3.Language
Structure， 即結(jié)構(gòu)， 總體來(lái)講，ETS 評(píng)分官特別希望考生能夠在答題部分給出清晰的結(jié)構(gòu)。其中結(jié)構(gòu)要求主要包括：
1)主題句thesis statement：在開頭部分明確地表明自己的觀點(diǎn)。
2)過(guò)渡詞：在中間部分有明顯的邏輯連接詞或表過(guò)渡的信號(hào)提示詞。
3)結(jié)論：如果時(shí)間允許，做簡(jiǎn)單地總結(jié)。
content, 即內(nèi)容。ETS 有如下要求：
1)主題明確：明確地給出觀點(diǎn)。
2)簡(jiǎn)單明了：不要過(guò)多的使用bigwords 和復(fù)雜句型;用考生經(jīng)常使用熟練的詞匯。
3)細(xì)節(jié)論點(diǎn)到位：獨(dú)立話題例子論點(diǎn)和細(xì)節(jié)提供詳細(xì);綜合話題涉及聽力和閱讀部分分別提到的具體信息，如，Task5 的聽力部分女學(xué)生提到自己很忙，困惑于時(shí)間的安排，最近需要：準(zhǔn)備考試，寫2 篇論文，還有一個(gè)志愿者活動(dòng)要參加。ETS 對(duì)于細(xì)節(jié)的期待是：希
望考生可以將學(xué)生需要完成的事情：準(zhǔn)備考試，寫2 篇論文，還有一個(gè)志愿者活動(dòng)要參加這些細(xì)節(jié)都囊括到自己的回答部分中。所以，可以看出，ETS 十分看重考生對(duì)聽力和閱讀部分細(xì)節(jié)信息的整理和轉(zhuǎn)述。
language，即語(yǔ)言，語(yǔ)言的要求包括：
1)流暢：對(duì)語(yǔ)速的要求并不是越快越好。最好考生是sustained speed, 即能夠以穩(wěn)定的速度順暢的表達(dá)自己的觀點(diǎn)，中間偶有小的停頓可以接受。
2)語(yǔ)音：發(fā)音標(biāo)準(zhǔn)是前提，語(yǔ)音語(yǔ)調(diào)地道對(duì)分?jǐn)?shù)有一定的積極影響。ETS 給出評(píng)分參考是：只要不影響評(píng)分官的理解，即使語(yǔ)音語(yǔ)調(diào)不好，也不會(huì)扣分或影響分?jǐn)?shù)。
3)允許語(yǔ)法錯(cuò)誤：ETS 口語(yǔ)評(píng)分原則中明確指出考生的表述中可以存在小的語(yǔ)法錯(cuò)誤，但是語(yǔ)法錯(cuò)誤不允許重復(fù)出現(xiàn)。
很多考生對(duì)于口語(yǔ)評(píng)分經(jīng)常會(huì)抱有疑問(wèn)，進(jìn)而會(huì)選擇復(fù)議。而口語(yǔ)成績(jī)的復(fù)議成功率是有跡可循的。
托?？谡Z(yǔ)評(píng)分標(biāo)準(zhǔn)哪一個(gè)點(diǎn)最重要?
托?？谡Z(yǔ)評(píng)分采取 Holistic Rubric Standing(整體評(píng)分制)，即同時(shí)參照以下三個(gè)標(biāo)準(zhǔn)進(jìn)行整體打分:Delivery(語(yǔ)言表達(dá))、Language Use(語(yǔ)言使用)、Topic Development(話題展開)。但是，對(duì)多數(shù)中國(guó)考生來(lái)說(shuō)，主 要問(wèn)題是 Delivery(語(yǔ)言表達(dá))不夠清晰、流暢，所以學(xué)習(xí)重心應(yīng)該放在提高流暢性和清晰度上面。
托福口語(yǔ)是機(jī)器打分還是人工打分相關(guān)文章：
1.清楚了解托?？谡Z(yǔ)的評(píng)分標(biāo)準(zhǔn)
2.4個(gè)層面進(jìn)行闡述新托?？谡Z(yǔ)考試評(píng)分標(biāo)準(zhǔn)
5.中國(guó)考生在參加托?？谡Z(yǔ)時(shí)總是低分的三大問(wèn)題大剖析
8.托?？谡Z(yǔ)備考到底要不要背?合理記憶才能助力口語(yǔ)提分
托?？谡Z(yǔ)是機(jī)器打分還是人工打分
