AMに異変?
現在寄せられている情報で正解数換算表ができたのですが、リスニングの問題数が、両フォームとも計算上85問しかありません。

4KIC20.jpg 4KIC21.jpg

この表は何年も作り続けていますし、報告者が多数いらっしゃいますので、計算間違いの可能性はありません。数問ならまだしも、両フォームとも15問も採点対象外になるはずはないので、運営側のミスの可能性が高いと思います。

また、当ブログに寄せられたリスニングの正解数を換算すると以下の表の通りとなります。

4KIC2021.jpg

表をご覧になるとわかるとおり、以下の現象が複数個所で発生しています。

(1)正解数が同じなのにスコアが異なる
(2)正解数が異なるのにスコアが同じ
(3)正解数とスコアが逆転している

このうち、(2)は495では起きます(97問以上正解すれば495等)が、それ以下の490や475、430といったスコアレンジで起きたことはありません。また、(1)と(3)の現象はこれまで一度も起きていません(リーディングでは重複問題があるので、数字の見かけ上、こうした現象は起こり得ます)。

スコアや正解数の計算方法は公開されていませんが、TOEICでは、問題ごとに配点の差はなく、正解数のみでスコアが決まります。私もブログ読者や延べ数千名の学生のAMを分析してこの事実は確認済みです。ところが、今回のAMの数字ではその原則が崩れてしまっています。かなりのカオス状態です。広範囲で異常な数値が出ていますので、おそらくAMの数字の印字の際のプログラムエラー等の根本的な問題でしょう。

スコア自体に影響はないでしょうし、仮に運営委員会に問い合わせをしても、「問題ありません」「答えられません」といった回答が返ってきて、スルーされてしまうかもしれません。以前、一部の受験者のスコアシートにエラーが発生した時は希望者に再発行されました(リンク先参照)が、今回は何らかの対応があるのでしょうか。まあ、大多数の受験者にとって大事なのはスコアで、AMの数値はただの無意味な数字の羅列にすぎませんから、大勢に影響ないと言えば影響ありません。それに、全受験者のスコアシートを再発行したら莫大な費用がかかりますから、対応があったとしても「希望者は再発行」といった程度かもしれませんね。数値の計算方法が公式発表されていない以上、AMの数値自体が間違っていることを証明することもできませんし。

少なくとも私がスコア換算表を作り始めて以来、この5年間、こうした事態は一度もありませんでした。試験自体の信頼度に関わりますので、運営側には原因を究明して、再発防止に努めて頂きたいですね。

参考にして頂けた部分がありましたら、下のバナーをクリック頂けると嬉しいです。

banner2.gif

Comment

管理人にのみ表示する

「アビメの怪」
まさしく「アビメの怪」ですね。

ETSからのコメントはおそらくないのでしょうが、
スコアレポートよりアビメを気にする私たちには
どうも気になる現象です。
VOZE | URL | 2014/08/25/Mon 21:56 [EDIT]
VOZEさん
前回の印刷ミス同様、おそらく単純なプログラムエラーでしょうね。とはいえ、受験者の99%は気づかないので、そのままスルーされるのではないでしょうか。
TEX加藤 | URL | 2014/08/26/Tue 00:26 [EDIT]
管理人のみ閲覧できます
このコメントは管理人のみ閲覧できます
| | 2014/08/26/Tue 01:34 [EDIT]
リーディングのスコア換算表
TEX加藤先生,こんばんは。
リーディングの換算表を作成しました。
リーディングだけだと,量も少ないので,寂しいものです。
ではでは。
名無しM | URL | 2014/08/26/Tue 19:53 [EDIT]
隠しコメントBさん
コメントありがとうございます。これまでは多くても採点対象外の問題は2-3問でした。それがいきなり15問になるとは考えづらく、100問のうち15問が採点対象外だとすると、試験としての妥当性が疑われるでしょう。また、仮に15問が採点対象外になったとしても、これまで通りの採点方法なら、正解数とスコアの逆転現象は起きません。もちろん、運営側がひそかに採点方法を変更した可能性は否定できませんが、試験の公平性や変更にかかるコストの観点から、それも考えづらいでしょう。現状、AMの数字は大多数の受験者にとって意味不明ですので、どのパートで何問ミスをしたかがわかる等、改良してほしいものです。
TEX加藤 | URL | 2014/08/26/Tue 22:10 [EDIT]
名無しMさん
今回のリスニングのAMの数値には何があったのでしょうかね。次回9月の試験のAMに注目です。まあ、何事もなかったかのように元に戻る気がしますが。
TEX加藤 | URL | 2014/08/26/Tue 22:13 [EDIT]
アビメに85問しかないのに、不正解数を100から引き算はできないですよね。データを見る限り85問に対する不正解数しか計算できないと思います。

更に、残りの15問も採点対象だと思います。採点対象なので、この部分の不正解数によって今回の現象が起きている訳ですからね。

つまり、リスニングはアビメの4項目以外にその他の項目が追加されたけれど、それがアビメに反映されていないということではないでしょうか。元々、リーディングも10問以上重複していて不正解数が算出できない仕組みだったので、リスニングも何か変えようとしていても不思議ではありません。

これはアビメ解析の第一人者であるヒロ前田さんの解析結果を聞きたいですね。彼の今回の正解数から何らかのヒントが見えるかもしれません。次回のメルマガに期待してます。

ここら辺のマニアックな実験は990点ホールダにしかできないので、次回の公開テストでは、謎を解き明かすべくいろいろ挑戦して頂きたいですね。どうなるか興味津々です。
X | URL | 2014/08/29/Fri 13:40 [EDIT]
Xさん
採点方法が公開されていないので、真相は不明です。次回のテストのAMがヒントになるかもしれませんね。
TEX加藤 | URL | 2014/08/29/Fri 22:45 [EDIT]
はじめまして、TEXさん、
いつも換算表ありがとうございます。

エッセンスさんもフェイスブックで公開始めたようです。
(前から?)

同じ結果のようですね。

リスニングで誤答数が減ったのに得点が伸びなく感じました。
平均点もあるのでしょうが、採点対象外が多いのも影響しているのでしょうか。
hoikar | URL | 2014/08/30/Sat 13:39 [EDIT]
hoikarさん
おっしゃる通り、エッセンスのフェイスブックでも換算表が公開されていますね。受講者の利便性を考えてのことでしょう。これはあくまで私見ですが、誤答数が少ないのでも採点対象外の問題が多いのでもなく、印字された数字自体に誤りがあるのではと思います。次回のAMに注目しています。
TEX加藤 | URL | 2014/08/30/Sat 19:45 [EDIT]
管理人のみ閲覧できます
このコメントは管理人のみ閲覧できます
| | 2014/09/11/Thu 23:45 [EDIT]
隠しコメントさん
こんにちは。計算上は、50点程度の上昇は誤差の範囲内とされています。とはいえ、スコアアップを励みにして、実際にその後、大きくスコアを伸ばす方もたくさんいらっしゃいます。スコアUPを実力UPだと考え、より一層勉強に励んでください。そうすれば900点突破も実現するはずです。
TEX加藤 | URL | 2014/09/13/Sat 09:48 [EDIT]
管理人のみ閲覧できます
このコメントは管理人のみ閲覧できます
| | 2014/09/13/Sat 15:22 [EDIT]
隠しコメントhさん
大変申し訳ありませんが、こちらのブログでは相互リンクは行っておりません。たくさんご要望をいただいており、一つを認めると不公平になってしまうという理由からです。何卒ご了承ください。
TEX加藤 | URL | 2014/09/13/Sat 20:07 [EDIT]
管理人のみ閲覧できます
このコメントは管理人のみ閲覧できます
| | 2014/09/19/Fri 11:20 [EDIT]
隠しコメントさん
それだけ勉強していれば、550はすぐに超えるでしょう。リスニングは、Part2が弱いので、公式問題集等でパターンに慣れましょう。リーディングは語彙が弱いのでしっかり単語集や公式問題集で勉強してください。リスニング350、リーディング250で600を目指しましょう。頑張ってください。
TEX加藤 | URL | 2014/09/19/Fri 23:59 [EDIT]

Track Back
TB*URL

Copyright © TOEICオタクのブログ. all rights reserved.