fc2ブログ
9月TOEIC正解数換算表
皆さん、情報をお寄せいただき、ありがとうございます。9月公開テストの換算表ができました。7月に続き、リスニングがそれぞれのフォームで82・85問しかありません。

図1 図2

前回は単なるエラーだと思っていたのですが、どうやらそうではないようですね。この表の数字から正解数を逆算すると、前回と同じく、見かけ上、正解数が同じなのにスコアが異なる、あるいは、正解数が異なるのにスコアが同じ、という現象が発生してしまいます(実際に起きています)。「スコアは正解数のみで決まる」「どの問題も配点は同じ」という原則が変わっていないとすると、以下の仮説が考えられます。

「スコアには影響するが、AM上には出てこない問題が存在する」

どういう問題が該当するのかは不明です。AM上に出てこない問題だけを間違えることができれば、ListeningのAMがオール100なのにスコアが495ではない、という現象も起こり得ますが、今のところはそういう例はありません。私もPart2で1ミスの自覚がありましたが、ちゃんとその項目は数字が94になっています。

これまで、重複問題のないリスニングは、何問ミスかが分かりやすかったのですが、もはや全問正解したかどうかも分からない状況です。ただでさえよくわからないAMの数字が一層意味不明になった気がしますね。

参考にして頂けた部分がありましたら、下のバナーをクリック頂けると嬉しいです。

banner2.gif

Comment

管理人にのみ表示する

集計結果ありがとうございます。

7月の結果記事を読んだ時は、評価軸変更の移行期間?と思いました。
AMの集計カテゴリを変えるだけだったら、採点システムの大幅変更は不要だし、印刷されない5番目のAMが有るのは杜撰でも、十何問も没問にするよりはアリかなと。
ただ、AMオール100で満点にならないのは結構目立つはずで・・
いずれにしても有効な指標が使い難くなったのは困ったものです。
Maelzel | URL | 2014/10/28/Tue 07:42 [EDIT]
憶測ですが
セットで正解しないと、AMでカウントされない問題があるのではないでしょうか?
例えば、Part3やPart4で3問のうち2問正解、またはPart2で問Aと問Bの両方正解で、初めてそれを理解できたと、判断されるとか・・・

となると、AMが同じでも誤答数に違う場合が存在し、AMが同じでも誤答数に差がでてスコアが異なってくるというのも説明がつきます。

良い見方をすると、AMで誤答数は分からなくなったが、数値としてはその項目を評価する精度が上がったことになります。

あくまで憶測ですが・・・
うみぶたきっく | URL | 2014/10/28/Tue 12:42 [EDIT]
管理人のみ閲覧できます
このコメントは管理人のみ閲覧できます
| | 2014/10/28/Tue 12:43 [EDIT]
Maelzelさん
採点方式は全くの謎ですので、何とも言えませんが、リスニングの正解数がAMだけでは分からなくなったのは残念ですね。少なくとも受験者側にとっては、今回の変更でメリットは感じられません。
TEX加藤 | URL | 2014/10/28/Tue 22:02 [EDIT]
うみぶたきっくさん
今回、Part3/4に該当する箇所の合計問題数は、それぞれのフォームで、46・49問です。本来は60問ずつのはずですので、14・11問がAMに反映されていないことになります。3の倍数ではありませんので、特定の会話やトークがセットでまるごとAMから除外されたわけではなさそうです。おっしゃる通り、セット問題があるのかもしれませんが、採点方法は公開されていませんので、何とも言えませんよね。何のために今回の様な変更を行ったのかが謎です。
TEX加藤 | URL | 2014/10/28/Tue 22:09 [EDIT]
素点スコア換算表
TEX加藤先生,こんばんは。
スコア換算表を作成しました。
リスニング用を作るのが困難になったのは残念ですが,
皆さんの報告を活かすようにしてみました。
来春の新著,楽しみにしています。
ではでは。
名無しM | URL | 2014/10/29/Wed 19:40 [EDIT]
名無しMさん
作業お疲れ様でした。新刊は何とか予定通り出せるよう頑張ります。
TEX加藤 | URL | 2014/10/29/Wed 21:26 [EDIT]
AM解析(5月6月 vs. 7月9月)
TEXさんの過去2か月の表から
リスニング問題数の変化を調べてみた。

月 L1 L2 L3 L4 Total
5(メジャー) 19 19 21 41 100
5(マイナー) 19 17 21 43 100
6(メジャー) 20 15 20 45 100
6(マイナー) 19 15 21 45 100
平均 19 17 21 44 100

月 L1 L2 L3 L4 Total
7(メジャー) 16 17 21 31 85
7(マイナー) 16 15 19 35 85
9(メジャー) 19 18 17 28 82
9(マイナー) 18 17 18 32 85
平均 17 17 19 32 84

新旧の差分 -2 +0 -2 -12 -16

ここで気づくのは、L2は変化なく、L4が12問も消えた。
つまりP3P4に関して、推測問題はそのままで、詳細を問う問題が激減した。
では、AMに載ってない16問は何を問う問題なのか?
その解析は990erの皆さんに託すしかない。。。
X | URL | 2014/10/29/Wed 23:13 [EDIT]
Xさん
情報ありがとうございます。確かにP3P4の詳細問題が激減していますね。フォーム25のLAMが89,100,100,94でスコア465という方から報告が寄せられました。計算上4ミスです。89,100,100,97(3ミス)で495の方がいますから、やはりどこかに問題が消えてしまったとか思えません。いずれにせよ、今後のAMの動向を見守るしかありませんね。
TEX加藤 | URL | 2014/10/30/Thu 06:48 [EDIT]
ホームスター
加藤さん
大変ご無沙汰しております。
セガトイズ横山です。
今日、大平さんと狂言師野村萬斎さんの対談舞台があり直接お二人ご本人にご挨拶して参りました。
加藤さんのお話も出、大変懐かしく
お話ししたいと思いました。
以前の携帯のメアドに
ご連絡しましたがもうさすがに不通だと思いまして…
こちらの方がご連絡がとれると思い思いきってご連絡致しました。
ご迷惑でしたらすみません。。。
横山 | URL | 2014/11/09/Sun 23:43 [EDIT]
横山さん
こんにちは。昨日新宿の東急ハンズでホームスターが販売されているのを見て懐かしい気持ちになりました。あれから10年近くがたったとは信じられません。何かあればtexkatotoeic@yahoo.co.jpのメールに連絡をお願いします。セガトイズから大ヒット商品が出ることを願っています。がんばってください。
TEX加藤 | URL | 2014/11/10/Mon 23:03 [EDIT]

Track Back
TB*URL

Copyright © TOEICオタクのブログ. all rights reserved.