[討論] 算分理論項目反應理論

看板JLPT (日本語能力試驗)作者hangea (Ka-lip)時間2年前 (2022/01/24 23:08)推噓1(1推 0噓 2→)

留言3則, 2人參與討論串1/1

因為前一篇逐家對台語文的心得文攏真溫柔無批評，實在真感心，我擱想欲分享到底JLPT的分數是按怎計算的原理。毋擱因為較複雜，我這擺會用華語分享。 JLPT是用項目反應理論去推算每個考生對分數的機率分布，最高機率的分數就是我們最後拿到的分數。懶人包： 1. JLPT的算法是不同時期考同一level的人可以比較。 2. 他的分數代表你的程度的最大機率的地方。 3. 粗心答錯/瞎猜猜對跟自己程度差異很大的題目影響不大。我找了一下，關於項目反應理論解釋得還算完整又好懂的文章是這篇。 https://www.med.oita-u.ac.jp/mededuc/cbt/riron_about.pdf 以下的解釋主要也都跟文章內文一樣。 1. 題目有兩種屬性，分別是難易度跟鑑別度。 "難易度高"指的是程度好的人也答不對，就是越難。 "無鑑別度"指的是程度差的人有一定比例答對，但同時也有一定比例程度好的人答錯。 pdf中的圖1的3條線分別是3個題目，紅線就是比藍線難，但鑑別度一樣。藍線跟綠線難易度一樣，但綠線沒有鑑別度。 x軸表示是考生的程度，y軸表示的是答對率。 2. 答對題數一樣的人，會因為答錯的題目不同而有不同的分數。圖2就顯示有3位考生，而他們的答題模型對應出不同的機率分布。考生ア跟考生イ一樣都答錯兩題，但他們的機率峰值處在不同的地方。 x軸是能力值，可以想成是分數，y值是尤度，應該可以想成是整體機率。鐘型曲線的算法也很簡單，就把該考生的各答題的表現相乘即可。以考生ア為例，他的答案是OXX(第一題答對，後兩題答錯)。我們現在想知道他在能力值1的地方機率多少，那就對照圖1的曲線，第一題就是項目A，第二題是項目B，第三題項目C。那就是0.92*(1-0.79)*(1-0.5) = 0.1 (能力值1的人，答對第一題的機率是0.92，答對第二題的機率是0.79，但因為考生答錯第二題，所以機率是0.21。第三題同理) 用這個算法就能算出該考生的整體機率分布。 3. 考題的難易度，鑑別度的取得方式是考生的整體答題行為決定。看文章的描述應該是有許多方法，不過大抵上都是算大家答對的題數來排大家的能力值，然後用能力值去算題目的難易度、鑑別度。有了第一次的難易度、鑑別度後，再用這組參數+上面提的算法去精算大家的程度，再去fine tune題目的難易度、鑑別度。重覆算幾次。但因為JLPT已經考了很多年了，有許多考古題，所以在新考試中摻入一些考古題，可以更準確知道考生的程度(或是更少的運算資源??)，再用這群考生的答題模式去推算新題目的參數。這也是為什麼我前一篇文章說一定會有考古題，為了取得準確的參數。而且這個考試理論上禁止母語人士參加，為了不要讓這個模型被母語者影響。以上是pdf裡談的。但其實實務上模型可以更複雜，可以參考這篇文章。 https://www.ptt.cc/bbs/JLPT/M.1562561086.A.595.html 4. 難易度離你程度越遠的題目，影響力越小。 (想成萬有引力滿直觀的...XD) 所以假設現在題目有20題，當中的19題的表現指出你是個強者，結果剩下的1題超簡單，但你答錯了，對你的影響不大，很有可能在同一個級距。反之你是廢物但猜對一題難題也一樣，影響不大。(你跟題目的距離很遠，沒啥反應) 真正影響大的是程度跟差不多的題目。 (你跟題目的距離很近，題目對這個程度的人反應很強。) 但其實JLPT的官方網站只有提到他們是用項目反應理論去估算分數，而有許多設定及參數多少都會影響到分數的估算，所以還是只能僅供參考。 (例如pdf就沒提到4的萬有引力，所以如果JLPT並沒有考量到這點的話，會變成強者答錯一題小學生題目時會扣分超重的相反情況，懶人包3的論述就不成立了) -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.248.137.53 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/JLPT/M.1643036886.A.A4C.html

[討論] 算分理論 項目反應理論

[討論] 算分理論項目反應理論