學與教資源中心
L & T Resources
現代教育通訊
MERS Bulletin
現代教育通訊 85期 前期教訊:
第85期《現代教育通訊》:學業成績測評的新趨勢 —— 引用拉希模型(三)
學業成績測評的新趨勢
引用拉希模型(三)
陳衍輝 博士
前考評局評核顧問
前文提要

  在本文的第一部分中,筆者介紹了拉希模型,並提供了該模型的公式
 
p =    B
B + D
……………(1)

其中 p 為一個學生能成功答對一條題目的概率
  B 為該學生的能力值
  D 為該題目的難度值
而 B 及 D 皆為正數。

  在本文的第二部分中,筆者用一個小測驗,說明了各題的難度值和各考生的能力值是怎樣計算出來的。

怎樣計算題庫新增題目的難度值

  當試題庫加入了新題目後,負責管理題庫的分析員必須為那些新題目,以固有的準則,來計算它們的難度值。本部分將在這方面有詳細的介紹,並舉例說明執行的方法。
  假設,我們的試題庫已有五條舊題目,其難度值經已在同文第二部分計算好(見第二部分之值)〔原文載於第84期同文之(二)〕。現在有三條新題目須加入題庫,我們應該怎樣計算它們的難度值呢?
  為了計算新題目的難度值,第一個步驟就是用這些新題目和一些舊題目共同組成一張試卷,然後向一組學生施測,把收集了的數據利用第二部分所介紹的方法進行分析計算。(通常,我們會把數據輸入電腦,然後用既定的電腦程式(program)來作分析計算。)
  作為一個實際的例子,我們取舊題目Q3,Q4,Q5(難度值已知,它們分別為)與新題目 Q6,Q7,Q8 共同組成一份試卷。在分析中,我們用6個新的未知數來 表示這六條題目的難度值。在計算的過程中,會到達下面的方程。
   = k …………(21)
其中 k 為一個待定常數。
在這方程中,我們依照慣常的做法取 k = 1,則可得到 6 個未知數的值(參看表11的第 3 列)。在這個步驟中,我們發現不等於。那麼該怎樣辦呢?是否拉希模型在這裡行不通呢?
  為了使 ===,我們需要選擇合適的常數 k。k 值的計算有賴以下的比率:,這些比率的值分別為 2.97,3.04 和 2.99,它們非常接近。
  初步的觀察告訴我們應當取這 3 個值的平均數為 k 值。但是,這個領域的大部分專家推薦用這些值的幾何平均數(而不是用算術平均數)作為 k 值。因此,
  k =
   =
   = 2.999
    3.00
當使用 k = 3(參看表 11 第四列),我們發現題目 Q3,Q4 和 Q5 的難度值與第 2 列所載的難度值非常接近,並且是根據題庫已有的準則,來釐定所有新題目的難度值,包括新題目 Q6,Q7 和 Q8 。所以無論在什麼時候,要向題庫添加新題目時,我們必須用這些步驟,來計算新題目的難度值。
   
  
第一列
第二列
第三列
第四列
難度值
題目
五條題目的計算
六條題目的計算
k=1時的D值 k=1時的 k=3時的
Q1
0.40
-
-
Q2
0.79
-
-
Q3
0.98
0.33
0.99
Q4
1.49
0.49
1.47
Q5
2.15
0.72
2.16
Q6
-
1.60
4.80
Q7
-
1.80
5.40
Q8
-
3.00
9.00
             表11
  
  從這個例子,我們可以看出新計算出來的難度值,只要乘一個適合的常數,便可以作為正確的難度值使用。而這常數的計算,則倚賴那些舊題目在新、舊難度值的差異。
  在下一節,我們須要向讀者介紹「難度指數」δ 代替「難度值」D,而二者的關係是
D==2.718 或 δ=log D
=2.718…,log 則是以 e 為底的對數)
  用了「難度指數」,有甚麼好處呢?用了「難度指數」,好處多不勝數。k的計算可由幾何平均變為算術平均;新計算出的難度指數只要加一個適當的常數便可適用了。所以,要靈活運用拉希模型,我們要對指數的運算和使用應有相當的了解和認識。

「難度指數」的介紹


以指數形式表示難度值
  在第二部分的例子裡,我們介紹了拉希模型,因而為每一條題目設置一個未知數(稱為難度值),及後我們用數學方法,成功地計算出這些未知數。請注意,這樣我們已在拉希模型的運用中,成功地踏出了第一步。但是,我們並沒有使用指數形式來表達,因此,在了解和使用拉希模型時,用指數形式來表達不是必須的。但是,在文獻裡,通常談及拉希模型的文章,都用指數形式來書寫。因此,在本節裡,我們希望讀者能熟悉運用指數表達的形式,以便將來閱讀其他有關拉希模型的文獻。
  若用指數來表達,我們用 (其中 = 2.71828…)取代D的位置,因此 D = 。為了避免在本文中混淆,我們稱 δ 為「難度指數」(而 D 仍然稱為「難度值」)。
  同樣地,我們用 取代學生的「能力值」B,因此 B = 。為了避免混淆,我們稱β為「能力指數」(而 B 仍然稱為「能力值」)。
  在本港中三 / 中四的數學課程裡,學生須要學指數函數(exponential functions)和對數函數(logarithmic functions)並了解
2 = 10 和 3 = 10 的運作,可把乘法變為加法,例如
  6 = 2 X 3
  = 10 X 10
  = 10
  = 10
  相信讀者們已慣用以 10 為底的對數,現在的指數表達的形式只是把對數的底的數值,由 10 轉換為 e,e 的值是 2.718…。
  若使用指數形式來表達,拉希模型的公式便由

 
p  =    B
B + D
……………(1)
  
變為
那麼
p  =   
+
……………(2)

其中 p 為一個學生能成功答對一條題目的概率
  β為該學生的能力指數
  δ為該題目的難度指數
  用了難度指數來表達,表 11 的數值變成 了下面表 12 的數值。

第一列
第二列
第三列
第四列
難度指數

題目
五條題目的計算
六條題目的計算
常數=0時
δ的值(註3)
常數=0時
的值(註4)
常數=1.10時
的值(註5)
Q1
-0.92(註1)
-
-
Q2
-0.23(註2)
-
-
Q3
-0.02
-1.11
-0.01
Q4
0.40
-0.72
0.38
Q5
0.77
-0.33
0.77
Q6
-
0.47
1.57
Q7
-
0.59
1.69
Q8
-
1.10
2.20
             表12
註 1:從表 11 中,Q1 的 D = 0.40
  因為 0.40 = 2.718
  所以 Q1 的δ= -0.92
註2:從表 11 中,Q2 的 D = 0.79
  因為 0.79 = 2.718
  所以 Q2 的δ= -0.23
  對於所有在表 11 和表 12 的對應格子的數字,都具有這樣的關係。
註3:在本列的五個數字(-0.92,-0.23, -0.02,0.40,0.77),它們的和是零,它們是由電腦程式計算出來的。這現象正與同文第二部分的方程(21)所說的事情相符。
  同文第二部分這樣說
   = 1 ……………… (21)
  若以指數形式表(21),則把它寫成
  e.e.e.e.e = 1 = e ……… (22)
  e = e …………… (23)
  δ1 + δ2 + δ3 + δ4 + δ5 = 0 …… (24)
註4:在本列的六個數字(-1.11,-0.72, -0.33,0.47,0.59,1.10),它們的和是零,它們是由電腦程式計算出來的。理由已在註 3 說明了。
註5:把第三列的每一個數字加了 1.10 便成為第四列的數字。而第四列的數字正就是我們渴求的新題目的難度指數。 至於為甚麼要加 1.10 呢?它是怎樣計算出來的呢?
它是那三條舊題目(Q3,Q4,Q5)在新、舊指數的平均的差額。我們稱它為調整常數。
調整常數 = 舊題目的舊指數的平均 - 舊題目的新指數的平均
  = (-0.02 + 0.40 + 0.77) / 3 -[(-1.11) + (-0.72) + (-0.33)] / 3
  = 0.383 -[-0.72]
  = 1.1033
  1.10
  其所需的道理也很顯淺,讀者稍加思索,便會明白。
  本文在前兩篇旳內容介紹了拉希模型和難度值的計算,好使讀者知道怎樣把題目庫內每一條題目,給予一個難度值。本篇則介紹題目庫加入了新的題目後所須做的跟進工作,這就是必須為每一條新加入的題目,設置一個用同一尺度計算的難度值。本篇亦開始引用「難度指數」,把「難度值」改寫為「難度指數」。在下一篇(最後一篇),本文將向讀者介紹拉希模型題目庫,在水平訂定方面的應用。
  (下期待續)

參考文件
1. Andrich,D. (1978). A rating formulation for ordered response categories. Psychometrika, 43, 561-573.
2. Masters,G..N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47, 149-174
3. Rasch,G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Institute of Educational Research.
4. Willmott, A. and Fowles, D. The Objective Interpretation of Test Performance: The Rasch Model Applied. Atlantic Highlands, N.J.: NFER Publishing Co. Ltd., 1974.