學與教資源中心
L & T Resources
現代教育通訊
MERS Bulletin
現代教育通訊 84期 前期教訊:
第84期《現代教育通訊》:學業成績測評的新趨勢 —— 引用拉希模型(二)
學業成績測評的新趨勢 —— 引用拉希模型(二)
陳衍輝 博士
前考評局評核顧問


前文提要
  在前一篇文章中,筆者略述了拉希模型的原起和一些發展過程。並舉了一個例子帶出拉希模型的用處。在那例子中說明怎樣可以把兩個試卷的得分作等值分析和比較。條件是這兩卷的題目的難度值需預先計算好。

試題難度值的計算

  在第一部分的討論中,我們假定題目的難度值都是已知的,而從來沒有說過難度值是怎樣計算出來的。因此讀者們可能會問,「究竟題目的難度值是怎樣計算出來的呢?」在本部分我們將簡述測驗結束後,學生的數據收集了,我們怎樣利用學生的數據來計算題目的難度值。在實際操作中,研究人員並不需要作本部分所講述的計算工作,因為有許多軟件都可以完成這些計算。用來計算題目難度值的方法,不只一個,本文採用了一種讀者最易明白的方法,來向讀者解釋。
  假設有一個數學測驗由5條1分題目所組成,我們把這測驗向一組學生施測,測驗完畢後,收集了學生的數據,便可以計算每題的難度值。計算開始時,我們假設有5個正數 D1,D2,D3,D4,D5 分別代表這5條題目的難度值。我們的目標是要計算這5個未知數的值。
  在計算過程中,如有題目,它們的答對率為0或100%,我們將捨棄這些題目,因為這些題目對區分學生沒起作用。捨棄這些題目之後,我們還要捨棄所有總分為0的學生,因為題目對他們來說太難了。我們同樣也要捨棄所有獲得滿分的學生,因為題目對他們來說太容易,不能準確地測量出他們的能力。我們只收集那些得分在1分到4分的學生的答題結果用於分析。
  在這個例子中,我們假設有100個學生可用於分析。其中有30個學生的得分是1分。他們構成表3中的1分組。因為他們在測驗中都只得到1分,我們可以合理地假定他們在數學方面的能力值是相同的,並用B1來表示這個組的學生的能力值。我們分別用B2,B3,B4 代表2分組,3分組和4分組的學生的能力值,我們的目標是要計算這4個未知數的值。
  接下來,我們數一數在每個得分組答對每條題目的學生人數,這些資料均列於表3中。


  我們須注意到,在1分組中,共有多少人(30人),而這群人中能答對第一題的學生共有多少人(12人),從表3中可知30人中只有12個學生答對第一題。因此在本組中,學生答對第一題的概率為12/30 = 0.4。(參見表4中第1列的第一項。)用同樣方法,我們可以計算所有4組學生答對每一題的概率,這些概率值均列於表4中。
  因為我們的目標是估計5條題目的難度值(D1,D2,D3,D4,D5)和4組學生的能力值(B1,B2,B3,B4),問題中總共有9個未知數。我們的工作是利用這20個概率來計算那9個未知數。在下面三頁,我們將用初中學生也能明白的簡單數學技巧來計算這9個未知數。
  根據拉希模型,表4中的概率由這9個未知數所產生的,如表5所示。


也就是說,現在我們得到下列20個方程:
 
  B1
B1 + D1
 = 0.4
……………(1)
 
  B1
B1 + D2
 = 0.2
……………(2)
 
  .
.
.
 
 
 
  B4
B4 + D5
 = 0.7
……………(20)
有了這20個方程,我們應該可以解出9個未知數。
  實際上,這裡方程個數比未知數的個數多,在數學上,這是無解的,除非這20個方程是相依的(dependent),且能簡化為9個不相依的方程。為了找出方程組的解,我們嘗試利用下面的方法將這20個方程簡化成9個方程。
  我們對20個方程的兩邊做如下處理。例如,對方程(1),我們的處理方法如表6。
  如果我們對表4和表5的每個格子都做同樣的處理,則可以得到以下20個方程如表7。

  
  看看表7中的方程的結構,它們和表5的相比,可稱是獲得簡化了。因此,很有可能只需用簡單的數學技巧便可解出答案。但是,我們現在介紹的解題方法是很特別的,我們要從那20個表7的方程中,製造出9個新的方程,然後用那9個新的方程去求解。以下是如何得出那9個新方程的步驟。

把表8第一行的5個方程相乘得到方程
 
   
D1D2D3D4D5
 5
B1
 = 1.5 x 4 x 4 x 9 x 9 = 1944
 

對其餘3行做相同的處理。把表8第一列的4個方程相乘得到方程
 
   4
D1
B1B2B3B4
 = 1.5 x 0.67 x 0.25 x 0.11 = 0.03
 

對其餘4列做相同的處理。這樣我們便得到了9個新的方程。
  在數學上,這9個方程是相依的,且等值於8個不相依方程。簡單來講,我們可以利用其中任意8個方程來製造出剩下的方程。因此,現在我們有9個未知數而只有8個獨立方程。我們需要再增加一個限制條件來解這個方程組,增加的限制條件是可以採取以下兩個方程中的任意一個。
  D1D2D3D4D5 = 任意常數 …………(21)
   B1B2B3B4 = 任意常數 …………(22)
這裡,我們選擇方程(21),並取任意常數為1。至此,表8中最右邊一列的4個方程立即變成表9中第2列的方程,很容易便得到各得分組別的能力值的解。
  因為 B1,B2,B3,B4 的值已經求得,可計算得到 B1,B2,B3,B4 的乘積為0.9288。將 B1,B2,B3,B4 乘積的值帶入表8中剩下的5個方程,可解出 D1,D2,D3,D4,D5 如表10。


步驟回顧

  回顧我們在這部分所做的工作。我們用5條1分題目組成一個測驗,然後把這測驗向一組學生施測,測驗完畢後,我們收集學生的數據,並把得分在1分到4分之間的學生的資料按表3的格式編排。
(a) 接著,我們可製造出表4,計算出每個得分組的學生答對每條題目的概率。
(b) 根據拉希模型,我們可用未知數 D1,D2,D3,D4,D5 來表示題目難度值。
(c) 我們可用 B1,B2,B3,B4 來表示1分組,2分組,3分組,4分組的學生的能力值,因此我們總共有9個未知數。
(d) 根據模型
 
  Bi
Bi + Dj
  (其中 i 取值為1到4,j 取值為1到5)表示 i 分組學生答對題目 j 的概率,到這時候,我們得到20個方程,我們須從這20個方程出發,去計算出那9個未知數的值。
(e) 經過一些數學處理,我們便可解出了未知數。按部就班,每個得分組的學生的能力值(除了零分組和滿分組外),便計算出來,接著,題目的難度值也相繼求得。

總結

  題目的難度值,是從參與測試的學生的數據中,客觀地計算出來的,並不是由議題的老師所主觀決定。和第一部分的結果結合,我們可得出下列的結論:若題庫的所有題目的難度值皆計算妥當,那麼,題庫中的任意兩組題目所組成的兩份試卷,它們的分數皆可作等值分析和比較。
  (下期待續)

參考文件
1. Andrich, D. (1978). A rating formulation for ordered response categories. Psychometrika, 43, 561-573.
2. Masters, G.N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47, 149-174
3. Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Institute of Educational Research.
4. Willmott, A. and Fowles, D. The Objective Interpretation of Test Performance: The Rasch Model Applied. Atlantic Highlands, N.J.: NFER Publishing Co. Ltd., 1974.