κ 把原始一致率裡的偶然成分扣掉。公式、.61-.80 甜點區與患病率悖論。
Cohen's κ = (觀察一致率 − 偶然一致率)÷(1 − 偶然一致率)。它回答的是:我的評分人比拋硬幣更一致嗎?
κ = (po − pe)/(1 − pe),po 為觀察一致率,pe 為期望偶然一致率。
初篩卷與專家組的判定 90% 相同,但專家組 85% 的標籤都壓在同一側——κ 只有 .41,高一致率是假象。
兩個評分人、兩類別(或少量有序類別)、中小樣本:及格線判定、風險標記、標註質檢。
悖論在於:標籤越偏斜,κ 越容易崩而一致率越高。兩個都報;嚴重偏斜時改用 PABAK 或 Gwet's AC。
.61-.80 為實質一致,.81 以上幾乎完美;低於 .60 且標籤偏斜時,先查基率再怪評分人。
一致率討好,κ 保守。兩個都報,並附 n 與標籤分佈。
把概念變成線上評估:Cohen's κ 係數
瀏覽範本 →