量化獨立評分人之間的一致程度——一致率、κ 與 ICC，以及回到評分細則層面修不一致。
評分者間信度量化獨立評分人對同一批作品的一致程度。簡單一致率是入門口徑，扣除偶然一致的 κ 與 ICC 才是誠實口徑——兩個人光靠漂移也能「一致」。
一致率；Cohen's κ =（觀察一致−期望一致)/(1−期望一致)；連續打分用 ICC。
兩位經理給同樣 20 份面試記錄打分：85% 同分，κ=.62——總體一致，但邊界分數帶仍需校準會。
凡是由人給主觀作品打分的地方都繞不開：面試評審團、360 專案、考試閱卷、細則評估。
一致性低多半是評分細則的 bug，不是評分人的 bug——先修錨定與樣例，再談換人。
單看不夠——類別分佈偏斜時，純偶然也能刷出高一致率。必須同時報告扣除偶然後的統計量。
1-5 連續評分用 ICC；類別少且有序用加權 κ。
把概念變成線上評估：評分者間信度
瀏覽範本 →