快速回答: 前後測數據要逐個人分析,不是拿兩個平均數對比:算每位作答者的差值,用配對方法(Welch t 檢定)測顯著性,用 Cohen's d 量大小,並在主管發現之前,先把陷阱——均值回歸、地板天花板效應、樣本流失——寫進報告。

前後測評估設計指南講的是怎麼把問卷搭好。這是很難的後半程:兩列分數擺在手上,週四就是主管匯報。你到底能說什麼、不能說什麼?

數據必須回答的三個問題

只回答第一個問題的團隊,會在會上被第二個問題追問。三個都回答、連保留意見一起講的團隊,才拿得到下一期預算。

配對分析:讓每個人跟自己比

1
按人配對,不是按批次對比
給每一個前後測都完成的作答者算出差值,分析差值本身。「前測平均 58、後測平均 74」這種對比混進了不同的人、不同的狀態、不同的職務組成——評審會上第一個尖銳的問題一定是「這是同一批 40 個人嗎?」
2
報告分布,別只報平均數
平均漲 12 分掩蓋了所有要緊的資訊:是每個人都漲了 12,還是一半人漲 25、另一半紋絲不動?把分布攤開——多少人提升、多少人原地踏步、多少人反而下降。
3
先檢驗差值,再量大小
配對顯著性檢驗(Welch t 檢定、雙尾 p 值)回答「平均變化是不是噪音」;Cohen's d 回答「這個變化值不值得在意」。只講顯著性不講效應量,是「真但很小」;樣本不大就宣稱效應,是「有苗頭但沒證實」。

會偽裝進步的三個陷阱

❌ 均值回歸

前測偶然考得特別低的人,就算什麼都不教,後測平均也會上漲。如果你的標題是「後 25% 提升了 31%」,裡面大部分是統計學,不是教學法。

❌ 地板與天花板效應

前測大家都會的卷子測不出任何增長;前測大家都不及格的卷子,光是見過一次就能漲分。下結論之前,先看兩列分數的分布長什麼樣。

✅ 報告裡的誠實長這樣

「完成前後兩輪量測的作答者(n=38)平均提升 11.4 分(Welch t 檢定,p < 0.01,Cohen's d = 0.72)。提升集中在中間分段;高分段已接近天花板。流失的 6 人集中在營運職務——已註明,未靜默剔除。」

主管真的會看的那一頁報告

一頁紙,按這個順序:帶置信表述的標題差值;分布圖(多少人動了、動了多遠);一個跟聽眾執念對上的切面(按部門、按職務、按區域);以及保留意見框。保留意見框不是謙虛表演——它是讓前面三項變得可信的那一段。

靠兩份 CSV 手工合併做出這種報告,是大多數團隊悄悄放棄度量的地方。評估平台逐份計分、自動完成配對匯總,能把這份報告變成一次下載——價值報告工作流講了完整搭法,FormLM 的洞察報告會自動為每個群體計算 Welch t 檢定與 Cohen's d。

前後測分析的目的不是證明培訓有效,而是產出一個讓主管敢信的數字——信到願意問「那下季度我們該做什麼不一樣的」。能引出這個問題,培訓預算才活得下來。

✅ 本文要點

  • 分析逐人差值,永遠別拿兩個組平均數對比
  • 展示分布——平均數會掩蓋到底是誰在進步
  • 顯著性檢驗配效應量,單獨講哪個都會誤導
  • 均值回歸、地板天花板、樣本流失,搶在別人發現之前寫進報告
  • 一頁報告:標題差值、分布、一個相關切面、保留意見框

別再手工合併表格了

前後兩輪收進同一份評估,配對差值、顯著性與群體報告按批次自動生成——匯出即是一份帶品牌的 PDF。

試試 FormLM →

常見問題

前後測數據應該用什麼統計方法?

比較每個人自己的前後得分(配對分析),而不是兩個組的平均分。報告平均變化量,配一個配對顯著性檢驗(如 Welch t 檢定),再配一個效應量(如 Cohen's d)——顯著性說明變化不是噪音,效應量說明變化值不值得在意。

為什麼低分的人總是進步最大?

大部分是均值回歸:前測偶然考得特別低的人,即使什麼都不學,後測也傾向回到自己的真實水平附近。按前測分段拆解結果,並把這個效應在解讀裡說清楚。

多少份問卷才夠做一次有效的前後測分析?

配對設計很省樣本:大約 20-30 組配對就能檢出中等效應。低於這個量,就只描述差值本身——平均變化和分布——不要宣稱統計顯著。

← 返回培訓效果評估