快速回答: 前後測數據要逐個人分析,不是拿兩個平均數對比:算每位作答者的差值,用配對方法(Welch t 檢定)測顯著性,用 Cohen's d 量大小,並在主管發現之前,先把陷阱——均值回歸、地板天花板效應、樣本流失——寫進報告。
前後測評估設計指南講的是怎麼把問卷搭好。這是很難的後半程:兩列分數擺在手上,週四就是主管匯報。你到底能說什麼、不能說什麼?
數據必須回答的三個問題
- 分數漲了嗎?——方向,逐個人看
- 漲了多少?——幅度,用利害關係人在乎的單位表達
- 是真提升還是噪音?——統計置信度,並且按樣本量說相應的分寸話
只回答第一個問題的團隊,會在會上被第二個問題追問。三個都回答、連保留意見一起講的團隊,才拿得到下一期預算。
配對分析:讓每個人跟自己比
會偽裝進步的三個陷阱
前測偶然考得特別低的人,就算什麼都不教,後測平均也會上漲。如果你的標題是「後 25% 提升了 31%」,裡面大部分是統計學,不是教學法。
前測大家都會的卷子測不出任何增長;前測大家都不及格的卷子,光是見過一次就能漲分。下結論之前,先看兩列分數的分布長什麼樣。
「完成前後兩輪量測的作答者(n=38)平均提升 11.4 分(Welch t 檢定,p < 0.01,Cohen's d = 0.72)。提升集中在中間分段;高分段已接近天花板。流失的 6 人集中在營運職務——已註明,未靜默剔除。」
主管真的會看的那一頁報告
一頁紙,按這個順序:帶置信表述的標題差值;分布圖(多少人動了、動了多遠);一個跟聽眾執念對上的切面(按部門、按職務、按區域);以及保留意見框。保留意見框不是謙虛表演——它是讓前面三項變得可信的那一段。
靠兩份 CSV 手工合併做出這種報告,是大多數團隊悄悄放棄度量的地方。評估平台逐份計分、自動完成配對匯總,能把這份報告變成一次下載——價值報告工作流講了完整搭法,FormLM 的洞察報告會自動為每個群體計算 Welch t 檢定與 Cohen's d。
前後測分析的目的不是證明培訓有效,而是產出一個讓主管敢信的數字——信到願意問「那下季度我們該做什麼不一樣的」。能引出這個問題,培訓預算才活得下來。
✅ 本文要點
- 分析逐人差值,永遠別拿兩個組平均數對比
- 展示分布——平均數會掩蓋到底是誰在進步
- 顯著性檢驗配效應量,單獨講哪個都會誤導
- 均值回歸、地板天花板、樣本流失,搶在別人發現之前寫進報告
- 一頁報告:標題差值、分布、一個相關切面、保留意見框
常見問題
前後測數據應該用什麼統計方法?
比較每個人自己的前後得分(配對分析),而不是兩個組的平均分。報告平均變化量,配一個配對顯著性檢驗(如 Welch t 檢定),再配一個效應量(如 Cohen's d)——顯著性說明變化不是噪音,效應量說明變化值不值得在意。
為什麼低分的人總是進步最大?
大部分是均值回歸:前測偶然考得特別低的人,即使什麼都不學,後測也傾向回到自己的真實水平附近。按前測分段拆解結果,並把這個效應在解讀裡說清楚。
多少份問卷才夠做一次有效的前後測分析?
配對設計很省樣本:大約 20-30 組配對就能檢出中等效應。低於這個量,就只描述差值本身——平均變化和分布——不要宣稱統計顯著。
