快速回答:設計前後測評估:訓練前測能力、訓練後再測,然後對每個維度做統計檢定(Welch t 檢定+Cohen's d 效應量)。把「大家覺得不錯」變成「有證據顯示能力提升」——提交即產出逐人 PDF 報告。
我們反覆看到的提問: 講師和 L&D 圈子裡反覆出現的問題幾乎同一句:怎麼才知道訓練真的有效。完課率和測分容易取,可大家也承認它們說明不了什麼——有人測驗通過,一週後做事方式毫無變化。贊助方要的不是滿意度,而是改變的證據。
每位講師都會遇到的難題
你剛辦完一場工作坊。參與者笑逐顏開,滿意度 4.7/5,回饋表寫著「講師很棒、內容充實」。三週後,他們的行為沒有任何改變。客戶問「訓練有效嗎」,你手上只有一個滿意度均值。
這就是微笑表陷阱:把 Kirkpatrick Level 1(反應)誤當成 Level 2(學習)或 Level 3(行為)。多數表單工具只收集資料,不會把回答變成證據,這不是你的錯。
研究反覆顯示,課後滿意度分數與實際學習遷移幾乎不相關。滿意是必要的,但遠不充分。你的利害關係人需要的是可衡量、統計上站得住的能力變化證據。
框架:從收集到證據
在發出第一道題之前,需要完成四個設計決策:
統計嚴謹性:超越「平均分漲了」
分數提升了說明不了問題——如果漲幅在正常波動範圍內。要主張訓練帶來了變化,每個構面需要兩個檢定:
Welch t 檢定(顯著性)
比較前後兩組的構面均值,不假設兩組變異數相等,自由度依 Welch–Satterthwaite 近似計算。p 值低於你設定的顯著性水準(通常 α=0.05),代表「這麼大的差異純屬偶然的機率不足 5%」。
Cohen's d(效應量)
- |d| < 0.2:可忽略
- 0.2–0.5:小效應
- 0.5–0.8:中效應
- |d| ≥ 0.8:大效應
統計顯著但效應可忽略,等於「真的,但不重要」;樣本小導致 p 擦邊但 d 達到中到大,依然有實務意義。兩個都要報告。
多數宣稱能出「報告」的問卷工具只顯示原始均值或簡單百分比變化。真正的證據報告需要每個構面的假設檢定(Welch t)加效應量(Cohen's d),並用非統計背景的人讀得懂的語言解釋。
逐人報告:被忽略的交付物
想像你替 30 人的領導力工作坊做收尾。你需要:每位參與者帶走一份呈現自己構面得分、與群體對照、附成長建議的個人化報告;客戶贊助方拿到一份標注了統計顯著改善構面的群體前後對照摘要。
手工做的代價:每份報告 15–20 分鐘,30 份就是 7–10 小時訓練後的無償文書工作。這也是多數「做了問卷」的案件死在交付環節的原因——資料到了,沒有人有力氣把它變成可交付成果。
實務工作流
常見坑與迴避方法
- 兩份問卷構面名稱不一致——配對靜默失敗,整表顯示「未配對」。解法:複製應用,不要從零手建。
- 每個構面有效樣本 n<2——無法做 t 檢定。報告會如實標注「樣本不足」而不是偽造顯著。
- 只做即時後測——那測的是短期記憶不是遷移,補一次 2–4 週的延遲後測。
- 新訓練沒有歷史基線——把首期學員的前測分數作為後續批次的基線。
衡量訓練成效最好的方法是什麼?
為什麼微笑表不足以評估訓練?
如何做統計上站得住的前後測對照?
能自動給每位參與者生成報告嗎?
準備好用統計證據取代微笑表了嗎?
FormLM 的 AI 表單收集回答、依構面計分、生成個人化 PDF 報告;填答者留了信箱即自動寄出——前後對照自帶 Welch t 檢定與 Cohen's d。不用寫程式,不用手動整理。
建立你的第一個評估 → 免費