快速回答:微笑表(Level 1)測的是滿意度,不是有效性。要證明訓練改變了行為:設計自評+他評的能力量表(360 式),訓練前後各測一次,對每個構面做 Welch t 檢定。d≥0.5 且 p<0.05,就是妳向客戶出示的行為改變證據。

我們反覆看到的提問: 兩個問題總是成對出現。先是內部專案設計者問:我們是不是只停在一級評估,三級證據在這類專案裡長什麼樣?然後是外部講師面對懷疑的採購方:怎麼證明你的訓練有效——他們也注意到,證言越來越只換來一次聳肩。

為什麼 80% 的訓練評估停在 Level 1

Kirkpatrick 模型給了四層:反應 → 學習 → 行為 → 成果。絕大多數企業訓練止步於課後滿意度問卷,原因很現實:工具只支援到那裡。SurveyMonkey 給你的是 1–5 星的均值,她說不出這個人是否改變了給回饋的方式。

為 Level 3(行為)而設計

統計證據長什麼樣

當 20 人以上的前後回答依構面聚合後,平臺自動算出:前測均值±標準差、後測均值±標準差、變化值與方向、Cohen's d(效應量)、Welch t、自由度、p 值,以及每個構面的「顯著改善/無顯著變化/顯著下降/不可檢定」判定。這些數字進入群體對照 PDF——客戶可以存檔、可以向管理層出示的證據。

「微笑表 4.7 分」是意見;「溝通構面 d=0.62,p=0.003,20 人中 14 人顯著提升」是證據。兩者的談判力不可同日而語——前者讓你結案,後者讓你續約。

落地路線

1
選一個可觀察的行為框架
別貪多,3–5 個構面、每個構面 3–4 道題,夠用。
2
建前測應用並啟用報告
用 AI 從行為描述生成量表題。
3
複製出 360 版本
同一應用收集自評與他評,主體報告自動依被評人聚合(subject-360)。
4
訓前訓後各跑一輪
後測應用裡選擇前測應用為基線,一鍵出 Welch t 對照。
5
交付兩份產出
每位學員逐人 PDF(自動郵件)+給贊助方的群體證據 PDF。
什麼是微笑表(smile sheet)?
指課後滿意度問卷:「你對本次訓練滿意嗎?」「講師是否投入?」她測的是 Kirkpatrick Level 1 反應層,與學習效果和行為改變幾乎沒有相關性。
如何量測訓練後的行為改變?
設計「行為頻率/品質」量表,由本人、主管、同事多源評分;訓前 4 週與訓後 8 週各收集一輪,逐構面做 Welch t 檢定並報告 Cohen's d。d≥0.5 且 p<0.05 即統計意義上的行為改善。
Cohen's d 對訓練評估意味著什麼?
它以合併標準差為尺衡量變化大小:d=0.2 是小效應,d=0.5 是多數職場技能「真實有意義」的改變,d≥0.8 是大效應。和顯著性一起報告,客戶既知道「是不是真的」,也知道「有多大」。

從「感覺不錯」到「有顯著性」

FormLM 的前後對照用 Welch t 檢定與 Cohen's d 給出逐構面判定,並自動產生逐人報告——你交付的是證據,不是感覺。

設計你的第一份前後測 →