快速回答:微笑表(Level 1)测的是满意度,不是有效性。要证明培训改变了行为:设计自评+他评的能力量表(360 式),培训前后各测一次,对每个维度做 Welch t 检验。d≥0.5 且 p<0.05,就是你向客户出示的行为改变证据。
我们反复看到的提问: 两个问题总是成对出现。先是内部项目设计者问:我们是不是只停在一级评估,三级证据在这类项目里长什么样?然后是外部讲师面对怀疑的采购方:怎么证明你的培训有效——他们也注意到,证言越来越只换来一次耸肩。
为什么 80% 的培训评估停在 Level 1
Kirkpatrick 模型给了四层:反应 → 学习 → 行为 → 结果。绝大多数企业培训止步于课后满意度问卷,原因很现实:工具只支持到那里。SurveyMonkey 给你的是 1–5 星的均值,它说不出这个人是否改变了给反馈的方式。
为 Level 3(行为)而设计
- 行为锚定:「在观察到行为后 24 小时内给出具体可执行的反馈」——用频率或质量量表,可观察、可测量
- 多评估者:自评 + 经理 + 1 位同事,压低自评偏差
- 时间分离:前测 = 训前 4 周,后测 = 训后 8 周,给迁移留出时间
- 同一份问卷:两次收集用完全一致的维度定义,配对才有效
统计证据长什么样
当 20 人以上的前后回答按维度聚合后,平台自动算出:前测均值±标准差、后测均值±标准差、变化值与方向、Cohen's d(效应量)、Welch t、自由度、p 值,以及每个维度的「显著改善 / 无显著变化 / 显著下降 / 不可检验」判定。这些数字进入群体对比 PDF——客户可以存档、可以向管理层出示的证据。
「微笑表 4.7 分」是意见;「沟通维度 d=0.62,p=0.003,20 人中 14 人显著提升」是证据。两者的谈判力不可同日而语——前者让你结项,后者让你续约。
落地路线
1
选一个可观察的行为框架
别贪多,3–5 个维度、每个维度 3–4 道题,够用。
2
建前测应用并启用报告
用 AI 从行为描述生成量表题。
3
复制出 360 版本
同一应用收集自评与他评,主体报告自动按被评人聚合(subject-360)。
4
训前训后各跑一轮
后测应用里选择前测应用为基线,一键出 Welch t 对比。
5
交付两份产物
每位学员逐人 PDF(自动邮件)+给赞助方的群体证据 PDF。
什么是微笑表(smile sheet)?
指课后满意度问卷:「你对本次培训满意吗?」「讲师是否投入?」它测的是 Kirkpatrick Level 1 反应层,与学习效果和行为改变几乎没有相关性。
如何测量培训后的行为改变?
设计「行为频率/质量」量表,由本人、经理、同事多源评分;训前 4 周与训后 8 周各收集一轮,逐维度做 Welch t 检验并报告 Cohen's d。d≥0.5 且 p<0.05 即统计意义上的行为改善。
Cohen's d 对培训评估意味着什么?
它以合并标准差为尺子衡量变化大小:d=0.2 是小效应,d=0.5 是多数职场技能「真实有意义」的改变,d≥0.8 是大效应。和显著性一起报告,客户既知道「是不是真的」,也知道「有多大」。
