快速回答: 前后测数据要逐个人分析,不是拿两个平均数对比:算每位作答者的差值,用配对方法(Welch t 检验)测显著性,用 Cohen's d 量大小,并在管理层发现之前,先把陷阱——均值回归、地板天花板效应、样本流失——写进报告。
前后测设计指南讲的是怎么把问卷搭好。这是更难的后半程:两列分数摆在手上,周四就是管理层汇报。你到底能说什么、不能说什么?
数据必须回答的三个问题
- 分数涨了吗?——方向,逐个人看
- 涨了多少?——幅度,用利益相关方在乎的单位表达
- 是真提升还是噪音?——统计置信度,并且按样本量说相应的分寸话
只回答第一个问题的团队,会在会上被第二个问题追问。三个都回答、连保留意见一起讲的团队,才拿得到下一期预算。
配对分析:让每个人跟自己比
会伪装进步的三个陷阱
前测偶然考得特别低的人,就算什么都不教,后测平均也会上涨。如果你的标题是「后 25% 提升了 31%」,里面大部分是统计学,不是教学法。
前测大家都会的卷子测不出任何增长;前测大家都不及格的卷子,光是见过一次就能涨分。下结论之前,先看两列分数的分布长什么样。
「完成前后两轮测量的作答者(n=38)平均提升 11.4 分(Welch t 检验,p < 0.01,Cohen's d = 0.72)。提升集中在中间分段;高分段已接近天花板。流失的 6 人集中在运营岗——已注明,未静默剔除。」
管理层真会看的那一页报告
一页纸,按这个顺序:带置信表述的标题差值;分布图(多少人动了、动了多远);一个跟听众执念对上的切面(按部门、按岗位、按区域);以及保留意见框。保留意见框不是谦虚表演——它是让前面三项变得可信的那一段。
靠两份 CSV 手工合并做出这种报告,是大多数团队悄悄放弃度量的地方。评估平台逐份计分、自动完成配对汇总,能把这份报告变成一次下载——价值报告工作流讲了完整搭法,FormLM 的洞察报告会自动为每个群体计算 Welch t 检验与 Cohen's d。
前后测分析的目的不是证明培训有效,而是产出一个让管理层敢信的数字——信到愿意问「那下季度我们该做什么不一样的」。能引出这个问题,培训预算才活得下来。
✅ 本文要点
- 分析逐人差值,永远别拿两个组平均数对比
- 展示分布——平均数会掩盖到底是谁在进步
- 显著性检验配效应量,单独讲哪个都会误导
- 均值回归、地板天花板、样本流失,抢在别人发现之前写进报告
- 一页报告:标题差值、分布、一个相关切面、保留意见框
常见问题
前后测数据应该用什么统计方法?
比较每个人自己的前后得分(配对分析),而不是两个组的平均分。报告平均变化量,配一个配对显著性检验(如 Welch t 检验),再配一个效应量(如 Cohen's d)——显著性说明变化不是噪音,效应量说明变化值不值得在意。
为什么低分的人总是进步最大?
大部分是均值回归:前测偶然考得特别低的人,即使什么都不学,后测也倾向于回到自己的真实水平附近。按前测分段拆解结果,并把这个效应在解读里说清楚。
多少份问卷才够做一次有效的前后测分析?
配对设计很省样本:大约 20-30 组配对就能检出中等效应。低于这个量,就只描述差值本身——平均变化和分布——不要声称统计显著。
