第十章 实验研究

被视作研究设计的“黄金标准”的实验研究是最为严谨的研究设计方法之一。在这种设计中，一个或多个自变量被研究者操控为不同实验处理，被试被随机分配到不同的实验处理中，这样可以观测到实验处理对于产出（因变量）的影响。实验研究的独特优势在于其内部效度或因果联系，因为其可以在控制那些随机变量的虚假影响的同时，通过实验操控来发掘原因与效果之间的联系。

实验研究非常适用于解释性研究而非描述性或探索性研究，此类研究的目的是检验因果关系。该法同样适用于那些包含相对有限且明确界定的自变量的研究，这些自变量可以通过操控或控制的方法来处理。实验研究可以在实验室进行也可以在实际现场进行。在实验室进行的实验室实验具有高的内部效度，但却是以低的外部效度（普遍性）为代价的，因为人为或实验室情景可能不能反映真实世界。在实际现场（如真实组织）进行的现场实验同时具有高的内部效度与外部效度。不过这样的实验为数不多，因为要在现场情景做到既操控实验处理又控制随机变量非常困难。

实验研究可以分为两大类：真实验设计与准实验设计。这两种设计方法都需要实验操控，不同之处在于，真实验设计需要随机分布样本而准实验设计不需要。有时我们也用非实验研究来指代所有不采用实验操控或随机分布的研究设计，如调查研究，观测研究及相关性研究。

基本概念

实验（处理）组与控制（对照）组。在实验研究中，一些被试将接受一个或多个称之为“处理”的实验刺激（实验组），而另外一些被试并不接受这些刺激（控制组）。当实验组中的被试对产出变量的评价优于控制组被试对该变量的评价时，则该实验处理被视作为成功的。实验刺激可能具有多个水平，因此会有多个实验组。例如，为了检验一项用于治疗某种病情

（如痴呆）的新药的作用时，如果由痴呆病人组成的样本被随机分成三个组，第一个组接受高剂量的药，第二组接受低剂量的药，第三组接受安慰剂如糖片（控制组），那么前两组是实验组而第三组是控制组。经过一段时间的处理，如果实验组的被试比控制组的被试的病情获得显著改善，我们可以声称新药是有效的。我们还可以通过比较高剂量与低剂量两个实验组的被试来判断采用高剂量是否比采用低剂量更有效。

实验处理的操控。实验处理是实验研究区别于其他研究方法的独特属性。处理的操控有助于对因果关系中“原因”进行控制。显然，实验研究的有效性取决于是否很好地对实验处理进行了操控。处理的操控必须通过正式实验前的前测或初步试验来验证。所有在处理执行之前的测量都称之为前测试测量，而那些在处理执行后的测量则被称为后测试测量。

随机选取与分派。随机选取是指从总体或者抽样框中随机抽取样本的过程。这种方法也在调查研究中所采用，其可以保证总体中的任何一个个体都有可能被选入样本。随机分派是指随机地将被试分派到实验组或控制组中的过程。这是在真实验研究中的一种标准方法，用以确保在处理执行之前实验组与控制组是相似或等价的。随机选取是与抽样相关的，因而与研究的外部效度或普遍性是相关的。然而，随机分派是与设计相关的，因而与内部效度紧密相关。一个设计良好的实验研究可以同时满足随机选取与随机分派，但准实验研究则即不能做到随机选取也不能做到随机分派。

内部效度的威胁。虽然实验设计因其在内部效度方面的优越表现（即其有能力通过处理的操控来对原因进行控制）而被认为比其他研究方法更为严谨，其并非一点也不存在内部效度的威胁。在下文中，结合一项用于研究数学补习班对提升高中生数学能力的作用的研究，我们将列出内部效度的几种威胁。

• 历史威胁是指观测到的结果（因变量）是由随机变量或者历史事件而非实验处理所引

致的概率。例如，学生在参与补习班之后的成绩提升可能是因为其好好准备数学考试

而非数学补习班而导致的。

• 成熟威胁是指观测到的结果是由被试的自然成熟度（例如理解复杂概念的智力的一般

性提升）而非实验处理而导致的概率。

• 测试威胁是指由于前测-后测设计构成的一种威胁，因为被试的后测结果是建立在前测

结果的基础之上的。例如，如果学生记住了前测阶段中的答案，他们很可能再后测阶

段重复该答案。不进行前测有助于避免此类威胁。

• 量表威胁指的是在前测-后测设计中，前后测之间分数的差距并非因为数学补习班的作

用而是因为在前后测中采用不同的测试（如在后测的考试难度低于前测）而引起的。

• 实验对象流失威胁指的是由于系统性原因（如退出实验的大多数是在前测中分数低的

学生），从实验组和控制组中退出的被试的比例不同的。如果低成绩的学生中途退出

实验，后测结果将被人为地放大了因为留下来的成绩好的学生居多。

• 回归威胁又称均值回归，指的是一个组在后测阶段在某些测量上的整体表现有向该测

量的均值而非向预期方向回归的一种统计倾向。例如，当被试在前测中成绩优异时，

其后测成绩有降低倾向（靠近均值）因为他们在前测中的高成绩（偏离均值）可能是

一种统计偏差。这种问题在非随机样本以及两次测量并不完全相关的情况下更普遍。

双组实验设计

最简单的真实验设计是包括一个实验组和一个控制组的双组实验设计，该设计非常适于检测单个自变量的影响，该自变量可以操控为一种实验处理。双组实验的两个基本设计是前测-后测控制组设计与只有后测控制组的设计，其变化形式可能包括协方差设计。这些设计往往被表示为一种标准化的设计标注，即用 R 来代表随机分派被试，X 表示将实验处理执行到实验组，O 表示因变量在前测与后测中的观测值（可以用不同的下标来区分实验组与控制组在前测与后测中的观测值）。

前测-后测控制组设计。在这种设计中，被试被随机分派到实验组与控制组，在对关注的因变量在前测阶段进行初始测量之后，实验组被施以实验处理（代表感兴趣的自变量），然后再重新测量因变量（后测）。该设计可用图10.1来标注。

图 10.1 前测-后测控制组设计

在前测-后测设计中，实验处理的效果 E 可以用实验组与控制组的前测与后测分值的差来表示：

E = （O2 – O1） – （O4 – O3）

此类设计的统计分析包括对比实验组与控制组的简单的 ANOVA 分析。前测-后测设计解决了内部效度的几项威胁，如成熟威胁，测试威胁和回归威胁，因为这些威胁可以被认为对实验组和控制组具有相似（随机）的影响机制。样本选取威胁可以通过随机分派进行控制。尽管如此，该设计仍受到一些其他内部效度威胁。例如，如果在两个组中的样本流失率不同，那么实验对象流失将会是一个问题。此外，前测可能会对后测造成偏差，特别是当前测引入一些不寻常的话题与内容时。

仅有后测控制组的设计。该设计是前测-后测设计的简化版，省略了前测。该设计的标注可以用图 10.2来表示。

图 10.2 后测控制组设计

实验处理的效应可以简单地通过比较两个组后测的分值差异来实现。

E = （O1 – O2）

两组 ANOVA 分析也是针对该设计的一种合适的统计分析方法。该设计的简明性使得它比前测-后测设计更具吸引力。在内部效度方面，该设计控制了成熟，测量，回归，选样，以及前测后测交互等威胁，不过被试流失威胁仍然存在。

协方差设计。有时因变量的测量可能会受到随机变量（即协变量）的影响。协变量是指那些并非实验研究的主要研究兴趣但需要在实验设计时进行控制的变量，这样做可以消除其对因变量的可能影响并且更精确地测量感兴趣的自变量的作用。前面提到的实验设计并没有控制这些协变量。协方差设计（又称伴随变量设计）是一种特殊形式的前测-后测控制组设计，不同之处在于前测阶段对因变量的测量被对协变量的测量所代替。该设计可以用图 10.3 来标注，其中 C表示协变量。

图10.3 协方差设计

因为前测测量是对协变量而非因变量的测量，实验处理的作用可以用实验组与控制组在后测中的分值差异来表示。

E = （O1 – O2）

由于协变量的存在，正确的统计分析方法是采用双组 ANCOVA 分析。这种设计具有仅后测设计的所有优势，但因为控制了协变量而更具内部效度。协方差设计也可以被扩展至前测-后测控制组设计。

因子设计

当一项研究需要对两个或两个以上的自变量（处理）进行操控时，双组实验设计就不适用了。在这种情况下，需要进行 4 组或更多组的设计。下面将要谈到的在实验研究中非常普遍的一种实验设计方法，一般被称作因子设计。在该设计中，每个自变量可以被称为一个因素，每个因素的不同的等级又被称作水平。因子设计使得研究者不仅能够检测每项实验处理对因变量的独立作用（称为主效应），而且可以检测他们的联合作用（称为交互作用）。

最基本的因子设计是 2 x 2因子设计，该设计包含两个实验处理，每个实验处理包括两个水平（例如高/低，有/无）。例如，如果你想要比较两种教学方式（课堂教学与在线教学）对学习效果的影响，你还想要检验这些影响是否随着授课时间（每周 1.5或 3小时）而变化。在这种情况下，有两个因素：授课方式与授课时间。每个因素具有两个水平（课堂教学与在线教学的授课方式，以及每周1.5和3小时的授课时间）。该设计可以用图10.4表示。如果你想要为授课时间增加第三个水平（如每周 6 小时），那么第二个因素将由三个水平组成，那么需要进行 2 x 3的因子设计。另外，如果你想要引入第三个因素比如团队工作（有/无），你需要进行 2x2x2 的因子设计。在这种标注中，每个数字表示一个因素，它的值表示每个因素的水平。

图 10.4 2 x 2因子设计

因子设计也可以通过设计标注来描绘，如图 10.4 右侧所示。R 代表将被试随机分派到实验组，X代表实验组（X的下表代表了每个因子的水平），O代表因变量的观测值。注意到 2 x 2的因子设计将形成四个实验组（相对于每个因子的两个水平的组合结果）。相应地，2 x 3设计将形成6个实验组，2 x 2 x 2设计将形成 8个实验组。根据经验法则，因子设计的每个单元需要最少 20 个被试（这是参照科恩的效力计算公式，按照中等影响规模得来的估计值）。那么一个 2 x 2 x 2因子设计需要至少160个被试，每个单元至少20个被试。你会发现，在因子设计中，数据收集的成本将随着因子水平的增加而显著地增加。出于资源限制的考虑，因子设计中的有些单元并不接受任何实验处理，即非完全因子设计。这种非完全设计削弱了从不完全因子中获得结论的能力。

在因子设计中，当因变量的值在一个因子的不同水平下具有显著差异时，并且该结论在其他因子的任何水平都成立时，说明该因子的主效应存在。主效应的判定是以假设因变量不随因子的水平变化而变化作为零假设或基准线的。在上面的例子中，你可以发现授课方式与授课时间对学习效果的主效应。当一个因素对因变量带来的变化依赖于第二个因素时，可以认为交互效应存在。在我们的例子中，如果授课方式对学习效果的影响在每周 3 小时的授课时间的情境下高于在每周 1.5小时的授课时间的情景下的情况时，我们可以说授课类型与授课时间对学习效果的具有交互效应。注意，交互效应的存在可能会使主效应变得并不重要，交互作用显著可能使对主效应的描述失去意义。

复合实验设计

复合设计是通过组合几种成熟的设计方式而实现的。主要有三种复合设计方法：随机区组设计，所罗门四组设计与切换重复设计。

随机区组设计。这是仅有后测控制组设计或前测-后测控制组设计的一个变化形式。被试总体被分作相对同质的子小组（即区组），在这些区组中进行重复使用。例如，你想要在大学生与全职工作者（两个同质区组）中重复同一个仅后测控制组的设计，在两个区组中，被试都是被随机地分作实验组（接受同样的实验处理）或控制组（见图 10.5）。这种设计的目的是减少因为不同区组中的被试的差异带来的“噪声”，以更准确地检测出所关心的变量的实际作用。

图 10.5 随机区组设计

所罗门四组设计。在这种设计中，样本被分为两个实验组和两个控制组。一个实验组和一个控制组接受前测而另两个不进行前测。这种设计体现了仅后测控制组设计与前测-后测控制组设计的结合，用于检验前测测量对后测测量带来的偏差性影响，这种偏差性影响存在于前测-后测设计而不存在于仅后测设计。设计标注如图10.6所示。

图 10.6所罗门四组设计

切换重复设计。这是将双组设计应用于两个阶段之中，进行三轮测量。第一阶段的实验组作为第二阶段的控制组而第一阶段的控制组作为第二阶段的实验组，如图 10.7 所示。换言之，在不同的时间对原来的设计进行重复并切换了实验组与控制组的角色。在研究结束时，所有被试都接受了实验控制（在第一阶段或者第二阶段）。这种设计在组织研究情景下更可行，因为组织项目（如员工培训）是分阶段实施的或者按照某种固定时间间隔重复进行的。

图 10.7切换重复设计

准实验设计

准实验设计几乎与真实验设计完全相同，除了一个方面不同：随机分派。例如，整个班级或组织被当做实验组而另一个班级或同一个行业内的另一个组织被当做控制组。由于缺乏随机分派，这些组并不等价，例如一个组比另一个组在某些内容上更优越（比如说在上学期有更好的老师），这将有可能导致选样偏差。准实验设计在内部效度上不如真实验设计，因为其存在各种各样的选样相关威胁如选样成熟度威胁（实验组与控制组具有不同的成熟水平），选样历史威胁（实验组与控制组受随机因素或历史事件的影响不同），选样回归威胁

（实验组与控制组对前测后测均值的回归比例不同），选样测量威胁（实验组与控制组对测量的反应不同），选样测试威胁（实验组与控制组对前测的反应不同），选样流失威胁（实验组与控制组的样本流失率不同）。鉴于这么多的选样威胁，一般尽可能地避免采用准实验设计。

许多真实验设计可以在忽略随机分派时被转化为准实验设计。例如，前测-后测控制组设计的准实验版本被称作不等对照组设计，如图 10.8 所示，随机分派 R 被替换为不等（非随机）分派 N。同样，切换重复设计的准实验版本被称作不等切换重复设计（见图10.9）。

图 10.8 不等对照组设计

图10.9 不等切换重复设计

此外，很少有那种真实验设计没有其对应的准实验版本。下面将讨论其他一些有用的设计。

界断点回归设计。这是一种不等前测-后测设计，根据事前某一测量的界点值将被试分派到实验组与控制组中。例如，重症病人被分到实验组以检测某种新药或处理方式的有效性，那些病情轻微的病人被分派到控制组中。另一个例子，那些落后于标准考试成绩的学生被选入课程补习班以提高他们的成绩，而不将那些考试成绩优异的学生选入补习班。这种设计可以用下图来标注，其中C代表界点值。

图 10.10界断点回归设计

因为采用了界点值，观测结果很可能是由于界点值本身影响的而非实验处理影响的，这将威胁到内部效度。尽管如此，采用界点值也促使将有限的资源分配给那些最需要这些资源的人而非随机进行分配，同时这也可以作为一种准实验的实验处理。在界断点回归设计中，考虑两组之间的系统性的不等价性，控制组的成绩并不作为与实验组进行比较的标杆。如果在控制组中的前测与后测并不存在不连续性，而这种不连续性出现在了实验组，那么这种不连续性可视作实验处理的影响的证据。

代理前测设计。如图 10.11 所示，这种设计与标准的不等对照组设计（前测-后测）非常相像，区别在于前测值是在执行实验处理之后收集的。这种设计的一种典型应用情景是：研究者想要检验某个项目（如一个教育项目）的有效性，然后该项目已经实施使得前测数据无法获取。在这种情况下，研究者的最好选择是利用一个提前记录的一个测量，例如学生在项目开始时的平均积分点作为前测的代理数据。代理前测设计的一种变化形式是在被试进行后测时对前测数据进行重新收集，不过这种方法具有回忆偏倚的风险，但不管如何，这也是提供了一种对因变量的感知收益或变化的测量。

图 10.11代理前测设计

个别样本的前后测设计。当基于同一种原因从同一个样本收集前测与后测数据不太可能时，这种设计方法非常适用。如图 10.12所示，该设计有四个组，其中两个组来自同一个不对等组，而另两个组来自不同的不对等组。例如，你要检验客户对于某种在一个城市予以实施但在另一城市没有实施的新的在线服务的满意度，那么在第一个城市的客户可以作为实验组，而另一个城市的客户作为控制组。如果不可能从同一批客户中获得前测与后测的数据，你可以在某个时间点测量客户满意度，实施新服务项目，然后测量项目实施后的客户满意度

（此时的客户与前测时的客户不同）。在同一时间点对控制组的客户满意度进行测量，不过该组并没有实施新项目。这种设计并不非常严谨，因为你不能测量特定客户在新项目实施前后满意度分值的变化，你只能检验客户满意度的平均值。尽管该设计内部效度较低，其仍然是在前后测数据无法从同一被试获取的情况下的一种非常有用的准实验数据收集方法。

图 10.12个别样本的前后测设计

非对等因变量设计。这是针对同一组群的前后测准实验设计，具有两个结果测量，其中一个测量从理论上应该受到实验处理的影响而另一个测量并不受此影响。例如，如果你要为高中生设计一个新的微积分课程，该课程将很可能影响微积分成绩而不会影响代数成绩。尽管如此，在后测时代数成绩也可能会因为随机因素（如历史或成熟性因素）而有所变化。因此，前后测的代数成绩可以用作一种控制测量，而前后测的微积分成绩则被视作实验测量。该设计标注可以用图 10.13来表示，N表示单组，O1和 O2表示同一组学生在前后测中的微积分与代数学成绩。该设计在内部效度上存在不足，但其优势在于不需要一个独立的控制组。

非对等因变量设计的一种变化形式被称作模式匹配的非对等因变量设计。这种设计采用多个结果变量并采用一个理论来解释这些变量将如何受到实验处理的影响，然后研究者可以检测理论预测值是否与实际观测值所匹配。这种基于理论模式与观测模式的对应程度的模式匹配技术可以有效地消除原始的非对等因变量设计的内部效度问题。

图10.13非对等因变量设计

实验研究的危险

实验设计是最难的研究设计之一，因此不能草率为之。这类研究也经常出现大量的方法论问题。第一，尽管实验研究需要理论作为假设检验的基础，现在大量的实验研究不是基于理论的。如果没有理论，假设检验将会是临时构建的，不合逻辑的，并且没有意义的。第二，很多实验研究中用到的测量量表并没有进行信度与效度检验，而且这些量表在不同实验中是不兼容的，因而基于这些量表的结果也将是不兼容的。第三，许多实验研究采用不合适的研究设计如不相关的因变量，没有交互效应，没有实验控制或者在不同实验组采用不对等的实验刺激等。基于这些研究的发现也是缺乏内部效度而备受质疑的。第四，实验研究中的实验处理（任务）在不同研究中是有差异的，不兼容的和不一致的，有时这些实验处理对被试而言是并不合适的。例如本科生经常被要求扮演营销经理来制定负责的预算，然后其并没有这方面的经验。采用这样的不合适的任务也会给内部效度带来威胁（如被试的绩效很可能是由任务情景的内容或难度形成的人为产物），这样得来的研究发现是难以表述和没有意义的，将这些发现与其他研究进行整合就更不可能了。

合适的实验控制设计是实验设计的最重要的任务，因为实验控制是实验方法的根本所在，决不能草率或忽视。为设计好一个令人满意的合适的任务，研究者需要事先验证任务的有效性，进行实验处理的操控检测以证实任务的充分性（在被试完成任务后简要向其询问情况），进行预测试（需要时可重复进行），如有疑问最好采用对被试来说简单熟悉而非复杂的不熟悉的任务。

总之，本章介绍了实验研究的主要概念以及各种各样的真实验与准实验的设计方法。尽管这些设计在内部效度上千差万别，内部效度不佳的设计也不能轻视，因为根据某些特殊情境和研究需要，他们可能会非常适用。