在您的网站上运行科学控制的实验是确保您的网站不断发展和改进的最佳方法之一。成功的拆分测试需要一个可重复的框架,您可以在一段时间内系统地测试和验证您的想法。
在我的日常测试工作中,我依靠经典的科学方法(与你在小学时学到的相同)来确保我提出正确的商业问题。科学方法还将帮助您将这些重要的业务问题转化为可行的测试思路。
让我们仔细看看科学方法以及它如何应用于我们最近运行的真实测试。
第1步:问题- 在此步骤中,我们开始提出业务问题。为了让我们提出正确的问题,我们必须使用从各种工具中收集的所有数据。这可能包括使用网络分析,退出调查,热图,滚动图,表单分析和用户测试以及我们作为专业测试人员的自己的启发式体验。
对于我们的测试示例,我们问的业务问题是“如何让更多访问者点击”申请演示“按钮?客户知道他们有更好的机会让潜在客户在演示后购买软件,因此让更多人首先请求演示是至关重要的。
第2步:假设 -假设是基于有限证据作为进一步调查起点的假设或建议解释。必须始终对假设进行测试以验证该想法,但弱假设通常会导致细微或不确定的测试结果。请注意,在下面的示例中,强测试假设与请求演示直接相关,而弱测试则不是。
弱测试假设:我们应该测试按钮栗色而不是蓝色,以便更突出。
强测试假设:通过将按钮文本从“获取演示”更改为“自由演示”,并将颜色更改为栗色,我们将看到软件演示请求的增加。
第3步:实验 - 一旦我们得到一个测试理念,其强大的假设与我们希望改进的商业指标相关联,下一步就是测试假设,看它是真还是假(或可能是不确定的)。对于我们的示例,我们从原始页面转移了一半的流量,并将其路由到下面的测试变体。
第4步:分析 -一旦我们的实验结束,我们需要根据统计有效性分析结果。在我们的日常测试中,一旦测试变异达到90%的统计显着性,我们通常会停止测试。这意味着有90%的可能性,看到的改善不仅仅是由于随机波动。
第五步:总结 - 经典科学方法的最后一步是制定一个结论。测试可以通过多种方式实现。
测试变体优于原始页面,具有90%或更高的统计显着性。这是最好的结果。平均而言,每4-5次测试中只有大约1次将达到此状态。
测试变化始终显示出优于原始测试的变化,但即使在长时间运行之后,测试也没有达到统计显着性。根据具体情况,我们可能会将测试称为“非负面”,并建议对测试变体进行标准化。在其他时候,我们可能会将测试称为不确定,并建议保留原始测试。
测试变化未被证明比原始更好或更差。在这些情况下,测试称为平局或“不确定”。
与原始版本相比,测试版本实际上表现不佳。虽然这种情况不常发生,但确实会发生。一个良好的测试团队会花时间从这些类型的“失败”的实验和学习收获,这些学习,常可导致额外的测试思想和测试迭代。
对于我们的测试示例,标有“Free Demo”的栗色按钮比原始按钮高出96%。以下是实际测试结果。因此,我们的结论是标准化这种新的按钮颜色和措辞。
当你安优网络团队合作,我们将帮助您完成所有5个步骤的科学方法,并就我们运行的每个测试的具体建议。
本文地址:
http://www.njanyou.cn/web/2272.html
Tag:
专业服务:
南京网站制作,
南京网站制作公司,
南京网站建设公司
联系电话:025-65016872
上一篇:
为什么品牌体验应该是您的终极目标
下一篇:
协会网站重新设计需要考虑的主要因素