A/B实验与“增量主义”
时间：2023-09-29 05:48:01 | 来源：网站运营
时间：2023-09-29 05:48:01 来源：网站运营
A/B实验与“增量主义”：A/B实验通常被视为促进创新的“利器”。然而，Berk Can Deniz[1]的工作论文指出：所谓过犹不及，
A/B实验也有可能导致更多的“增量式”创新。具体来说，对于536家媒体网站，他发现在
引入A/B实验后，这些网站的页面设计随时间推移发生的变化显著减少，特别是发生剧烈变化的可能性显著降低。这些变化背后可能存在两类机制：一是
不适于实验的创新想法愈发受到排斥；二是
组织内管理人员趋向保守，只会实验结果确定的增量式创新。
图1 引入A/B实验前后（以虚线为界），媒体网站发生剧烈变化（定义为网站相似度的下降大于0.1）的概率原文方法简洁，直接回归看相关性。对于媒体网站，相关行业协会和市场研究企业已有全面的数据。具体到回归的自变量，是这些网站采用A/B实验的时间[2]。因变量方面，结合既有的业界实践，可以构造以下反映两个网页设计相似度的指标：以树编辑距离衡量HTML代码相似度，以类间交集大小除以类间并集大小衡量CSS类的相似度，再等权重加总两个相似度得到最终指标[3]。于是，可以季度为单位衡量同一网页的不同版本是否彼此相似。
图2 引入A/B实验前后（以虚线为界），媒体网站前后版本间相似度的变化结果[4]相当清晰。对网页版本相似度的历时变化而言，既有发生剧烈（>0.1）变化的概率显著下降，又有相似程度的显著上升。“路灯效应”和代理人问题都是可能解释。前者意味着有了实验以后，视野里几乎只会出现可实验的创新，其他想法受到排斥；后者意味着即使存在其他大胆的新想法，管理人员也会选择能够确保实验结果数字上跳的想法。这些都是有趣且可以进一步验证的方向，也是实验与组织如何相互作用这一新兴小领域[5]的趋向。
[1] 原文作者后来前往业界继续从事A/B实验相关的工作。
[2] 由于作者依靠前端代码判断相应网站是否进行实验，此处数据可能存在遗漏，主要是难以识别实验部署在后端的情形。原文作者的解决思路是：相比于前端方案，后端方案通常需要更强的技术能力和更多的资源。由于头部媒体网站都是采取前端方案，可以推断几乎所有媒体都是采取前端方案。
[3] 相应思路和权重选择主要来自Gowda, Thamme, and Chris A. Mattmann. "Clustering web pages based on structure and style similarity (application paper)."
2016 IEEE 17th International Conference on Information Reuse and Integration (IRI). IEEE, 2016.
[4] 原文还控制了技术栈等变量，并且做了一些稳健性检验。缺乏因果识别可能是一项缺憾。不过，即使没有因果识别，结论也颇为让人信服，且具有一定趣味。
[5] 例如，参见Hall, Todd A., and Sharique Hasan. "The Politics of Experimentation." (2022).
文献来源：Deniz, Berk Can. "Experimentation and Incrementalism: The Impact of the Adoption of A/B Testing." (2021).
在线咨询
