当你设计一个功能或一个活动的时候，一定会有一个目标。提升转化率，提升收入，提升dau等等。但是一个好的设计，一定是逻辑链清晰，因果关系严密的。也就是说你得想明白，为什么你这样设计，会有那样的结果，中间会有哪些过程。所以你要验证效果，其实不止要验证结果，还需要验证过程。所以你需要问自己以下三个问题：
a）我预想的效果有没有达到（数据有没有往预期中的方向变化）
b）如果数据积极，是不是因为或主要因为我的功能或者活动才达到的，而不是因为其他原因
c）用户是不是按照我设想的路径/原因，达到了最后的结果
为什么我要强调验证过程？因为验证了过程，才能知道用户实际使用的情况跟你预想的一不一样，你的设计成功案例可不可被复制。
举个例子：假设你的产品是一个直播平台，你上线了一个新的道具。你把目标定为拉升收入。那么你需要验证的上线效果，完整表达出来应该是：是不是因为你上线的这个新的道具受用户喜欢，所以用户在这个道具上产生了更多的购买行为，从而使得平台整体收入上涨了。所以相对严谨的做法是，你需要去排除道具刚上用户新鲜感的因素，排除其他排序机制对这个道具销量的影响的因素，排除该道具和其他道具位置前后顺序的因素，甚至还需要排除，是不是因为同时你还上线了“新”道具角标更吸引用户点了的因素。
所以有时候因为要排除的因素太多了，所以干脆通过AB测试的方法来控制变量，保证一切其他因素都一样，只有你需要验证的因素不同，来检验结果。但是如果所有的点都AB测试的话，显然成本又太高。所以这时你可以通过你的经验，以及该结论的严谨性要求高低来选择验证的严谨程度。比如在其他因素基本都一致的情况下，对比当前和上一个新上线的道具第一周的销量占比。
而这个验证什么时候需要严谨，需要多严谨，其实更多需要问的是产品设计者自己。因为对路径的验证能提升结论与经验沉淀的可信度，让你的成功能复制，让你的失败更精准地被避免。所以更严谨的验证可能需要花去你更多的时间，但请相信你是在为你自己做这件事情。
