回答思路

1.A方案和B方案，哪个方案的结果更好？ 2.首先的话，需要做需要运用假设检验，分为两种不同的检验方式，对于留存率、渗透率等漏斗类，采用卡方检验。对于人均时长类等均值类指标，采用t检验。 1.通过假设检验后，如果结论置信，我们就能够得到A方案和B方案哪个指标更好（有显著性差异）， 对于不置信的结论，尽管A方案和B方案 的指标可能略有差异，但可能是数据正常波动产生。哪个 ROI 更高？ 2.一般有活动相比无活动，留存、人均时长等各项指标均会显著。 对于 ROI 的计算，成本方面，每个实验组成本可以直接计算，对于收益方面，就要和对照组相比较，假定以总日活跃天（即 DAU 按日累计求和）作为收益指标，需要假设不做运营活动，DAU 会是多少，可以通过对照组计算，即： ● 实验组假设不做活动日活跃天 = 对照组日活跃天 * （实验组流量 / 对照组流量） ● 实验组收益 = 实验组日活跃天 - 实验组假设不做活动日活跃天 这样就可以量化出每个方案的 ROI。 答案解析 这道题主要是考察ABtest上线后，从哪些维度来确认哪个方案更好，或者说新的方案是否比旧的方案更加适合上线