AUC和线上点击率指标不一致

问题:

深度模型相比LR模型,离线auc高于基线,线上ctr也高于,但是线上深度模型AUC低于基线。
一般,线上样本存在bias,新模型去测试基线流量和实验流量,实验流量auc会高。

分析:

1 可能是auc失真,不同用户排序结果不可比
使用gauc衡量

2 用户auc分布
实验曝光未点击较多
分析2 去掉只曝光行为用户
结论:auc在高分段实验更有优势
3 浏览长度和双用户样本分布差异

结论

1 深度模型分布更均匀,召回差异小,auc不可比,gauc只能参考。
2 模型分布发生变化,深度模型召回后排序难度更高。线上AB实验样本不一致,auc无可比性。
3 新模型展示商品质量上升,用户点击数有限,导致分数高的样本加入负样本,auc降低。

参考:

https://zhuanlan.zhihu.com/p/42521586

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容