广告流量分析之评价指标的选择(一)

标签：get   结果   工程师   scene   span   sum   案例   lan   ocp   

上一篇文章主要聊了下《转化率模型之转化数据延迟》，今天我们将开启一个新的系列，广告流量分析之评价指标的选择。在平时做AB实验的时候，我们常常遇到一种奇怪的现象“线上效果与线下的分析结论不一致”，为什么会存在这种现象呢，这里通过几个实际案例和大家具体聊聊。

案例一：转化率评价（需要明确自己的关注目标）

我们都知道，转化率（转化数/点击数）是评价广告主转化的一种指标。

在实验过程中，经常会遇到整体转化率上涨，而对应每个广告主的转化率下降的现象。具体看一个例子：

这里的三个广告实验组转化率都比对照组转化率低，但是，根据简单的加和方法算出来的CVR却是实验组高于对照组。不同角色对于这个问题会有不同的看法，作为广告算法工程师，从整体看转化率上涨，实验组效果ok，抓紧上这个新策略；作为单个的广告主，转化率下降，这个策略赶紧下掉。所以究竟这个策略是去还是留呢？

这就是著名的辛普森悖论，它是英国统计学家辛普森与1951年提出的悖论，即在某个条件下的两组数据，分别讨论时都会满足某种性质，可是一旦合并考虑，却可能导致相反的结论。为了避免辛普森悖论，MH方法被引入进来，用来计算转化指标。其中MH-CVR的计算方法如下。

假设有n个广告，对照组点击数为click_c1，click_c2，click_c3，…… ，click_cn，转化数为conversion_c1，conversion_c2，conversion_c3，…… ，conversion_cn，实验组点击数为click_e1，click_e2，click_e3，…… ，click_en，转化数为conversion_e1，conversion_e2，conversion_e3，…… ，conversion_en

从公式中我们也可以看出MH指标结果是一个比值，小于1.0表示负向，大于1.0表示正向。根据这个公式，可以计算出上面这个例子的MH-CVR值为0.9<1.0，表明转化率是负向的。

因此对于流量的整体转化率，要选择MH方法计算，而不是直接sum(转化数)/sum(点击数)来计算。

看到这里，大家一定会有一个疑问，为什么MH转化指标比整体加和指标更合理？上面简单的提到，引入MH转化指标是为了避免辛普森悖论。但是，进一步问题是，为什么辛普森悖论在这里是需要避免的? 具体到上面的例子，为什么按照简单加和计算出CVR增加的结果是不合理的，而按照MH方法计算出的MH CVR减少的结果是合理的？

而要理解这里的问题，就需要先理解转化目标的目的和特点。

转化指标的主要目的是评价广告主的效果在实验里是变好还是变坏了，这是面向广告主的指标。有这个目的就决定了评价指标应该与大部分广告主或者广告的变化趋势一致，在变化幅度相当的情况下，如果大部分广告主或者广告效果变差，小部分广告主或者广告效果变好，则指标应该负向，反之，指标应该正向。根据这个原则，可以看出原有简单加和转化指标可能出现趋势与大部分广告主效果不一致的情况，是不合理的。

而转化指标的特点是，不同广告主转化价值的差异很大，有的广告主把下载激活应用，注册帐号定义为转化，有的广告主把购买商品定义为转化，而商品价格还可以千差万别，这样，一个转化对于广告主的价值可以有非常大的差异。而简单加和计算方式把各种转化同等对待，都简单加到分子里，是不合理的。

广告流量分析之评价指标（一）的转化率指标就讲到这里了，下一篇咱们主要讲讲ctr以及oCPA指标。

欢迎大家关注计算广告那些事儿哈，除了原创文章之外，也会不定期和大家分享业内大牛的文章哈！

广告流量分析之评价指标的选择(一)

标签：get   结果   工程师   scene   span   sum   案例   lan   ocp   

原文地址：https://www.cnblogs.com/GeorgePigX/p/14751040.html