7. 决策分析思想1：什么是一个好的模型？

作者: BT小芒 | 来源:发表于2020-10-18 02:42 被阅读0次

基础概念：careful consideration of what is desired from data science results（仔细思考下想从数据分析结果中得到什么）；expected value as a key evaluation framework（关键评估框架的期望结果是什么）；consideration of appropriate comparative baselines（思考如何找到恰当的比较基准线）.

exemplary techniques：various evaluation metrics（多样评估指标）；estimating costs and benefits（评估成本和收益）；calculating expected profit（计算预期收获）；creating baseline methods for comparison（为对比而创造比较基准线的方法）.

商业模型的数据价值经常会被忽略，但是商业问题之间的差异都很大，很难有一个统一的判别方法写在本书中，但本书会讨论一些尽量通用的判定方法和框架。

Evaluating Classifiers（分类器评估）

在第五章里面，对于分类模型，描述了一个使用测试集来判定模型精度的方式。

sidebar：bad positive and harmless negatives

这里使用了医学疾病诊断的阳性（positive）和阴性（negative）的区分来说明positive和negative并没有绝对的好和坏的辨别。

Plain Accuracy and Its Problems（简单精确度及其问题）

$accuracy=\frac{Number-of-correct-decisions-made}{Total-number-of-decisions-made}$

上式就是准确度的衡量标准，即做出的正确决策的比率。

通过这个公式来得到分类器模型的准确率是简单的，因为结果只是一个数值，但是因为过于简单，所以会出现很多问题，我们通过混淆矩阵（confusion matrix）来发现这些问题。

The Confusion Matrix（混淆矩阵）

为了合理地评价一个分类器，首先要了解分类混淆（class confusion）和混淆矩阵（confusion matrix）的概念。

混淆矩阵就是一个 n*n 的矩阵，n是分类器的类别总数，列元素表示元素的实际分类，行元素表示元素在分类器中的预测分类。这里以一个简单的2*2混淆矩阵为例，如下图：

2*2混淆矩阵示例

列标：p（positive）和n（negative）是元素的实际分类结果；

行标：Y（yes）和N（no）是分类器的预测结果；

矩形区域中填写元素个数，从而得到每种结果组合下的元素数，p-Y和n-N是正确分类结果的元素，其他区域的是错误分类结果的元素。

Problems with Unbalanced Classes（不平衡分类的问题）

根据一个例子来进行说明，有时候在分类问题中，两种类别的分布比例是999:1也就是分类到多数类的时候，有99.9%的正确率，这个时候容易得到一个策略，那就是无脑将归类指向那个99.9%的类别，这时就有99.9%的正确率，这种状态是不合理的，但这种状态在实际应用中是经常遇到的。

以电信运营商携号转网问题（cellular-churn）为例，A分析师得到一个80%准确的结论，而B分析师得到一个64%准确的结论，A得到的模型比B要好吗？不一定，基于一个10%左右用户会转网的基准概率，在数据中完全单项归类到不转网，就能达到90%左右的准确度。

所以衡量模型的标准不能是准确度。

下面对两个churn的模型进行对比，如下图：

表7-2 & 表7-3 可以看到模型A中，预测对了所有churn的用户，但对not churn的用户只预测对了60%；模型B中，预测对了所有的not churn的用户，但对churn的用户，只预测对了60%。

上图中的样本空间是平衡后的样本空间，即50%（500人）的churn和50%（500人）的not churn，但是将这个模型应用到未进行平衡的样本范围时，模型A的准确率降低到64%，模型B增加到96%，这样其实也不能通过准确率来对比出哪个模型更优。

Problems with Unequal Costs and Benefits（成本与收益不对等的问题）

另一个根据模型的预测准确度来评判模型的问题是，模型准确度并没有将预测错误的情形进行区分（false positive and false negative errors），而是仅做简单的数量加总，但实际情况中，这些预测错误的情形都是有较大差异的。

举例：一个没得癌症的人被诊断成了癌症，和一个癌症患者被诊断为没得癌症，两者的结果差异就很大，前者能活，后者会直接放弃治疗。

Generalizing Beyond Classification（超越分类的归纳）

这个小节主要讲为什么这个数据模型是有效的，这些指标怎么落实到要预测的结果上面。

A Key Analytical Framework：Expected Value（期望）

公式7-1，通常的期望计算公式如下：

$EV=p(o_{1} )\cdot v(o_{1} )+p(o_{2} )\cdot v(o_{2} )+p(o_{3} )\cdot v(o_{3} )+\cdot \cdot \cdot$

公式中po是o发生的几率，vo是o发生时的数值。

Using Expected Value to Frame Classifier Use（使用期望来计算分类应用）

第一个案例是关于，使用历史数据对一个新消费者的期望消费额度进行预测，假设针对这个消费者已有输入向量x，这个消费者的响应概率是 $p_{R}(x)$ ，收入模式是，推广到这个消费者，消费者被转化则赢单，未被转化则单纯增加成本（通常这个转化率都低的可怜，这里也涉及到行业经验的另一个点，对数值的判断，提前了解了这个常规值的话可以避免因小概率值而放弃推广或错误地去修改模型），那么收益公式如下：

$Expected-benefit-of-targeting=p_{R}(x)\cdot v_{R} +[1-p_{R}(x)]\cdot v_{NR}$

$v_{R}$ 是得到相应后的收益， $v_{NR}$ 是未得到响应时的收益（这里vnr等于0，因为这就是你发广告了但是人家没买）。

但是当算上营销成本时，vnr就可能是一个负值了，这样算更准确，当整体收益为正时，我们就给这个用户发广告，为负时就忽略这个客户。

Using Expected Value to Frame Classifier Evaluation（使用期望来计算分类评估-指测试模型）

在多种模型都可以分析同一个问题的时候，那么怎么衡量每种模型的表现如何？

图7-2 期望计算的一个图示。

\Pi

和

\Sigma

代表期望运算中的连乘和连加

图7-2解释：左上角通过dataset分成训练集和测试集，得到了模型和验证时左下角的混淆矩阵，把混淆矩阵的数值转化成右侧的每种情况的概率矩阵，在用概率矩阵的每种情况和这种情况下的成本（c）收益（b）矩阵对应相乘相加，得到最后的数学期望值。

Error rates

混淆矩阵的数值到比例的示例计算见下表：

表7-4 数值化的混淆矩阵示例

$p(h,a)=count(h,a)/T$ （h=预测的数值，a=实际的数值，T=汇总的预测和实际的样本总数加和）计算结果如下：

$T=100$

$p(Y,p)=56/110=0.51$

$p(Y,n)=7/110=0.06$

$p(N,p)=5/110=0.05$

$p(N,n)=42/110=0.38$

Costs and benefits

在期望收益公式中，可以参考下图来对成本和收益进行划分：

图7-3 成本-收益矩阵

在如图的成本收益矩阵中 $b(Y,p)$ 和 $b(N,n)$ 算作收益（预测正确）， $c(Y,n)$ 和 $c(N,p)$ 算作成本（预测错误）。

后续表述中，成本和收益讲统称为收益，只是成本的收益数值为负，记作 $b(predicted,actual)$ 。

图7-4 一个关于目标市场样例的成本收益矩阵，推广成本为固定的1美元，售卖一个产品的收益为100美元

使用上述的公式计算出的期望结果表述为下式：

$Expected-profit=p(Y,p)\cdot b(Y,p)+p(N,p)\cdot b(N,p)+p(N,n)\cdot b(N,n)+p(Y,n)\cdot b(Y,n)$

下面对期望收益做一个变形，概率方面的一个基础规则如下式：

$p(x,y)=p(y)\cdot p(x\vert y)$

表示，（x，y）发生的概率等于y发生的概率乘以y发生的情况下，x发生的概率，通过这个公司对期望收益公式进行变式得到：

$Expected-profit=p(Y\vert p)\cdot p(p)\cdot b(Y\vert p)+p(N\vert p)\cdot p(p)\cdot b(N\vert p)+p(N\vert n)\cdot p(n)\cdot b(N\vert n)+p(Y\vert n)\cdot p(n)\cdot b(Y\vert n)$

把 $p(p)$ 和 $p(n)$ 提公因子出来，就得到了最终的等式，如下：

等式7-2：

$Expected-profit=p(p)\cdot [p(Y\vert p)\cdot b(Y\vert p)+p(N\vert p)\cdot b(N\vert p)]+p(n)\cdot [p(N\vert n)\cdot b(N\vert n)+p(Y\vert n)\cdot b(Y\vert n)]$