美文网首页
条件熵如何应用在产品逻辑推理中

条件熵如何应用在产品逻辑推理中

作者: 天气不是很好啊 | 来源:发表于2019-10-05 11:50 被阅读0次

    问题

    经纪人和用户一次IM对话的轮数 和 转委托率呈正相关,那是否可以通过,提高IM对话次数从而提高转委托率?

    先说答案,可以。第一次听到这个问题,总觉得有些逻辑坑,正好看数学之美提到了信息熵这个概念,那我们试着用<熵>这个定义,推导下这个问题,看有哪些坑,然后从业务角度看,这些坑怎么解决。

    第一个概念,熵

    信息论中的官方定义:X的概率分布和每个可能性下的信息量构成了一个随机变量,这个随机变量的均值(即期望)就是这个分布产生的信息量的平均值(即熵)。


    熵的公式

    白话:熵就是变量X的不确定性。

    但熵描述的是单一变量的不确定性,我们要的是两件事物,X和Y的不确定性,所以要引入第二个概念。

    第二个概念,条件熵

    条件熵H(Y|X)表示在已知随机变量X的条件下随机变量Y的不确定性。通俗讲,知道X的情况下,Y的信息量。

    • 计算过程:每一个X可能的取值中,计算一个关于Y的小熵,然后每一个小熵再乘以各个X取值的概率,再求和。
    • 每个Y的小熵越小,说明在X的这种取值下,Y的值越收敛,不确定性越小。
    • 条件熵越小,说明在X的各种取值下,Y的值都非常收敛,整体不确定性小。


      条件熵公式

    这个比较难理解,举个例子:

    嫁人例子

    随机变量Y=(嫁,不嫁)

    不帅的条件下,有4个数据,不嫁的1个,占1/4,嫁的3个,占3/4。

    • H(Y|X = 不帅) = -1/4log1/4-3/4log3/4 ≈ 0.244
    • p(X = 不帅) = 4/12 = 1/3

    帅的条件下,有8个数据,不嫁的5个,占5/8,嫁的3个,占3/8。

    • H(Y|X = 帅) = -5/8log5/8-3/8log3/8 ≈ 0.287
    • p(X = 帅) = 8/12 = 2/3

    Y对于X各种取值的条件熵就是:

    H(Y|X=长相) = p(X =帅)H(Y|X=帅)+p(X =不帅)H(Y|X=不帅)
    = 1/3(-1/4log1/4-3/4log3/4)+2/3-5/8log5/8-3/8log3/8
    = 0.272

    条件熵反应的是Y在X各种取值下的不确定性。

    很多策略问题,都有点条件熵的概念影子,以短信PUSH为例,理想态的push是30%点击率(瞎拍的),那没有点击的用户,可能影响效果的原因,有用户画像、文案、推送时间等等,对每个因子的优化,就是在优化H(点击|因子)这个熵。

    第三个概念,互信息

    互信息是信息论里一种有用的信息度量,它可以看成是一个随机变量中包含的关于另一个随机变量的信息量,或者说是一个随机变量由于已知另一个随机变量而减少的不确定性。


    熵、条件熵、互信息概念图

    熵,是Y的不确定性
    条件熵,已知X,Y的不确定性
    互信息,已知X,减少的Y不确定性
    所以H(Y)=I(X;Y)+H(Y|X)

    总结

    这个假设成立么?

    成立的。
    正相关,代表I(Y;X)不等于0。所以纯静态、抛开业务因素来看,提高X的确可以提高Y。
    但加入业务因素和动态两个视角,就有问题:

    • 只要X对于Y,观察到正相关,这句话都成立,但问题是选择哪个X?选择的X正确,I(Y;X)越大,这里需要靠数据+业务洞察。X可以是多轮对话的数量、对话质量、引导转委托的话术组合、甚至是经纪人say hello与否,但选择最有效的X,最有效的指标,背后考验的是对没有转委托的这部分用户的需求真实洞察。
    • 所有观测到的数据,都是自然状态,也就是没有人为插手的状态,可能X就是Y的一个附属结果,所以正相关,那人为干预提高X,就不一定能提高Y。所以,产品有了假设解后,一定要通过AB实验的方式测试是否合理,因为太多背后因子没有办法衡量。
    真做

    1.数据分析- 可以产生委托的用户有多少?
    2.数据分析- 这类用户中,有多少是对话轮数不够,没有产生委托的?
    这部分用户才是分母。

    1. 尝试,提高这部分用户的对话轮数,100个用户的对话轮数提高,90个转委托。I(Y;X)极大。

    相关文章

      网友评论

          本文标题:条件熵如何应用在产品逻辑推理中

          本文链接:https://www.haomeiwen.com/subject/orxeuctx.html