美文网首页产品经理@产品内容风控+内容审核
用捞鱼解释召回率、准确率,“天眼”内容审核系统(三)

用捞鱼解释召回率、准确率,“天眼”内容审核系统(三)

作者: 蟠龙_数说产品 | 来源:发表于2018-01-21 11:55 被阅读305次

    摘要

    上一篇回顾,“漏删量”是衡量内容审核业务的唯一关键指标;内容审核分为机审和人审两个环节,机审判定有嫌疑的才进入人审;其余三个指标包括:召回率、机审召回率、人审召回率,最后提供了四大指标的计算收集方法,可以随时关注总体和各环节上的量化情况。
    本篇将会着重讲解机审环节的两个业务指标:机审召回率、机审准确率。

    机审业务指标

    • 指标定义


      指标介绍

      假如用户每天发帖T条(上图绿圆),其中实际包含了实际有害内容H条(上图红圆),机审策略判定违规J条(上图蓝圆),A、B、C三个部分分别是J-H、J∩H、H-J。那么,两个关键指标的计算公式:
      机审召回率 = B/H = B/B+C
      机审准确率 = B/J = B/A+B

    • 指标理解
      可以把上述过程想象成一个大鱼塘,其中多数是白色的鱼,有少量是红色的鱼,现在要把全部的红鱼捞上来卖掉,用蓝色的鱼抄子下一抄子,尽可能把红鱼一网打尽,少捞白鱼上来,因为捞上来还要放回去浪费了时间和精力(浪费人工审核的精力)。
      再结合上面的指标定义,
      机审召回率,可以理解成“查全率”,体现了这一抄子捞红鱼的“全面度”;
      机审准确率,可以理解为“查准率”,体现了这一抄子的“精准度”,捞了多少货真价实的红鱼,多少没用的白鱼。

    机审的业务目标

    机审的业务目标:在保证机审召回率的前提下,尽量提高机审准确率。

    当前现状是这样的,机审召回率约95%,机审准确率约10%(简单理解为,人审100条内容实际审出10条有害)。看图,这是按照10000发帖量,形象表示的指标:


    当前的指标状态

    现在是如何做到95%的机审召回率的?答案是——“立体防控”召回策略。
    那么,什么是立体防控召回策略?如何提高机审准确率,减少审核人员的无用功?这些答案都会在后续文章中揭晓。

    相关文章

      网友评论

        本文标题:用捞鱼解释召回率、准确率,“天眼”内容审核系统(三)

        本文链接:https://www.haomeiwen.com/subject/rqsfaxtx.html