推荐：来自人工智能的CV领域，专门做人脸识别的AI产品经理 @JASMINE的分享与整理。全文都是实战的干货，对于AI方向工作和兴趣，十分可以参考！尤其是用于面试，绝对是满满干货！
--------Jasmine--------
Q1：计算机视觉领域产品该如何比较评估？（拿人脸识别举例）
没有给具体场景这个问题还是比较难回答。人脸识别的产品也很多，我们简单分为两大类吧：
1.移动端的人脸识别：包括刷脸支付等等
2.硬件终端的人脸识别：比如应用于安防行业的人脸识别。
通常应用于终端的人脸识别挑战更大，因为摄像头像素、拍摄角度、光线、网络等等因素都会影响到人脸识别这个产品的效果。
先概括这两类的共通点：
1.从算法模型角度评估
a.准确率和召回率，对比理解，详见下图
b.响应速度：识别人脸的速度？
c.切换场景下模型表现程度：移动端识别效果、摄像头识别效果、模糊识别效果？
2.产品角度评估
人脸识别产品不只是包括人脸识别，人脸能够识别的前提是要人脸录入。人脸录入的质量直接影响到了人脸识别的效果。
1）人脸录入评估
a.便捷性：web录入还是app录入，支不支持导入？
b.用户体验：录入成功需要多久？引导过程是否流畅
c.严格程度：需不需要活体检测？是否需要正面、侧面、上下面的数据
d.数据可用性：录入的数据有效比例？
2）人脸识别系统评估
a.系统架构评估：网速对系统的影响非常大，因此基于需求选择是局域网还是互联网。系统架构直接影响到了开发难度。
b.系统功能性评估：系统可用性可否高，识别引导界面是否人性化
c.系统稳定性
不共通的：
对于第二类在工业上应用的人脸识别还有一个重要问题是“数据”，这些数据的保存期限、大小、备份方式等等都是在竞标的时候需要考虑的因素。评估人脸识别产品，这个也是必不可少的一项。
Q2:怎么去比较、选型人脸识别产品？
1.如果是你的产品需要结合人脸识别功能，选人脸识别产品就是选模型而已。根据这个功能使用场景关注就好，准确率、召回率、速度不可忽视。
2.如果你需要选型已经集成好了的人脸识别摄像头或者摄像头+服务器，需要考虑的因素就太多了。摄像头设备选型、产品效果、成本，这个产品会不会受其他系统影响，甚至就连这个产品的售前售后是否令人满意都需要考虑。产品选型需要深层次考虑到场景和需求，比如在机场的人脸识别产品选型就和街道的人脸识别产品选型不一样。
总之，了解每个产品的特色，结合自己的需求，才能完成好选型的任务。
--------补充--------
1、人脸识别是一个很重要的领域，里面有很多非常“碎”的识别项。比如
1）人脸检测。通俗的讲是“识别出人脸”（并不包含识别出“这是谁”，后面会说）。相对正式的描述是“在静止图像或者视频流中，人脸检测技术能快速准确地检测出多张人脸的位置”。
2）人脸身份识别。通俗的讲是“识别出这是谁”。相对正式的描述是“对RGB图片框选的人脸，计算出人脸128维特征描述，并与数据库中的描述比对，计算出人脸的身份”
3）人脸性别识别。
4）人脸年龄识别。准确识别出多少岁比较难。常见的是识别初某个年龄段。
5）人脸表情识别。比如识别出指定的N种表情类型（平静、高兴……）。
6）人脸追踪。人脸检测后，对移动中的人脸进行跟踪，保证能够对视野内人脸的移动轨迹做高速和连续的追踪和定位。
……更多的，大家可自行查资料，或者等实战的时候结合工作需要来理解。比如最近百度有宣传过下图
需要说明的是
1）以上识别项，一般还会分“离线/在线”，比如离线人脸表情识别/在线人脸表情识别，是不同的2个指标。
2）旷视科技CEO印奇最近刚公开分享：在金融安全领域，一开始我们认为人脸识别本身是最重要的技术，但随着对行业的深入我们发现活体技术（如何验证这是一张真人的脸，而不是一张照片或者视频）和防欺诈技术才是戳中用户痛点的、更本质的关键。而我们对这个行业问题本质的定义是基于深扎到这个行业和场景之中不断的实践才能得出的。”
2、评价算法性能的4个向度
1）准确率（所有人关注的）
2）误报率
3）计算成本/响应速度
4）特异性/通用性
每个产品对算法偏好有具体的要求，需要在至少16种特性组合中选取一种最适合产品的算法；通用测试结果好的算法未必适用于特定场景；所以产品定义必须先于算法研发（以人脸检测为例）。
“产品定义”，包括但不限于
--对摄像头信噪比是否有要求？
--对摄像头对比度是否有要求
--是否要求抗遮挡
--是否要求抗运动模糊
--是否要求抗光照变化
--是否要求观察角度
--是否要求处理侧脸
3、测试环境需要说明，比如
CPU：Intel(R) Core(TM) i7-4790 CPU @ 3.60 GHz
内存：8GB
系统：Ubuntu 14.04 x86_64/Windows 7 SP1 64bit
GCC版本：4.8.2
注：以上测试环境是PC，也可以在手机上。
4、需要说明测试集是什么，或者图片要求（比如“图片包含人脸大小应超过96*96像素）。
1）经典人脸身份识别测试集LFW（LFW benchmark http://vis-www.cs.umass.edu/lfw/ ）共包含13233 张图片 5749 种不同身份；世界记录99.7%。
2）CK+一个是人脸表情数据集（CK+，Extended Cohn-Kanade Dataset， http://www.pitt.edu/~emotion/ck-spread.htm ），包含固定表情和自发表情，包含123个人的593个表情序列。每个序列的目标表情被FACS编码，同时添加了已验证的情感标签（生气、厌恶、害怕、快乐、悲伤、惊讶）。
……
5、需要说明“有效距离，左右角度，上下角度，速度”等参数值（范围）。
注：这和“部署的灵活性”相关——由于不同客户不同场景的需求不同，所以技术方的人脸检测模块，一般可以通过调整参数得到N种亚型，以适应不同应用场景(光照、角度、有效距离、速度) 下对运算量和有效检测距离的需求。
6、误报率（False Alarm）
家用机器人/摄像头，可能会常开人脸检测，误报是会非常影响用户体验的（比如，没有异常情况但频繁报警提示）。所以误报率，会是这类场景的重要指标。
7、最后说明一点，很多公司刷榜的数据，更多是PR效果。
UCLA的@朱松纯 教授 最近刷屏文章里就提到：[咱们刷榜比打乒乓球还厉害，刷榜变成咱们AI研究的“国球”。所谓刷榜，一般是下载了人家的代码，改进、调整、搭建更大模块，这样速度快。我曾经访问一家技术很牛的中国公司（不是搞视觉的），那个公司的研发主管非常骄傲，说他们刷榜总是赢，美国一流大学都不在话下。我听得不耐烦了，我说人家就是两个学生在那里弄，你们这么大个团队在这里刷，你代码里面基本没有算法是你自己的。如果人家之前不公布代码，你们根本没法玩。很多公司就拿这种刷榜的结果宣传自己超过了世界一流水平。]
希望咱们AI产品经理们，未来能更多的从实际场景里的用户、客户的使用反馈，来定义更好的问题和解决方案，倒逼技术甚至整个行业的前进。
欢迎小伙伴加微信：mllianai 交流。
更多干货可关注微信公众号：凤城狂客（chanpin007）
想学习更多关于产品策略、工作、认知和干货，可关注公众号进入知识社区（免费）。
以上内容，原文来自@jasmine，点评整理自饭团“策略产品经理研习社”，点击这里可关注：https://fantuan.guokr.net/groups/149349010586624?utm_source=kuahao
网友评论