22.png
人工智能，特别是针对计算机视觉的机器学习，非常依赖于长时间的训练。AI系统会被给予大量练习素材（照片），让其了解到底是什么样的物体需要被识别。练习素材越多，AI系统最后的识别率也越高。然后在实际应用中，AI系统就可快速从照片或者视频中识别出是否有某个特定物体。但是，最近比利时KU Leuven大学的研究人员发现了一种非常简单的方法来欺骗一个训练有素的AI系统（该系统用来检测任意物体）。
33.png
这种用于检测人类的AI系统早已被世界各国的执法机构和大型公司所应用。例如，最普遍的用途就是统计有多少人进出某个公共场所，同时也可以尝试定位和跟踪特定的人，或者是某种类型的人——这一应用也引起了不少人关于公民权利是否收到侵犯的讨论。
而比利时KU Leuven大学最近的发现证明，不管这些AI系统的应用是否合法，至少它们本身并不是完全可靠的，研究人员只需用一张打印的照片就能欺骗它们。
44.png
从上方的图片可以看到，AI系统可以识别出站在左边的研究人员和椅子，但是右边的研究人员并没有识别出来，而这两个研究人员最大的不同就是右边的研究人员腰边有一张模糊的、很多人撑着雨伞的图片。需要注意的是，这张图片的模糊是经过特殊处理的。
55.png
而当研究人员把这张图片翻转时（背面为白色），AI系统立马识别出处于右边的“人类”。
66.png
一旦再把图片转回来，AI系统识别不出来。
77.png
即使研究人员侧身，AI系统还是不能识别。
88.png
把图片稍微左移，AI系统立马识别出“人类”。
99.png
再把图片递给左边的研究人员，结果AI也不能识别出站在左边的研究人员。
100.png
研究人员背对AI系统，AI系统也不能识别。完整视频：https://youtu.be/MIbFvK2S9g8
这套AI系统使用了YoLo（v2）算法来进行练习，用来识别一切可以识别的物体。但是，只需一张图片，就能让它识别失败，虽然你我都可以看出来，但它不行。当然，这个特殊的漏洞很容易解决，但可以预计，还存在很多可以欺骗AI的图片。
本文由白帽汇整理并翻译，不代表白帽汇任何观点和立场：https://nosec.org/home/detail/2537.html
来源：https://blog.hackster.io/using-a-simple-printed-picture-to-fool-human-detecting-ai-systems-48c355d1004
网友评论