
内容来源:2017年8月12日,七牛云AI实验室Leader林亦宁在“网易博学实践日:大数据与人工智能技术大会”进行《平台改变计算机视觉》演讲分享。IT 大咖说(ID:itdakashuo)作为独家视频合作方,经主办方和讲者审阅授权发布。
阅读字数:1624 | 4分钟阅读
嘉宾演讲视频及PPT,请点击:http://t.cn/RDGqoEL
摘要
视觉是机器人行业目前有待解决的核心问题,这也正是七牛云AI实验室Leader林亦宁选择把计算机视觉作为研究方向的原因。
背景
在当今模型越来越大的趋势背景下,以前“小作坊”式的工作方式已经不好使了,必须要进行生产方式上的变革。
在以前没有非常成熟的深度学习框架,当时同时出现了Caffe、torch、theano,但经过残酷的竞争后,Caffe现在的江湖地位相对于其它两个来说已经是不可撼动的了。
之后过了一两年,如雨后春笋般出现了大量的框架,有mxnet、paddlepaddle等等,因为算法会越来越复杂,所以很多大公司都开始抢占算法框架这个市场。
有人还觉得一些算法框架比较麻烦,所以会出现在原生算法上去集成新的API接口,使原生的算法框架变得更友好更简介。
阿里和亚马逊推出了自己的算法平台,像京东、小米这样传统上认为和深度学习打不上交道的公司,也都开放了自己的算法平台。
这是最坏的时代 这是最好的时代
上述的这些算法框架代表了对这个时代的旺盛追求和企业急切想拥有这些技术的愿景。这个时代自然会有很多人会觉得人工智能要取代自己的工作了,甚至会有人想通过人工智能谋取非法利益,这些都是这个时代的乱象。
那么为什么又说这是最好的时代呢?人工智能在当下无疑就是一场“大革命”,这样的时代当然会有一些行业衰落,也会有新的行业崛起。
当变化来临的时候,我们都将面临选择,是要继续坚持之前做的事情,还是去勇敢地拥抱变化?
Connect
我们把移动互联网的上半场定义为连接时代。用户存储数据之后会提出需求,在存储端处理图片。随着新的需求出现,我们会为用户提供直播点播方案,以及一些CDN方案。
目前在我们的平台上,每天有超过10亿图像上传,超过万亿的音视频存储。现在我们要获取新的客源成本会很高,所以我们的用户会需要一些智能化的方法,从连接转向智能,通过智能去提高自己的变现能力。
What are they?
我们在和很多企业探讨后,把需求总结为三个层次。首先最基础的是内容审核,第二个是运营分析,第三个层次就是可以用AI去做一些更有创造性的事情。
对于这三个层面落地到我们这里,首先我们会涉及到图片分类、检测、分割、跟踪、和描述等都是基本算法层面的需求。
然后我们就希望能有一个算法平台来完成这些事情。
上图就是从用户调用我们的API到底层服务的一个层次架构。
我们和其它平台的区别就在于,因为我们有很多互联网客户,他们的需求是越早上线越好。所以我们会先上一个准确性不是太高的模型或服务,然后希望它可以快速迭代。
对客户来说会希望这个迭代周期越短越好,我们认为这是我们平台非常重要的一个因素。所以在设计平台的时候会认为我们平台是一个完整的东西,需要有一个用户行为的入口,有了这个入口就可以在整个服务中形成一个完整的迭代过程。
我们的特色就是有端到端的、有用户行为输入的一个平台。
这是我们平台的架构层次图。底端是算法框架层面的基础设施。
在基础框架之上做了Tool Set,最有特色的就是LabelX,可以用于进行一些数据标注的工作。AtFlow是一个数据流的工具,通过它进行样本处理。
我们在这两个工具之上建立了一个个算法镜像。
再上一层是Templet,用于做真正的算法服务,把几个Modular合并成一个需要的Templet,作为一个不断迭代更新的产品。
Templet的上一层就是给用户调用的API,最后则是一个产品级别的应用。
上图是我们平台构建一个深入的架构图。底层是存储、日志和数据库。在中间用Caching IO对数据进行缓存,把数据在两个集群之间打通。再上层是我们基于编排Docker系统的算法镜像库。在容器基础上,我们的训练都是在K8s上起的一个个job。上图左边是数据处理的环节,可以进行数据放大和数据清洗。在数据流和训练的job之上,我们可以做一个个算法应用,可以做迭代训练、增量训练、半监督训练和模型融合等算法的多模型结合实验。最右边是API的管理,可以自动评估API的效果以及自动的更新。
上图是推理过程的层次结构。底层是原子API,在上面几层可以通过排列组合的方式对不同的进行组合式的选择调用。在一整个servrering系统中,API是分层级进行调用的。Argus机器视觉系统需要支持这样一个功能。
我今天的分享就到这里,谢谢大家!
网友评论