美文网首页安防咨询
大数据AI监控系统数据采集流程

大数据AI监控系统数据采集流程

作者: 622a71f30bdb | 来源:发表于2018-12-06 09:39 被阅读0次

随着大数据应用的不断发展和成熟,一些监控系统企业已收获可观的回报。近来,大数据的处理更是发展到了一个更高的新水平,即人工智能(AI)平台的形式。AI平台预计将在未来十年产生重大影响(或颠覆)。在各种技术中,人工智能用于处理海量数据集将前所未有地提升商业智能和分析。

AI智能机器学习是运用算法来分析数据,并从中学习和做出预测。算法包括决策树学习、聚类、强化学习和归纳逻辑编程。

人工智能和机器学习现在主要用作研究和网络活动的个人助理,以及完成诸如接电话、做销售预测和驾驶车辆之类的任务。这些技术综合在一个AI平台中时,将显示出巨大的应用前景

AI平台是一种比传统框架更高效、更智能化的框架。设计得好的话,它可为组织或监控系统企业提供与数据科学家和员工更快、更高效和更有效的协作。它可以帮助以多种方式降低成本——防止重复工作、使简单任务自动化,以及消除一些费用昂贵的活动,例如复制或提取数据等。AI平台还可以提供数据治理,确保由AI科学家和ML工程师组成的团队的最佳实践应用。它还可以帮助确保工作更均匀地分配、更快地完成。

AI平台一般将其要素组织成五个逻辑层:

数据和集成层提供对数据的访问。这种访问是至关重要的,因为开发人员不手工编写规则,相反,规则是由AI运用它所访问的数据进行“学习”的。

实验层允许数据科学家开发、测试和证明假设。设计良好的实验层将提供自动化的特征工程、特征选择和模型选择。

操作和部署层提供模型治理和部署。正是在这里对模型进行风险评估,允许模型治理团队验证它。这一层提供了跨平台部署各种容器化模型和组件的管理工具。

智能层提供对人工智能工作的支持(培训活动在实验层进行)。智能层组织和提供智能服务,并且是用于指导服务交付的主要组件。理想情况下,在该层实现诸如动态服务发现之类的概念,以提供支持认知交互的灵活响应平台。

体验层通过诸如增强现实、会话UI和手势控制之类的技术与用户交互。这一层通常由认知体验团队控制,该团队努力创建丰富且有意义的、由AI技术支持的体验。

使用人工智能分析大数据可以提供对影响企业的外部和内部机制更深入的理解。采用最新的大数据体系结构和机器学习可以更好地支持人工智能的使用。一个现代的、先进的基于人工智能的平台具有以下特征:

· AI可以访问所有可用的数据

· 它从客户或潜在客户的历史中学习

· 它从以前的类似客户那里获取经验,并展示过去行之有效的策略

· AI监控和学习,发现人类可能错过的模式

· AI实时学习,并根据新数据作出实时响应

· 基于变化的数据提供指导

· AI融合机器学习

为了使用先进的AI收获最大的结果,应满足以下三个基本要求:

一、是分析框架。分析框架是随着时间推移而开发的用于解决特定业务问题(通常是复杂的)的方法。使用分析框架是支持系统的AI和机器学习能力的关键。

二、是语境。目前AI和机器学习在判断语境方面表现还非常差。AI可以发现趋势,并且从数据中判断发生了什么,但是超越趋势来推荐员工应该做什么,就必须要考虑语境。虽然人们希望AI能够学习如何确定语境,但这目前还不是现实,还需要由人工确定语境并将其添加到模型中。

三、是适当的技术。与传统的分析系统不同,AI支持的平台必须是可扩展的,以便AI学习和创建解决方案。传统的分析系统会提供对数据的洞察力,而AI会实时地提供建议。

对于安防监控系统AI,看上去是AI,实际上最后是大数据,大数据才是智能化的基础。人工智能、深度学习、机器学习、大数据应用在安防监控系统AI中, 说到底都是对大数据的采集、建模和应用。本文大致说一下安防监控系统AI中,对于大数据的运用过程与环节,让大家有个大致的印象。

安防监控系统AI大数据流程三个环节

1、数据采集

数据采集,有说数据获取,这是数据的来源,安防监控系统AI中这个数据是来源于视频监控系统中的视频流,当然往大了说安防监控系统,还包括很多内容,但是基本都是以视频监控为核心,这里主要指视频监控系统。

2、数据预处理

对于采集到的实时或者历史视频,是只能看不能应用的,要调用就得结构化,先给视频流解码,把视频流还原成一张张图片,再对图片进行预处理。可能不同的公司对预处理包含的步骤内容说法不太一致,我是以安软慧视的技术负责人介绍为准。先对图片进行目标清洗垃圾,清洗掉模糊的、不合尺寸的,目标无法识别的、无目标对象的等等。

当然,有些场景可能只有这样的图像,这需要用到另外一些图像处理方法,和我们的主题相关但不是一回事。这样我们就可以得到基本符合要求的图像。然后对这些图像中的目标对象进行检测和分割,并改变目标的大小与标准图片大小一致,目标对象包括人形、人脸、车形等,这样就可以拿去训练模型了。

3、模型训练

对图片中的目标对象进行识别,提取和构建模型,在安防监控系统AI中,需要的结构化描述是比较具体的,比如对人的描述就包括性别、年龄、发型特征、发饰、上衣款式特征、下衣款式特征、鞋帽款式特征、交通工具特征、随身物品特征、同行人特征等一系列描述。对车的描述包括车牌号码、厂牌、车身颜色、车辆品牌、车辆类型、车辆特征物(如:年检标、挂饰、纸巾盒、遮阳板)等。

有了这些识别模型,就可以通过语义分析等技术对视频数据进行分类处理存储,并通过后端服务器的智能分析功能进行业务处理,将人、车、物的信息从数据中分离出来。这样公安民警就可以进行快速检索、条件搜图(人)、以图搜图,再配以图片的拍摄地点、时间等数据,就可以进行轨迹查询,再匹配一下大安防监控系统系统中的住宿、手机号码、车票等大数据,基本上嫌疑人就是插翅难逃,这对民警的破案效率将是百千倍的提升。这才是安防监控系统AI真正的价值所在。

安防监控系统AI数据预处理技术及方法

目前常见的数据预处理技术

1)数据清理

数据清理例程就是通过填写缺失值、光滑噪声数据、识别或者删除离群点,并且解决不一致性来进行“清理数据”。

2)数据集成

数据集成过程将来自多个数据源的数据集成到一起。

3)数据规约

数据规约是为了得到数据集的简化表示。数据规约包括维规约和数值规约。

4)数据变换

通过变换使用规范化、数据离散化和概念分层等方法,使得数据的挖掘可以在多个抽象层面上进行。数据变换操作是提升数据挖掘效果的附加预处理过程。

数据清理方法

1)缺失值

对于缺失值的处理,一般是能补的就想办法把它补上,实在补不上的就丢弃处理。通常的处理方法有:忽略元组、人工填写缺失值、使用一个全局变量填充缺失值、使用属性的中心度量填充缺失值、使用与给定元组属同一类的所有样本的属性均值或中位数、使用最可能的值填充缺失值。

2)噪声数据

噪声是被测量变量的随机误差或方差。去除噪声、使数据“光滑”的技术有分箱、回归、离群点分析等。

3)数据清理过程

这个环节主要包括数据预处理、清理方法、校验清理方法、执行清理工具及数据归档。数据清理的原理是通过分析“无效数据”产生的原因和存在形式,利用现有的技术手段和方法去清理,将“无效数据”转化为满足数据质量或应用要求的数据,从而提高数据集的数据质量。常用的工具有Excel、Access、SPSS Modeler、SAS、SPSS Statistics等。

4)模型构建数据统计分析

数据统计为模型构建提供基础,只有通过数据统计分析探索到了数据中隐藏的规律,深度学习才有意义,人工智能才有可能。数据统计又包括数据分析与结果分析,基本的分析方法有:对比分析法、分组分析法、交叉分析法、因素分析法、结构分析法、漏斗图分析法、矩阵关联分析法、综合评价分析法等。

高级的分析方法有:主成分分析法、因子分析法、对应分析法、相关分析法、回归分析法、聚类分析法、判别分析法、时间序列等。这些类别并不是独一使用的,往往是混合使用的,然后再通过进一步的分析对比从中挑选某些组合模型。

5)数据可视化

数据可视化,就是通过一些可视化图形或者报表形式进行展示,增强对分析结果的理解。再针对结果进行进一步的数据再分析,使得整个业务环节形成闭环。只有闭环的数据才能真正发挥出深度学习的效用。

安防监控系统AI大数据的应用

安防监控系统大数据的应用当前是围绕提升破案率和提升警务工作效率为中心的,要想在安防监控系统数据的基础上开发出优秀的应用,必须要深入了解警务工作流程,从接处警、现场勘查、情报研判、应急指挥、关联碰撞、合成作战,再到各类型警用装备间的互联互通,再到各警种间的配合,再到各警种业务数据库间的融合。这些都要有详细地了解,才能发现针对刑侦破案、治安防监控系统控、交通管理的应用间的差异。

 说到底,大数据最终是为应用服务的,只有最后真正提高了公安民警的工作效率和破案率,才能证明安防监控系统AI的价值和意义。这就要求我们既要懂AI业务,又要懂公安业务。脱离了这两者,想让安防监控系统AI得到大面积推广是连想都不要想的。

相关文章

  • 大数据AI监控系统数据采集流程

    随着大数据应用的不断发展和成熟,一些监控系统企业已收获可观的回报。近来,大数据的处理更是发展到了一个更高的新水平,...

  • 现场管理系统-B端

    关键标签:后台施工管理系统,施工流程监控, 物联网数据采集, IOT网关设备,移动端完成数据采集,web后台审核技...

  • redis监控指标

    服务器系统数据采集 Redis Server数据采集 Redis响应时间数据采集 Redis监控Screen 一、...

  • 利用grafana+influxdb+prometheus搭建监

    监控系统 数据可视化:Grafana 数据存储:InfluxDB/Prometheus 数据采集:Telegraf...

  • Mysql数据库监控Prometheus+Grafana搭建

    简单来说,Prometheus其实就是一个监控数据采集和存储系统,他可以利用监控数据采集组件(比如mysql_ex...

  • 明景跨镜追踪行人再识别技术--北京明景科技

    电影《速度与激情7》中的“天眼”系统,可以整合全球所有数据采集、监控设备,通过手机音频、监控摄像头等采集大量数据,...

  • 性能监控学习随记

    Grafana:数据采集—》数据存储—》数据展示,grafana只是展示数据使用 所有的监控和系统都是在容器里面部...

  • 方案

    硬件建议 配置 操作系统 用途 系统性能 流程 数据来源 数据采集(汇报)方式 溯源查询 数据分析

  • 前端监控原理

    前端监控分为性能监控和错误监控。其中监控又分为两个环节:数据采集和数据上报。本文主要讲的就是如何进行数据采集和数据...

  • filebeat+logstash+influxdb+ Graf

    filebeat+logstash+influxdb+ Grafana打造网站日志监控系统 采集数据(fliebe...

网友评论

    本文标题:大数据AI监控系统数据采集流程

    本文链接:https://www.haomeiwen.com/subject/jtjncqtx.html