数据综合下载地址：
视频数据集
1、YouTube-8M数据集
地址
简介
YouTube-8M是一个大型标记视频数据集，由6百万多个YouTube视频ID组成，具有来自3,800多个视觉实体标签。它配备了数十亿帧和音频片段的预先计算的视听功能，旨在适合单个硬盘。这使得在单个GPU上在不到一天的时间内在该数据集上训练强基线模型成为可能！同时，数据集的规模和多样性可以深入探索复杂的视听模型，即使以分布式方式进行培训也需要数周时间。
视频个数
6百万个视频： 视频会统一采样，以保留YouTube上受欢迎内容的多样化分布，但需要选择一些限制条件以确保数据集的质量和稳定性：
- 每个视频必须是公开的，并且至少有1000个视图
- 每个视频的长度必须介于120到500秒之间
- 每个视频必须与我们目标词汇表中的至少一个实体相关联
- 删除成人和敏感内容（由自动分类器确定）
视频总时长
350000小时的视频：该数据集代表超过350,000小时的视频，通常需要数百TB的存储空间。处理此数据集还需要50个CPU年的计算量（每个CPU实时视频处理）。为了消除存储和计算瓶颈，我们提供预先计算和压缩的功能，这使得在一个GPU上在不到一天的时间内在该数据集上训练启动器模型成为可能！
2.6亿视频、音频特征
视频经过预处理，可提取最先进的13亿视觉和13亿音频特征。我们提取视频级别的特征以及帧级和段级粒度（1秒分辨率）特征。使用在ImageNet上训练的 Inception-V3图像注释模型提取视觉特征 。使用 Hershey等人描述的VGG声学模型提取音频特征。视觉和音频特征都经过PCA编辑和量化，以适应单个硬盘。所有特征的集合小于2TB。
3862个实体标签
目标注释词汇表由3862个 知识图形实体组成，包括粗粒度和细粒度实体，这些实体已被半自动策划并由3个评估者手动验证以在视觉上可识别。每个实体至少有200个相应的视频示例，每个实体平均有3552个培训视频。三个最受欢迎的实体是 游戏，视频游戏和车辆分别用788288,539945和415890个训练样例。最少见的是Cylinder和Mortar，分别有123和127个培训视频。这些实体分为24个高级垂直类别（一级类别），最常见的是艺术和娱乐（3.3M培训视频），最不常见的是财务（6K培训视频）。
视频平均个数3.0
真实有效的视频标签是每个视频的主题，由YouTube视频注释系统使用，元数据，上下文和用户信号确定。每个视频的真实有效的标签数量从1到23不等，每个视频平均有3.01标签。标签/视频的第60和第80百分位数分别为3.0和4.0。
图一：纵坐标是垂直标签（一级标签），横坐标是每个一级坐标含有多少个实体标签（二级标签）
图一：一级标签对应含有实体标签个数
图二：纵坐标是垂直标签（一级标签），横坐标是每个一级坐标含有多少个训练视频
图二：一级标签对应含有训练视频个数
2、行为数据集系列
14年前的系列：14前数据集
挑一些常见的列举：
| 数据集 | 类别数 | 视频数 | 来源 | 视频长度 | 时间 |
|---|---|---|---|---|---|
| KTH | 6 | 2391 | 计算机视觉领域的一个里程碑 | 2004 | |
| HMDB51 | 51 | 6849 | 视频多数来源于电影，还有一部分来自公共数据库以及YouTube等网络视频库 | 2011 | |
| UCF101 | 101 | 13,320 | YouTube | 2013 | |
| AVA | 80个原子动作 | 6,849 | 电影 | 15分钟 | 2015 |
| ActivityNet-200 | 200 | 19,994 | YouTube视频 | 2016 | |
| miniKinetics | 200 | 12000 | YouTube视频 | 2018 | |
| Kinetics-400 | 400 | 30624 | YouTube视频 | 2017 | |
| Kinetics-600 | 600 | 500,000 | YouTube视频 | 每段视频持续10秒 | 2018 |
UCF系列
UCF101
UCF101是从YouTube收集的具有101个操作类别的真实动作视频的动作识别数据集。此数据集是UCF50数据集的扩展，具有50个操作类别。
凭借来自101个动作类别的13320个视频，UCF101在动作方面提供了最大的多样性，并且存在相机运动，物体外观和姿势，物体比例，视点，杂乱背景，照明条件等的大变化，它是最多的迄今为止具有挑战性的数据 由于大多数可用的行动识别数据集都不现实并且由演员进行，UCF101旨在通过学习和探索新的现实行动类别来鼓励进一步研究行动识别。
101个动作类别中的视频分为25组，每组可包含4-7个动作视频。来自同一组的视频可能共享一些共同的功能，例如类似的背景，类似的观点等。
动作类别可以分为五种类型：1）人 - 物体相互作用 2）仅身体动作 3） 人 - 人相互作用 4）演奏乐器 5）运动。
UCF101数据集的动作类别包括：涂抹眼部化妆，涂抹唇膏，射箭，婴儿爬行，平衡木，乐队行进，棒球球，篮球射击，篮球扣篮，卧推，骑自行车，台球射击，吹干头发，吹蜡烛，体重深蹲，保龄球，拳击沙袋，拳击速度袋，蛙泳，刷牙，清洁和挺举，悬崖跳水，板球保龄球，板球射击，厨房切割，跳水，击鼓，击剑，曲棍球惩罚，地板体操，飞盘捕捉，前爬，高尔夫挥杆，理发，锤子投掷，锤击，倒立俯卧撑，倒立行走，头部按摩，跳高，赛马，骑马，呼啦圈，冰舞，标枪投掷，杂耍球，跳绳，跳跃Jack，Kayaking，Knitting，Long Jump，Lunges，Military Parade，Mixing Batter，Mopping floor，Nun chucks，Parallel Bars，比萨抛，弹吉他，弹钢琴，弹奏小提琴，拉小提琴，弹奏大提琴，玩Daf，玩Dhol，吹长笛，玩西塔琴，撑杆跳，鞍马，拉扯，冲床，俯卧撑，漂流，攀岩室内，绳索攀爬，赛艇，萨尔萨旋转，剃须胡子，Shotput，滑板登机，滑雪，Skijet，天空潜水，足球杂耍，足球罚款，静态戒指，相扑摔跤，冲浪，秋千，乒乓球拍摄，太极拳，网球秋千，投掷铁饼，蹦床跳跃，打字，不均匀的酒吧，排球扣球，与狗一起散步，墙壁俯卧撑，写在船上，哟哟。剃须胡子，Shotput，滑板登机，滑雪，Skijet，跳水，足球杂耍，足球罚球，静态环，相扑摔跤，冲浪，秋千，乒乓球拍摄，太极，网球秋千，投掷铁饼，蹦床跳跃，打字，不均匀酒吧，排球扣球，与狗散步，墙壁俯卧撑，写在船上，哟哟。剃须胡子，Shotput，滑板登机，滑雪，Skijet，跳水，足球杂耍，足球罚球，静态环，相扑摔跤，冲浪，秋千，乒乓球拍摄，太极，网球秋千，投掷铁饼，蹦床跳跃，打字，不均匀酒吧，排球扣球，与狗散步，墙壁俯卧撑，写在船上，哟哟。
UCF-sport
UCF体育数据集包括从各种体育运动中收集的一系列动作，这些动作通常在广播电视频道（如BBC和ESPN）上播出。视频序列来自各种素材网站，包括BBC Motion gallery和GettyImages。
该数据集包括总共150个序列，分辨率为720 x 480.该集合代表了各种场景和视点中的自然行动池。通过发布数据集，我们希望鼓励在无约束的环境中进一步研究这类动作识别。自推出以来，该数据集已被用于众多应用，例如：动作识别，动作定位和显着性检测。
AVA：5万个精细标注视频片段
为了创建AVA，谷歌首先从YouTube收集了大量多样化的视频内容，内容集中在是电影和电视这两个类别，视频里有不同国籍的专业演员。每个视频分析其中15分钟的剪辑片段，并这个片段均匀分割成300个不重叠小片段，每一段3秒钟，这种采样策略保留了动作序列的时间顺序。
接下来，在每个3秒片段的中间帧，手动标记边框里的人。打标者从预定义的80个原子动作词汇中，选择适当数量的标签来描述人物的行为动作。这些行为分为三组：姿态/移动动作、人和物体的交互、人与人的交互。因为对所有人的动作都进行了全面打标，因此AVA的标签频率是呈现长尾分布的，如下图所示。
谷歌发布AVA数据库：5万个精细标注视频片段，助力识别人类动作
与其他动作标签数据集相比，AVA具有以下主要特点：
基于人的标签：每个动作标签都与人相关联，而不是与整段视频或剪辑关联。常见的场景是同一场景中有多个人在执行不同动作，为这些动作分配不同的标签。
基于原子视觉动作：谷歌将动作标签限制在精细的时间尺度（3秒），在这个尺度上动作都是物理动作，并具有清晰的视觉特征。
基于真实视频资料：谷歌把电影作为AVA的数据来源，包括不同国家、不同流派的电影。因此，数据源覆盖了大部分人类行为。
Kinetics-600
Kinetics-600是一个大规模，高质量的YouTube视频网址数据集，其中包含各种以人为本的行动。我们发布Kinetics数据集的目的是帮助机器学习社区推进视频理解模型。它是2017年发布的初始动力学数据集的近似超集，现在称为Kinetics-400。
该数据集由大约500,000个视频剪辑组成，涵盖600个人类动作类，每个动作类至少有600个视频剪辑。每个剪辑持续大约10秒钟，并标有一个类。所有剪辑都经过多轮人工注释，每个剪辑均来自一个独特的YouTube视频。这些动作涵盖了广泛的课程，包括人 - 物体交互，如演奏乐器，以及人与人之间的互动，如握手和拥抱。
网友评论