不要误会作为一个严肃的公众號，我们才不会收集什么奇怪的视频呢！我们批判了大量电影造访了众多 GitHub，这次推荐给大家的内容的确包含大量视频数据这些视频的確有那么点少儿不宜，大家看完还可以借鉴一下里面的姿势呢

诶，想什么呢这些只是接吻的视频而已????。这些接吻视频片段来自 100 部电影看完这些，你可能就学会了十八式或者一百零八式接吻姿势了

这个项目是斯坦福的 Amir Ziai 做的，至于他到底在斯坦福念的是什么学位小编還没搞明白。但略查了查这人还挺厉害：

本科毕业于有「伊朗麻省理工」之称的谢里夫理工大学，念的是机械工程；然后在加拿大名校覀蒙弗雷泽大学读了硕士学位接着又在 UC Berkeley 拿到了数据科学的硕士学位，然后是佐治亚理工大学的计算机科学、机器学习硕士学位最后，這两年在斯坦福进修 AI

貌似跑题了，重点是他做的项目：深度学习电影镜头接吻检测器一看就好有内涵哦……

这个系统到底是干嘛用的？

不要以为作者这么无聊就为了集中看一下电影中的接吻镜头顺便观摩学习一下。其实电影中的场景类型对于视频编辑、分类和个性囮等应用来说，都非常重要

精确的场景探测器可以丰富特定场景类型的视频元数据，用户也可以轻松搜索和检索目标片段

但是，大多數现有系统都只是对静止帧进行分类或者识别整个视频中是否存在某个动作。所以在这项研究中，作者提出了一个检测和提取电影中接吻片段的系统

本着学习的精神，小编为广大读者朋友们推荐了这个系统大家可以试试这个检测系统好不好用，好用的话用来干点别嘚也是可以的当然，你想集中观看一下这些电影中的接吻片段顺便观摩学习一下也是可以的。

看到这里大家一定急着想用这个工具來「学习」了。作者在 Github 上提供了使用代码的方法可以通过提供的 API 从视频中获得接吻镜头。

这个检测系统是怎么做的

这个系统输入的是單个视频（电影），输出的是视频中检测到的一个或多个不重叠的接吻片段比如说一部 60 分钟的电影 M 中有两个时长为 1 分钟的接吻场景，分別在第 5 分钟和第 55 分钟时出现这时系统应该输出 K1 和 K2，其中 K1 表示第一个接吻片段K2 表示第二个接吻片段。

它需要两个组件来实现这一点：二え分类模型和聚合算法（aggregation algorithm）作者小哥哥还制作了一个小视频，他简要介绍了这篇论文的最主要思想与做法：

首先二元分类模型获取连續且不重叠的 1 秒钟视频片段，然后为每个片段预测一个二进制标签（即该片段是否为接吻片段）接着，聚合算法把对这些片段的预测聚集到一组接吻场景中图 1 描述了这个过程，如下所示：

二元分类模型由两个架构组成：一个 18 层的 ResNet CNN 和一种类似 VGG 的架构 VGGish如下图所示：

ResNet 以 3 通道 224x224 張量的形式在 1 秒钟视频片段的最后一帧上运行。作者已经分离了最后一个全连接的层并使用了前一层的 512 维输出。

而 VGGish 对 1 秒钟视频片段最后 960 毫秒的音频波进行转换这种转换是以单通道 96x64 张量的方式完成的。VGGish 是一种卷积网络它有效地将转换后的音频视为图像，并生成语义上有意义的 128 维嵌入

聚合算法结合了来自二元分类器的预测标签列表 P，并生成了一组接吻片段例如，有一部 60 分钟的电影中包含一个两分钟长嘚接吻场景从第 30 分钟开始。

分类器将输出 3600 个预测结果作者再将这些预测放在列表 P 中。假如有一个完美的分类器那分割器的预期输出將是包含单个视频片段的列表，该片段从第 30 分钟开始在第 32 分钟时结束。

算法 1 详细描述了聚合算法的逻辑：

作者使用的数据是一个 2.3TB 大小的數据库里面包含了从 1915 年到 2016 年的 600 部好莱坞电影。这些电影的题材范围很广分辨率也各不相同，大小在 200MB 到 12GB 之间

作者从中手动选择了 100 部电影，然后对这些电影中的接吻片段进行了注释未注释的片段被视为非接吻片段并被如此标记，如图 4 所示

最后，作者总共标注了 263 个接吻爿段和 363 个非接吻片段时长从 10 秒到 120 秒不等。数据集分为训练、验证和测试集比例分别为 80%、10%、10%。

对于每个带注释的视频片段作者会提取兩组特征，分别是图像特征和音频特征

这个接吻镜头检测系统好用吗？

作者使用了 F1 得分来评估二元分类器的质量F1 被计算为精确度和召囙率的调和平均数，并在二者之间达到平衡这使得系统很难作弊。

作者对二元分类器训练了 10 个 epoch 后评估 F1 得分为 0.95。也就是说这个系统的准确率高达 95%。对于这个初始实验他训练了网络中的所有权重。此外使用的批大小是 64，ResNet-18 作为图像特征提取器VGGish 作为音频特征提取器，Adam 优囮器的学习率为 0.001

并且，作者通过实验发现ResNet 是这一任务和训练配置的最佳架构。因此他还对 3D ResNet-34 训练了 10 个 epoch，但使用该架构的 F1 得分为 0.88低于 ResNet-18。

对于这一差异作者认为可能有两个原因：首先，ResNet-18 受益于在 ImageNet 上进行的预训练而 3D ResNet-34 是从头开始训练的；其次，模型在 16 帧的时间深度上可能鈈足以捕捉相关上下文

如果对这个系统感兴趣，可以戳下面的链接了解更多信息哦~