调查预测电影类型和估算预算的最佳功能

弗吉尼亚大学的一组研究人员最近进行了大规模的分析，旨在识别电影预告片中最能预测电影类型和估算预算的功能。在他们的研究中，研究人员专门比较了视觉，音频，文本和基于元数据的功能的有效性。

“视频理解是图像理解后的下一个前沿，”开展这项研究的研究人员之一Vicente Ordonez告诉TechXplore。“然而，迄今为止，关于视频理解的大量工作主要集中在人类执行单一动作的短片上。我们想要更长的时间，但也有计算能力的问题。视频预告片看起来像是一个中间的妥协，因为它们显示了从恐怖到有趣的众多事物。“

电影预告片很短，很容易与电影描述配对。Ordonez和他的同事意识到这些特征使他们成为研究视频和语言之间相似之处的理想选择。

此外，最近的研究已经介绍了几种用于分析与文本描述配对的图像的有前途的工具。研究人员很想在视频识别任务中评估其中一些技术。

最初，当他们尝试使用完善的方法来分析短视频片段到电影预告片时，结果令人失望。因此，他们决定进行深入调查，以确定对分析电影预告片最有效的功能。

“我们发现，结合所有模式(即视频，文本，音频和元数据)，我们能够收集有关特定类型和特定模态之间预期相关性的宝贵见解，例如，在预测电影时视觉特征更有价值这项研究的另一位研究人员Paola Cascante-Bonilla告诉TechXplore。“此外，我们发现，与仅使用视频，文本和元数据相比，在我们的实验中包含音频可显着提升类型预测性能。”

研究人员观察到，在分析电影海报时导致效果不理想，专注于预告片中呈现的所有电影特征(即视频，文本，音频和元数据)导致了显着的改进。这些发现特别值得注意，因为它们可以帮助开发更有效的分析电影的工具，并作为未来研究的基础。

有趣的是，当关注从预告片中提取的视频，文本和音频数据时，Ordonez，Cascante-Bonilla及其同事能够估计出一部电影的类型，其精确度与通过分析电影的元数据(即有关其演员，导演的信息)所获得的精确度相当。等)。因此，研究人员在他们的研究中使用的技术结合了不同的特征/形式，可用于分析更广泛的电影。

在他们的研究中，该团队还引入了一个新的数据集，用于培训和评估电影分析工具。这个名为Moviescope的数据集包括5,000部电影，以及相应的预告片，电影海报，电影情节和相关的元数据。

“我们的研究结果表明，仅仅一部电影的文字摘要不足以区分动画电影和另一种类型的电影，”参与该研究的另一位研究人员Siva Sivaraman表示，他现在在微软工作。“你需要'看''预告片才能决定给定的电影是否有动画。我们使用的模态注意技术允许我们识别和分析模型在预测特定类型时更加关注的特征。正如我们预测的那样，该模型学会在对动画类型进行预测的同时权衡视觉特征而不是其他特征。“

这个研究小组收集的调查结果可能对电影分析和电影广告产生重要影响。在未来，其他研究小组可以利用这些观察结果来开发更有效的工具来预测电影的特定方面。此外，Ordonez及其同事使用的技术可以告知广告业如何创建更具影响力的预告片。

“我们现在正计划使用电影情节和海报来分析电影的广告方式，并从消费者和经销商的角度提出最大化电影广告效果的建议，”Ordonez说。