在视频中查找有趣的帧

有没有人知道我可以用来为视频找到"有趣的"代表性缩略图的算法？

我说30个位图,我想选择最具代表性的一个作为视频缩略图.

显而易见的第一步是消除所有黑框.然后或许寻找各种帧之间的"距离"并选择接近平均值的东西.

这里的任何想法或发表的论文都有帮助吗？

如果视频包含结构,即几次镜头,则视频摘要的标准技术涉及(a)镜头检测,然后(b)使用第一帧,中间帧或第n帧来表示每个镜头.见[1].

但是,让我们假设您希望在从单个摄像机源获取的单个连续帧中找到一个有趣的帧.就是一枪.这是在IR/CV(信息检索,计算机视觉)文本中广泛讨论的"关键帧检测"问题.一些说明性方法:

在[2]中,为所有帧计算平均颜色直方图,关键帧是具有最接近直方图的关键帧.也就是说,我们根据它的颜色分布选择最佳帧.

在[3]中,我们假设相机静止是帧重要性的指标.如上面的床所示.我们使用光流选择静止帧并使用它.

在[4]中,每个帧被投射到一些高维内容空间中,我们在空间的角落处找到这些帧并使用它们来表示视频.

在[5]中,使用它们在内容空间中的长度和新颖性来评估帧的重要性.

一般来说,这是一个很大的领域,有很多方法.您可以查看学术会议,如国际图像和视频检索会议(CIVR),了解最新的想法.我发现[6]提供了视频抽象(关键帧检测和摘要)的有用的详细摘要.

对于你的"找到最好的30位图"问题,我会使用像[2]这样的方法.计算帧表示空间(例如帧的颜色直方图),计算直方图以表示所有帧,并使用两者之间的最小距离的帧(例如,选择最适合您空间的距离度量.我会尝试地球移动者的距离).

MS Lew.视觉信息检索原理.Springer Verlag,2001.

B. Gunsel,Y.Fu和AM Tekalp.分层时间视频分割和内容表征.多媒体存储和存档系统II,SPIE,3229:46-55,1997.

W.沃尔夫.通过运动分析选择关键帧.在IEEE国际声学,语音和信号处理会议,第1228-1231页,1996年.

L. Zhao,W.Qi,SZ Li,SQ Yang和HJ Zhang.使用最近特征线的关键帧提取和镜头检索.在IW-MIR,ACM MM,第217-220页,2000中.

S. Uchihashi.Video Manga:生成语义上有意义的视频摘要.在Proc.ACM Multimedia 99,Orlando,FL,Nov.,383-292页,1999.

Y. Li,T.Zhang和D. Tretter.视频抽象技术概述.技术报告,惠普实验室,2001年7月.

你问过论文,所以我发现了一些.如果您不在校园或与校园的VPN连接,这些文件可能很难到达.

PanoramaExcerpts:提取和打包视频浏览的全景图

http://portal.acm.org/citation.cfm?id=266396

这个解释了生成漫画风格关键帧表示的方法.

抽象:

本文介绍了自动创建类似漫画书的图片视频摘要的方法.视频片段的相对重要性是根据它们的长度和新颖性来计算的.图像和音频分析用于自动检测和强调有意义的事件.基于这种重要性测量,我们选择相关的关键帧.选定的关键帧按重要性确定大小,然后有效地打包到图片摘要中.我们提供了一个量化度量,衡量摘要在视频中捕获突出事件的程度,并说明如何使用它来改进我们的摘要.结果是一个紧凑且视觉上令人愉悦的摘要,捕获语义上重要的事件,适用于打印或Web访问.通过包括从OCR或其他方法派生的文本标题,可以进一步增强这种摘要.

基于scenecontent自动提取代表性关键帧

http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=751008

抽象:

为电影制作索引是我们寻求自动化的繁琐且昂贵的过程.虽然可以容易地获得用于查找场景边界的算法,但是在选择单个帧以简洁地表示场景方面几乎没有进行任何工作.在本文中,我们提出了基于场景内容自动选择代表性关键帧的新算法.在几种算法的详细描述之后,分析人类感觉所选择的帧代表场景的程度.最后,我们将讨论如何将这些算法与现有算法集成以查找场景边界.