MIT最新技术:从静音视频中提取声音_最新动态_新闻资讯_程序员俱乐部

中国优秀的程序员网站程序员频道CXYCLUB技术地图
热搜:
更多>>
 
您所在的位置: 程序员俱乐部 > 新闻资讯 > 最新动态 > MIT最新技术:从静音视频中提取声音

MIT最新技术:从静音视频中提取声音

 2014/8/6 15:38:02    程序员俱乐部  我要评论(0)
  • 摘要:英文原文:Extractingaudiofromvisualinformation一组由MIT、微软和Adobe组成的图像、声学算法学家等开发出了一种新的算法,能够通过静音视频中的物品微小的振动幅度,提取复原出当时场景中的声音!该团队已经测试了该技术:测试者在房间内对话,房间内放置一个薯片袋;房间外一台摄像机隔着隔音玻璃对着这个薯片袋进行拍摄。研究人员从这段完全无声的视频中复原出了测试者在房间内的对话!其他测试对象还包括铝箔、水面,甚至一盆植物的叶子…&hellip
  • 标签:最新技术 技术 新技术

  英文原文:Extracting audio from visual information

  一组由 MIT、微软和 Adobe 组成的图像、声学算法学家等开发出了一种新的算法,能够通过静音视频中的物品微小的振动幅度,提取复原出当时场景中的声音!

  该团队已经测试了该技术:测试者在房间内对话,房间内放置一个薯片袋;房间外一台摄像机隔着隔音玻璃对着这个薯片袋进行拍摄。研究人员从这段完全无声的视频中复原出了测试者在房间内的对话!

  其他测试对象还包括铝箔、水面,甚至一盆植物的叶子……团队都能够通过算法,从这些视频中的材质表面微震中提取出有效的音频素材。该团队将会在今年的国际顶级计算机图像峰会 Siggraph 大会上呈现研究成果。

  声波接触到物品的时候,会导致物品发生振动——即便是最微小的振动。这种振动人眼几乎识别不了,人们不知道从这种振动中能够提取出信息。

  Abe Davis, 机电工程和计算机科学研究生,MIT

  团队成员还包括 Frédo Durand、Bill Freeman,两位 MIT 的计算机科学教授;Neal Wadhwa,MIT 的另一名研究生;Michael Rubinstein 博士,来自微软研究院;Gaytham Mysore,来自 Adobe 研究院。

  不过,大家别太担心普通的摄像头拍下的视频能够被用于提取音频信号。该研究团队使用了能够拍摄每秒 2000 到 6000 帧素材的高速摄像机——已经非常快,但并没有目前世界顶尖的商业级高速摄像机快,后者能够拍摄高达 10 万帧每秒的视频。

  但这并不意味着普通的摄像机达到不了效果。该团队解释,使用 60 帧每秒的摄像机拍摄的素材,通过算法仍然能够提取出「一些」音频信号,虽然可能完全听不清说的是什么,不过能够判别出讲话者的个数、讲话者的性别,甚至讲话者的声学特性——用以判断讲话者的身份。

  研究团队对着一个正在播放摇滚乐的耳机进行拍摄,通过算法重现出一个音频文件,然后播放给猜歌软件 Shazam。后者完美地识别出了最一开始播放的这首歌……

发表评论
用户名: 匿名