影子出卖你了?MIT新技术可根据影子还原电视画

 真人在线斗地主     |      2020-01-08 20:09
自古以来,窃视的办法层出不穷:在窗户上戳个洞;在恰当的角度摆一个镜子;安针孔摄像机……但你有没有想过,有一天,你家的墙乃至杂物堆也能当镜子用,看见你在房间里的一举一 动。
 
影子出卖你了?MIT新技术可根据影子恢复电视画面
 
近来,MIT 的研讨人员凭仗一台摄像机,录下视频或人的动作在墙角杂物堆里投下的影子,就能大致恢复出原始画面。
 
如下图所示,屏幕上正在播放一个人操作积木的视频,对面是一个杂物堆,屏幕宣告的光投射在杂物堆里。研讨人员就对着这个杂物堆进行拍摄,记载下视频的影子。
 
影子出卖你了?MIT新技术可根据影子恢复电视画面
 
记载下来的画面如下所示(左1)。假定仅凭肉眼查询,这些影子非常凌乱,对我们简直毫无意义。但研讨人员能够运用神经网络对其进行恢复。恢复效果如下图(右1)所示。乃至色彩都 能捕捉到。
 
影子出卖你了?MIT新技术可根据影子恢复电视画面
 
影子出卖你了?MIT新技术可根据影子恢复电视画面
 
具体来说,MIT 的一个研讨团队七年前发明晰一种新的成像体系,可运用地板、门和墙作为「镜子」来了解不在视界规模内的场景。运用特别的激光来生成可辨认的3D 图像,该研讨敞开了 新的可能性,让我们能够更好地了解视界规模之外的东西。
 
影子出卖你了?MIT新技术可根据影子恢复电视画面
 
最近,MIT 计算机科学与人工智能实验室(CSAIL)的一组科学家团队在这项研讨上更进了一步,不过这一次他们没有运用任何特别配备。
 
他们开发了一种可通过查询乱物堆上的美妙影子和反射印象重建视频的办法。这意味着,只需房间中有一个开着的摄像机,就能够重建出房间中看不见的角落的视频,即便这个区域在相机 视界之外也不妨。
 
通过查询视频中影子和几何结构的交错情况,该团队的算法能够猜测光线在场景中移动的办法,他们将此称为「光传输(light transport)」。然后,该体系可根据查询到的影子来估量 躲藏的视频——它乃至能够重建实景运动的概括。
 
可用于自动驾驶等场景
 
这种类型的图像重建能够有利于社会的许多方面:自动驾驶轿车能够更好地了解转角处会出现什么、老年人护理中心能够行进居民的安全性、搜救团队也能行进自己在危险和有阻碍区域中 的才干。
 
这项技术是「被动式的」,也就是说,场景中没有激光和其它烦扰。不过,现在的处理时间还依然长达大约两个小时,但研讨者表明这项技术究竟能够用于上述运用,为它们重建不在典型 视界内的场景。
 
杂物堆≈针孔拍摄机
 
「你能够运用激光等非视界成像设备完结一些东西,但在我们的办法中,你只需求有天然抵达相机的光线,然后尽可能地提取出其间的稀有信息即可。」前 CSAIL 博士后及英伟达现任研讨 科学家 Miika Aittala 说,他现在主导着这项新技术的研讨。「考虑到近段时间神经网络领域打开颇丰,现在看起来像是个处理这一领域之前被以为不行处理的难题的好时分。」
 
为了获取这种不行见的信息,该团队运用了美妙的、简练的光线条理,比方被查询区域中杂物的影子和高光部分。
 
从某种程度上讲,一堆杂物的效果就像是一个针孔相机,这类似于你可能在小学科学课上造过的东西:它会隐秘一些光线,但也会答应其它一些光线通过,这些能够描绘出它们所触及的周 遭环境的图像。但是,这儿不是凭仗让部分光线通过来构成一个可读图像的针孔相机,而是运用了一堆一般的杂物,它们会发作一副被打乱(因为光传输)得无法辨认的图像,这幅图像是影子和暗影 的凌乱交互。
 
你能够将这堆杂物视为一面镜子,为你供给周遭环境的通过打乱的视图——举个比如,这能让你看见你无法直接看见的角落。
 
用到的算法
 
该团队的算法处理的难题是解析这些打乱的效果,然后了解这些光线条理。具体来说,该算法的政策将躲藏场景中的活动恢复成人类可读的视频,这是光传输与躲藏视频的乘积。
 
但是,解析这些打乱的条理实践上是一个经典的「先有鸡仍是先有蛋」的问题。为了分析清楚打乱的办法,用户需求已知躲藏视频;或许反过来,为了知道躲藏视频,用户需求已知打乱的 办法。
 
「从数学上看,这就像是假定我奉告你我脑子里悄然想着两个数,而且它们的积是80。你能猜出它们是什么数吗?也许是40和2?或许是371.8和0.2152?在我们的问题中,每个像素都面对 着类似的情况。」Aittala 说,「简直任意躲藏视频都可用对应的扰动条理来阐明,反过来也相同建立。假定我们让计算机选择,它只会做简略的作业,为我们供给一大堆看起来什么也不像的实质 上是随机的图像。」
 
知道了这一点,该团队将研讨重心放在了避免歧义性上,他们的做法是通过算法指定他们想要的一种对应于合理的真实国际影子和暗影的「打乱」办法,然后恢复看起来有能一致运动的边 际和物体的躲藏视频。
 
该团队也运用了一个让人惊讶的实践,即神经网络天然地偏好表达「类图像」的内容,即便它们从未为此训练过也是如此,这有助于消除歧义。该算法会一起训练两个神经网络,它们都使 用了一个名为深度图像先验(Deep Image Prior)的机器学习概念,仅为一个政策视频进行了特别化处理。其间一个网络用于发作打乱办法,另一个则用于估量躲藏视频。当这两个因子组合重现了 杂物记载的视频时,这两个网络会取得奖励,然后教唆它们运用合理的躲藏数据来对查询进行阐明。
 
为了查验该体系,该团队首先在一面墙前堆了一堆东西,然后在对面的墙上投射视频以及亲安闲墙前面移动。基于此,他们能够重建出能让你对房间中躲藏区域所发作的运动有大约了解的 视频。