在SXSW大会上展出的技术、电影、游戏,VR和360度媒体给人留下深刻印象。图形芯片巨头AMD也有一些新的技术进行展示——这些技术将大大改变新闻业。
新闻业开始利用360度媒介,甚至有专门的显示格式。摄像机更易为人所使用,功能也更加强大,但是当其作为产品、编辑和那种内容的流媒体,仍然需要一些进步。360度拍摄需要由许多摄像机拍摄连续镜头,再对其进行拼接,ADM尝试对Radeon Loom 360拼接技术采取措施,降低拼接的复杂性,来实现实时拼接。这项技术将会在”4月14日的SXSW大会上进行展示。在此之前,媒体与AMD软件和VR市场方面的主管Sasa Marinkovic通过邮件讨论了这项新技术。
Q:实时拼接会怎样影响360度视频产品的生产人员?
Sasa Marinkovic:
“之前硬件和软件的限制意味着,拼接高分辨率的360度视频需要花上数小时,甚至数天,这对360度视频产品的生产者来说是一个很大的挑战。有些故事可以等,有些却则不能,尤其是“突发新闻”。”
“之前硬件和软件的限制意味着,拼接高分辨率的360度视频需要花上数小时,甚至数天,这对360度视频产品的生产者来说是一个很大的挑战。有些故事可以等,有些却则不能,尤其是“突发新闻”。”
Radeon Loom是AMD的开源360度视频拼接框架,对解决这一问题有帮助,增强生产人员捕捉和实时拼接内容的能力,生产沉浸式新闻故事,与其他数字、广播媒体一样快捷。
根据被使用的装备的种类和使用方式的不同,这里仍然有一些不同的挑战需要解决。这里有多种新闻的生产方式,从新闻报道(短期的)到调查故事,和纪录片(长期的)。视频内容的类型决定这个视频制作、发行需要多少时间,所以,像Radeon Loom这种类型的编辑应用需要投入使用。
为了实时布置,所有设备的摆放位置也需要考虑。每个位置都是独特的,但是你可以根据不同的情况来进行不同的机位布置,例如用成套设备拍摄一段采访,或者用许多摄像机设备直播一个现场音乐会。使用360度摄影机是不能让摄像师在摄像机后面的,因为这样的话摄影师会被观众看见。因此,你可能会把进行拼接和查看的电脑,放置到远处或墙壁、绿幕的后面。
Q:这会是一种可帮助有线新闻网络以现场报道的方式进入360度平台的技术吗?
Sasa Marinkovic:
”正如之前提到的,以前的硬件和软件存在限制,意味着这会花上数小时、甚至数天时间去拼接一个高分辨率的360度视频,如此一来360度的视频的内容通常限制在需时更长的报道中,就像调查报道和新闻纪录片。“
”正如之前提到的,以前的硬件和软件存在限制,意味着这会花上数小时、甚至数天时间去拼接一个高分辨率的360度视频,如此一来360度的视频的内容通常限制在需时更长的报道中,就像调查报道和新闻纪录片。“
Radeon Loom结合了许多Radeon GPU和最快的CPU,使得现场实时拼接和快速在线拼接成为可能。这意味着,即使是突发新闻也可以在360度视频中得到表现,得到有关新闻事件的极度沉浸体验,就像在新闻事件的现场一样。
这有可能再次把新闻业的发展推向高峰,所有的报道都能获得及时的沉浸体验。想象一下用360度全景实时观看一场街头游行该是多么震撼啊,就像我们正站在发生示威的街头现场。
Q:使用VR对新闻业来说,有什么立竿见影的益处?有什么障碍是必须克服的吗?
Sasa Marinkovic:
“人们有一种与生俱来的欲望,是去把自己沉浸在360度景象、故事和体验中,在我们这个时代并不新鲜。然而,在VR中,有史以来第一次,观众可以变成这个活动中的一部分——不管是重现一个历史性的时刻还是参加一个现场体育赛事——不管在这个世界的任何地方。VR中的体验不像我们在以往所经历的任何体验,以往的那些是远离现实生活的。然而,这里仍然有许多基础的问题需要解决,譬如视差、摄像机数量和拼接缝数量的矛盾、传感器间曝光的差异。”
“人们有一种与生俱来的欲望,是去把自己沉浸在360度景象、故事和体验中,在我们这个时代并不新鲜。然而,在VR中,有史以来第一次,观众可以变成这个活动中的一部分——不管是重现一个历史性的时刻还是参加一个现场体育赛事——不管在这个世界的任何地方。VR中的体验不像我们在以往所经历的任何体验,以往的那些是远离现实生活的。然而,这里仍然有许多基础的问题需要解决,譬如视差、摄像机数量和拼接缝数量的矛盾、传感器间曝光的差异。”
我们要在业界为电影VR视频体验释放的创造力,让高品质的360度视频更加普遍。我们要尽一切力量,让开发者和报道者创造优秀实时内容的过程尽可能简单。
视差:第一,是视差问题。非常简单,两个在不同的位置的摄像机看同一个物体,是需要从不同的视角去看,就像你把手指靠近鼻梁,只用左眼或右眼去看手指时,出现的背景是不一样的。具有讽刺意味的是,这种视差是你的大脑结合图像去决定景深时必须用到的。同时,这会造成一个问题,当我们尝试将两个图像合并在一起时,会使你的眼睛误以为它们是一个图像。
摄影机数量vs.拼接缝数量:使用更多摄影机去创造拥有更高分辨率的图像,有更高的光学性能(由于较小的失真,较窄的镜头,而不是鱼眼镜头),也意味着有更多的拼接缝。当人和物品穿过这个缝,视差问题会被小的角度区别反复地暴露。当有更多的相机,将所有图像拼接在一起也更加困难,错位将导致虚影。更多缝也意味着更多的加工时间。
曝光差异:第三,每个摄影机传感器都有不一样的观测光线的条件。例如拍摄落日场景,我们会有一个朝着西边的摄影机对着光,和一个朝着东边的摄影机在一个较暗的区域。虽然智能演算法可以调节、混合不同画面的曝光,但这只能在一定照明和色彩精度范围、以及整体动态范围内操作。这个问题在低光线条件下会被放大,可能会影响艺术表现。
存储:360度视频的数据量是十分巨大的。如果你用60帧每秒来拼接24HD的视频,你每分钟会需要450GB的内存。