2022年10月27日,2022全球家庭互联网大会元宇宙峰会落下帷幕,本次大会由众视Tech、AsiaOTT主办;元宇宙与虚实交互联合研究院学术支持,上海市电影电视技术学会、5G中国创新百人会、上海市信息家电行业协会、上海市超高清视频产业联盟联合主办;黄浦区科技创业中心支持,旨在汇聚尖端菁英从内容、应用、服务、营销、终端全产业链,进行多形式、多角度、多维度的交流与思考,以助力推动数字家庭新生活场景创造进程,加速各垂直领域和产业拥抱元宇宙。
在27日的音视频元宇宙论坛上,清博智能元宇宙研究室主任尹健发表题为《从vr进入音视频元宇宙》的精彩演讲。
拓展现实:
1. 虚拟现实-VR:进入全部虚拟的场景,VR是以计算机技术为主,综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等多种高科技的最新发展成果,借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界,从而使处于虚拟世界中的人产生一种身临其境的感觉。
2. 增强现实-AR:现实中叠加虚拟元素,AR是一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,从而实现对真实世界的“增强”。
3. 混合现实-MR:虚拟与现实互动融合,MR是虚拟现实技术的进一步发展,通过在现实场景呈现虚拟场景信息,在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路,以增强用户体验的真实感。
VR技术困难:
1、自由度( dof)
自由度就涉及到了VR眼镜的追踪精度。3dof是只能检测头部3个转动角度的自由度,6dof可以检测头部的全部空间和角度信息。所以,选购6dof交互空间会带来更自由更佳的游戏体验。
2、视场角 (FOV):
一般来说,视场角越大,视野也就越大。通俗来讲就是,你所看的目标物体超出你的视场角范围那一部分,你是看不到的。更大的FOV具有更强的沉浸感,用户可获得更强的身临其境的感受。一般来说,6DoF交互的可视角度要优于3DoF的。
3、PPD(角分辨率)
PPD = 单眼成像外接圆的直径像素点数量 ÷单眼成像的对角线的视场角 FOV。
使用VR的时候分辨率和看电视的分辨率是不一样的,因此需要关注ppd,人在现实中的ppd大概是60。
VR前沿动态:
1. 显示技术:VR眼镜最重要的配置是两片透镜,透镜表面设计有平凸(非球面)、双凸和凹凸效果,边缘薄,中心厚。凸透镜能修正晶状体的光源角度,导致人眼重新读取,达到增大视角、放大画面、增强立体感的作用,从而让人感觉身临其境。显示技术是VR眼镜的核心,显示技术包括:交错显示、画面交换、视差融合。vr光学方案经历了非球面透镜、菲涅尔透镜、Pancake(超短焦光学折叠光路 ) 方案三个阶段。
10月12日,Meta召开2022Connect发布会,发布全新MetaQuestPro,QuestPro采用Pancake光学模组取代了Quest2中的菲涅尔透镜。中心视野清晰度提高25%,周围视野清晰度提升50%。
VR硬件的关键环节包括光学、显示、芯片与传感交互等,各环节技术水平决定设备整体性能,如今VR发展方向逐渐清晰。。VR设备未来高增长仍然可期,我们看好短中长期不同阶段的多重因素推动VR设备保持快速增长趋势。
全球首个设备是YVR 2一体机,其他设备有pico4、创维Pancake1。
2. 传感器技术
第一类是IMU传感器,即惯性传感器。包括加速度传感器、陀螺仪和地磁传感器,这些传感器主要用于捕捉头部运动,特别是转动。IMU传感器在VR中起着基础核心的作用。因此,对于VR设备而言,产品体验主要就是动作捕捉的准确性和显示的延迟这两方面,而这很大程度上,都是由设备中的IMU惯性传感器决定的。
第二类是红外传感器,目前的方案有红外摄像头和红外感应传感器等,具体方案不同,用的传感器也不同,主要用来实现动作捕捉,特别是使用者左右前后的移动。
第三类是VR设备中会用到的其他类型传感器,如佩戴检测用的接近传感器、触控板用的电容感应传感器等已被广泛使用,而眼球追踪用到的红外摄像头,及实现手势识别、实现AR功能的传感器等可能会被应用在未来的VR设备中。
VR一体机使用操作
1. 以oculus quest2为例。
首先透过手柄和眼镜上的 4 枚摄像头,Quest 2 会用一系列步骤,教用户好设置 PassThrough 安全区。在安全区内,玩家可以随意走动,一旦走出安全区,画面会跳出虚拟世界,让玩家看到周围现实环境,从而避免碰撞。
拇指遥杆:控制上下左右移动
B / Y:确定/ 取消;可以切换左右手,点击Y换成左手操作;点击B换右手操作。
A / X:选择对象,确定/ 取消。
左手柄的菜单按钮:重置你的位置。
右手柄的菜单按钮Oculus Home:按下按钮弹出通用菜单,长按可以居中视图。
手柄上侧的扳机按键:确定。
手柄两侧的握手按键:可以模拟握拳或用虚拟手抓住物体。
手势追踪功能:
选中:将手指指向图标,拇指和食指捏在一起,可以选中;相当于扳机按键功能。
滚动菜单:将拇指和食指捏在一起,向上或向下移动手可进行垂直滚动,左右移动可进行水平滚动;松开手指停止滚动。
显示主菜单:转动手掌面向自己,然后把拇指和食指放在一起;如果操作正确就会看到 Oculus 图标。将手指捏在一起后,在菜单出现时松开即可。
使用快捷方式访问菜单,包括将麦克风静音、录制视频和召唤语音助手:转动手掌面向自己,然后把拇指和食指放在一起;如果操作正确就会看到 Oculus 图标。手指捏在一起不要松开,将它们移到所需的菜单项上,然后再松开。
VR音视频的应用
Pico多人影院,VR一体机追剧,郑钧VR演唱会,汪峰VR演唱会,VR才艺晚会,VR元旦活动。
其他的应用
vr游戏:
1. 节奏竞技类游戏:节奏光电、SUPERHOT VR、剑与魔法、半条命:ALYX。
2. 冒险益智类游戏:Down the Rabbit Hole、MOSS。
3. 休闲娱乐类游戏:Vacation Simulator、Vacation Odyssey。
4. 社交聊天类:VR CHAT、Rec Room。
vr体育:
《All-In-One Sports VR》、《Badminton VR》、《Eleven Table Tennis》、《ForeVR Bowl》。
vr教育:
《cubism》(立体主义)、《Tilt Brush》、《Mind VR Exploration》、《VR New York Story》。
责任编辑:徐晓俊