GFIC2022 | 上海文化广播影视集团技术中心总工程师 尚峰:《元宇宙时代下SMG的实践和思考》

 

尚峰演讲全文如下：

 

非常感谢组委会，非常感谢各位嘉宾，我是上海电视台的尚峰，赵教授把元宇宙的产业政策，包括产业的状况做了一个介绍。我们SMG作为一个元宇宙当中的参与者，我也来谈谈我们自己的体会和经验。

 

当下元宇宙是一个非常火热的词，每个人心中大家都有自己对元宇宙的理解，可以说每个人的心中都有自己的一个小宇宙。在SMG的眼中这个宇宙是什么？我们认为这个元宇宙是可被感知的，同时也是建立在数字技术上的。从理想的角度来讲，它可能有三种形态：

 

1、虚拟现实：与当下宇宙完全不同，是一个凭空构建出来的虚拟世界。

 

2、混合现实：当下宇宙的数字拓展或变形。也就是混合现实也好、增强现实也好，在现有的宇宙上面增加了新鲜的场景和内容。

 

3、数字孪生：当下宇宙的数字对应。比如说这样一个空间在另外的数字世界里面有一个一一对应的模型，我们把它叫做数字孪生。

 

既然我们把它称为一个“宇宙”，应该有许多宇宙具备的特征，首先谈到一个宇宙，应该是巨大的、无尽的空间。第二，它应该是全面的，应该包罗万象的，应有尽有，现实世界有什么的，它里面也应该有。同时它是海量的，具有海量的内容。既然是这样的空间，无论从被感知的主体来讲，它应该是提供了沉浸的体验，不但包括空间，还包括其他的触觉，各方面的感觉。既然把它称为宇宙了，一个非常重要的就是“持久性的问题。

 

我们理解的宇宙不应该是昙花一现的，今天出现了明天消失了，从整个体系来讲，它应该是非常长的一段时间能够持续下去。在这个宇宙里面的一些内容肯定会有自己的生命周期，可以生成、可以消亡，但是从整个大的结构来讲，它应该是一个持久的。同时还有物理上面的自洽，我们构建的这个宇宙应该是依据物理规律能够自动运行的，而不是需要靠一定的干涉去推进。

 

大家知道元宇宙在英文里面还灌了Meta的词，既然称为Meta，一定要有逼真的体验，而且这个逼真从我们的角度来讲，如果非常理想的话，应该是极其逼真，应该和现实世界中你能感受到的一切，都应该是有一个非常好的还原。同时我们希望这个宇宙无处不在，随时随地可以去触达。另外还有非常重要的，你要非常方便地进去、出来，这和我们现在交互传感设备具有非常大的关系。这个应用不单在进入、进出的繁琐的程序，另外还有你进入的方法。

 

大家看到这是一个非常理想化的，是我们想象当中的星辰大海，现实可能比较原始一点。SMG更愿意从狭义的角度去看待当下的元宇宙发展的阶段，我们认为这个元宇宙目前还是一个非常原始的时期，甚至是一个原始社会。从这个角度去看，我们可以非常清晰地找到自己的定位，可以在有限的空间里面构建体系，可以寻找一些有限的场景去实践，同时我们提供的也是有限的体验，包括存续的时间和运行的物理规则，可能我们做不到全部的，我们可以做到部分的。

 

从服务的体验来说，整个模拟的逼真程度，大家可以看到前面包括杜总借用了会议的场景，里面人物的模型虽然是一个人，但是和我们真实的人之间还有很大的差距。同时我们也是有线接入，大家进入这个宇宙的时候，需要特定的设备或者特定的环境进入，同时它提供的功能也非常有限。

 

既然是这样，但并不妨碍我们在这上面去探索，在这方面我们去寻找自己发展的方向，我们也在这个里面去寻找自己的定位。
 

正如Meta是从社交平台，比如说国内的腾讯是从全真互联网，还有阿里巴巴的云，购物。其实它们都是从各自擅长的领域切入元宇宙，构建自己生态的环境。SMG也是，我们从自己擅长的文娱生活互动的方向，去构建自己沉浸式的场景和领域。
 

如果把元宇宙分成这几个层面（如图），我们会做应用场景的开发商或者沉浸式内容的提供商。

 

如果更技术化一点，我们把它分成几层的架构来看（如图），我们处在生态层。我们这个行业可能和其他行业是并行或者是交叉的，比如说医疗、社交、生活、办公。我们不会去做生产底层基建设施的供应商，也不会做制作工具的生产商，我们会关注在生态层上面的应用和场景的建设。

 

具体我跟大家介绍一下这两年在元宇宙方面的一些实践。正如赵教授说的，其实元宇宙对我们来说是一个非常历史悠久的领域，为什么这样说？现在的元宇宙它的一些既有的新兴技术和现在的一些传统技术改良，对我们来说是非常熟悉的。比如说计算机图形的技术。

 

SMG在很早就开始切入虚拟制作，从大概2008、2009年前后就具备了自己虚拟制作的能力，这几年通过设备、工具的赋能升级，我们再做的范围和领域能力各方面越来越大。

 

我们从两个方向去切入元宇宙的场景，第一个是赋能自己的主业。我们做好自己、做好当下，我们关注沉浸式内容的生产。在这里面我们做了两个方面：

 

第一个方面，元宇宙世界里面的主体（虚拟人），我们在做虚拟的主播、虚拟偶像，其实大家可以看到第一波在2009-2015年之间，2015年我们旗下的幻维数码为央视春晚打造了李宇春的虚拟形象，我现在在的SMT也在做申小雅（音），包括在B站上面的雪风军团虚拟偶像的设计、建设和运营。

 

从技术上来讲，我们跨了三代，第一代是2D二次元的虚拟形象，最近也在做3D的二次元，完全是一个动画人物，但它是3D的场景。最近我们也在做3D的拟真，是一一对应的完全数字孪生的人。

 

第二方面，我们从自己最擅长的综艺节目（文娱IP）切入。

 

第一个我们往虚拟增强，就是我们在现实的世界里面增加虚拟的环境，虚拟的场景应用。这是我们和B站和其他的合作方共同合作制作的一个在真实环境下加入虚拟元素的音乐会。大家可以看到后面全是真人的乐队在演奏，同时我们的虚拟形象、虚拟的演奏乐队和真人完全融合在一起，这个也是一个3D虚拟人的形象。

 

第二个就是我们做了一个倒过来的，构建了一个完全虚拟的场景，把我们的真人放到环境当中，我们做了综艺节目《街舞》，这个节目可以看到数字人也好、数字的环境，包括车厢市，还有虚拟城市，这是完全在虚拟世界里面重新构建的一个世界，和现实世界完全不同的，但是我们把一个真人放到了这个里面，和虚拟的人物进行街舞比赛，这就是一个虚拟人，包括他的车、他的城市环境；这是真人，放到大家在虚拟的舞台上面做一个PK。

 

我们在其他的综艺节目也在尝试，包括上海的中秋晚会。

 

除了为传统节目赋能，同时也是寻找增值空间的方向以外，SMG也是一个综合的产业集团。我们围绕多元化产业的环境下，在寻找一些新的赛道、新的业态，重点有三个方向：文旅、数字展示、体育赛事。

 

大家知道文旅方面，SMG在上海这样的区域还是有比较丰富的文旅资源，包括东方明珠塔也是在我们旗下东方明珠的上市公司里面。早年我们做了外滩的灯光秀、音乐厅3D投影秀，这些介于元宇宙、虚拟现实等方面的探索。最近我们也做了一些数字化的展览，构造了一个富春山居图的展览，我们最近在做元宇宙的计划，这里面有一个东方明珠穹顶包括外围基于虚拟混合现实的虚拟现实的节目。

 

另外，我们在数字展示方面做了很多。我们旗下的幻维公司和SMT在数字领域积累了非常丰富的经验，幻维公司为故宫博物院做了穿越丝绸之路的展，同时我们去年做了花博会完整的主题展览。

 

我们旗下的SMT为进博会做了一个线上的展览馆，从大的城市场景切入到数字展馆，这全部是拟真，按照展览中心基本的架构构建的展区环境。这是一种很好的方式，为远程不能参加会议的或者是其他不便到场的观众，能够获得非常好的体验，也推广了整个展览会的传播范围。

 

我们做了一个会议系统，你可以像游戏一样进入会议场景，选择自己参会的会场，同时可以换肤、换脸、换服装，可以自己设定角色，相互之间可以聊天，这是参会的一种新体验。

 

我们还非常关注体育赛事的转播，体育赛事是非常大的文娱产业，SMG在这方面积累了非常多的赛事转播经验。我们在这方面除了传统的球赛转播，我们在上面做了许多虚实结合、虚拟的、在线的尝试。大家可以看到我们做的中超虚拟广告或者CBA的赛事分析系统，包括我们切入到电竞游戏方面比赛的业务场景。

 

包括我们也做了数字孪生和混合现实结合的在线上比赛的赛事系统，这是我们做的当中一个应用，就是赛艇。其实我们沿着浦江两岸，完全按照一比一构建的数字孪生的世界，这是在黄浦江上，这边就是陆家嘴，上面有两个赛艇在走，这个赛艇是由在不同的地点的两个真人在比赛，他们通过划船器的设备，可以参加到这个比赛当中。另外，我们也在做完全虚拟的电竞比赛现场转播的尝试。所以，在体育方面，元宇宙技术的应用其实是非常多的。

 

除了这两方面的内容/应用场景以外，我们也非常关注技术。前面谈到我们不会去做技术，我们不会研发这些技术，不会去做原生的开发，但是我们会关注它的应用、它的优化。在这里面我们关注三个方面：

 

1、基础制作能力。

 

2、追求逼真的效果。

 

3、能够自驱动，能够自洽。

 

比如说，我们有自己的动捕棚，但我们会优化。我们非常关注逼真，大家可以看到皮肤细腻的质感，包括衣料的还原，包括徽章光的还原的逼真度，这是我们最近在打造3D完全拟真的数字人过程当中，和其他大家看到的一些普通的数字人的巨大差别。

 

第三非常重要的就是自洽，我们希望这个人能够自动动起来，而不是一个木偶，我们希望它是它自己，这里面要有AI能力的优化，也有许多AI能力的拓展。不同的AI驱动口型的能力和效果都是不一样的。

 

这几年我们一直在接触元宇宙或者在实践元宇宙也好，但是这个里面也有许多痛点，也有许多感悟，也有许多体会。

 

这个方面来说，我们现在还在实践它的运营，从另外一个角度来讲就是如何去赚钱。我们认为在整个元宇宙持续的发展、运营的过程当中，其实有几个方面是非常关键的。一是核心创作的能力，所有的物件是不是有能力去创作。这些东西出来以后，你是不是有运营的能力，你有了运营能力以后，你需要有宣传推广，这些构成了完整的可持续发展的模式。但是你要快速发展成长，还有一个销售能力，这两年我们在做持续的摸索、实践，大家可以看到有些节目，包括有些形象的制作是非常花时间和成本的。这些东西能不能为我们的节目增值或者寻找新的收入方向，能够推动我们可持续运营，其实是非常重要的事件。

 

过程当中我们碰到了很多问题，比如说平台。我们也没有能力建这样非常庞大的基建平台，但是我们非常关注里面的数字资产，这些数字资产我们是希望自己来做的，但是许多基础能力是不是可以用一些公有的平台或者是不同的平台选择也好。我们也不排斥合作，因为元宇宙我们只做了其中一环，内容、场景，但是配套的还有其他方方面面的，比如说你的经济体系、你的治理体系，其实我们也在努力地和不同种类服务的平台去提供对接。

 

到目前为止，我们对数字资产本身的权力划分和运营，还在探索阶段。特别是数字资产，比如说这个资产我们自己做了，但是有些人在上面加了一些拓展，这些权力到底是怎么划分的，这背后牵扯到数字经济整体的运行规则/模式。

 

对技术来讲，最困扰的是迭代的问题，我们的和技术在不断变化，无论从底层的能力到交互感知，目前交互感知还没有突破性的变革，但是它的迭代速度已经非常快了，你的VR眼镜能力越来越强，体感的舒适度越来越好。我们最近做了一次元宇宙应用，用了128幅虚拟眼镜，里面的还原度和处理能力有了很大的提高，我们在软件的架构上面做了很大的改革，有许多东西放到眼镜上面做了。

 

我们原来做的东西，如果你的技术体系迭代升级了，我们这些东西怎么办？数字资产是不是也要相应的升级？这其实是困扰我们技术上面非常大的一个问题。我们已经从0开始出发了，虽然我们这个1非常宏大和非常遥远，但也不妨碍像马拉松一样去持续探索和发展，以上是SMG在这方面的实践，谢谢大家！