「拍乐云」奚振：实时音视频产品创新与场景实践

亚太内容分发大会暨CDN峰会一直致力于推动CDN产业深度融合发展和市场普及，现已成为亚太地区影响力最大的内容分发网络盛会。十年来，在以阿里云、网宿科技、腾讯云等亚太CDN产业联盟成员孜孜不辍的努力下，CDN产业已经成为基础性设施网络，以坚定的基石之姿，支撑起中国成为世界最大的互联网市场。

 

随着全球数字化、“一带一路”战略、企业出海浪潮的盛行，亚太内容分大会暨CDN峰会的影响力正在逐渐向全球延伸，同时也将中国智造CDN产业推广向全球每一个角落。

 

在6月9日下午举办的【互动直播论坛】上，拍乐云的架构师 奚振发表了题为《拍乐云实时音视频产品创新与场景实践》的精彩演讲。

 

 

奚振首先对拍乐云的音视频服务与技术架构进行了介绍，通过提供pano cloud，客户能够使用拍乐云的全栈音视频服务，而为了解决互联网的不确定性，构建在pano Backbone实时传输加速网络上的云通信服务则保证了全球的网络必达，可承载超大并发场景。

 

 

奚振首先对拍乐云的音视频服务与技术架构进行了介绍，通过提供 Pano cloud，客户能够使用全栈的音视频服务，而为了解决互联网的不确定性，构建在 Pano Backbone 实时传输加速网络上的云通信服务则保证了全球的网络必达，可承载超大并发场景。

 

奚振介绍，拍乐云是 RTC 的 PaaS 厂商，通过集成 Pano SDK，客户能够使用 Pano Cloud 的全栈音视频服务，针对不同行业的客户，提供专业的解决方案。

 

至于为什么需要构建 Pano Backbone？则是为了解决互联网的不确定性。拍乐云借鉴了视频会议领军者 WebEx 和 Zoom 全球大规模音视频会议的经验，打造了自己的 Pano Backbone，承载大并发场景，而微服务的架构，则保障产品的稳定与高可用，终端采用智能路由，实时探测链路质量，自适应调整组网与路由策略，客户端就近接入，高效解决最后一公里问题。

 

 

基于产品的创新，为了解决用户的难题，奚振总结了以下几点对于未来实时音视频通信行业的的落地场景。

 

创新点1：视频标注

 

在视频通话或屏幕共享的整片画面中，如何让我们的视线聚焦起来？视频标注会解决这个问题，在大量信息中协助我们找到关键的焦点。在金融场景介绍理财产品时，可以圈出重要条款，在线上乐高课堂时，划出重点，而在视频会议、应急指挥、远程维修等方面，都可以找到非常实用的场景。

 

视频标注未来发展方向是什么？是AR。现在的技术是在平面做绘制，而在可见的数年之内，则能够把标注直接绘制在物体上，从平面过渡到三维空间，是技术的进一步迭代发展。

 

场景2：多摄像头采集

 

线上教学时，由于设备的单一，我们通常会切换摄像头或移动手机，这样会严重影响教学过程的流畅性，中断课程。而拍乐云追求还原完整的线下课堂，营造教学沉浸感，可单设备开启多个摄像头，提前布置摄像头，充分还原线下教学场景，发送多路视频流，大大提升用户体验。

 

实时通信的发展是在不断追求更丰富、更完整信息的输入，从文字到语音，再几年发展为视频，视频的清晰度和大小在不断提升。多摄像头采集是当前单摄像头画面的进一步增强。再往后，可推测的阶段即是VR，把整个虚拟现实的交互带到实时通信中来，让通信的双方能够在虚拟空间中达成沟通交流，是未来发展的方向。

 

场景3：视频矫正

 

在线上美术教学中存在着一个难题，手机摆在正面会被遮挡，而摆在侧面则采集到的画面是倾斜的，不规则的画面，而拍乐云通过几何失真参数估计、映射关系计算等低复杂度高效率的毫秒级视频处理算法对原视频进行矫正处理，而在实时视频中，毫秒级算法尤为重要。未来，实时视频处理算法有有着巨大的发展潜力。

 

场景4：视频白板，云端互动

 

数据白板的还原度由什么决定？主要是PPT的动效，拍乐云的PPT动效还原度能够高达95%，可以支持PPT内音视频同步播放，教师端播到几分几秒，学生端也实时同步。课程中临时的想法，灵感爆发，可以用图片的形式一键分享，线下白板有边界，而线上白板没有边界，主讲人的视角看到哪，学生也会同步跟随，这就是视角跟随。

 

遇到问题互动则进入了多白板功能，每块白板都是独立的，每个人都可以写或画下自己的想法与创意，主讲人可以选择任意一块白板进行交互。

 

拍乐云互动白板技术架构五大优势：带宽占用少，清晰度，更高超低延迟，同步推流，同步录制。

 

我们的互动白板有非常大的优势，在使用数据白板架构下，保证了带宽占用少、清晰度更高、超低延迟等传统优势的同时，通过服务器转视频流的方式，支持将白板同步推流到CDN，同时录制为视频文件存储，便于回放观看。

奚振介绍。

 

数据白板转码存储好的图片下发到客户端本地，只是同步翻页的数据，可想而知它的带宽占用非常少，而云端数据维持能力则保证了出现异常时，白板的数据会继续存在，重新回到房间即可继续教学。

 

 

基于未来美术课的发展趋势与领先的技术打造下一代在线美术教学解决方案，拍乐云给出了这样的答案。

 

支持双路摄像头，一路拍摄学生和老师，一路拍摄两边的画板；支持人像和画板的大小流切换，确保带宽用在合适的地方；白板支持教材同步共享，分享高清的教材，在美术课上，画的清晰度非常重要；实时矫正和标注，确保画纸在视频中摆正，实时标注绘画的重点和细节。

 

用户体验是在线教育产品的核心竞争力之一，也是在缺乏评价标准的数据教育赛道里相对明确的评价方式。因为学科教育非常简单，成绩就是一切，但是素质教育很难用主观评价来判断。教学过程的舒适感成为了学员学习体验的直观感受，也是影响转介绍率的重要因素。

 

奚振介绍：“拍乐云在美术教学场景上定制了非常多的能力，也是在当前最好的技术下，给予用户最好的体验。它的应用还有很多地方可以去挖掘，不仅仅是美术教学，在很多其他场景下也有使用的地方。”

 

展望未来，拍乐云将会持续打磨产品和技术，深耕行业场景，为企业和开发者解决更多在线上实时互动场景中的痛点，在不确定的未来找到用户体验增长的确定性。