美摄科技受邀亚太CDN峰会 解读多平台可扩展视频技术解决方案

图为：北京美摄网络科技有限公司研发副总监 刘路伟
 

2017年是视频领域百家争鸣的阶段，短视频工具、短视频社区等都是大家耳熟能详和日常生活中使用的。2016年底出现了一款名为“抖音”的短视频产品，当时比较火爆。大家都有一个疑问：抖音这种火爆产品是否是昙花一现?现在已经2019年了，抖音并没有像当时预期的一样昙花一现，而且现在非常好。可以看一下短视频的占比，从最开始的百分之几到现在的百分之十一点四，说明短视频迎来非常广阔的发展前景。
 

美摄科技是2014年左右成立的，核心成员已经拥有超过20年的视音频领域研发经验。众所周知，视音频领域研发门槛很高，如果一家新兴公司想要标榜火山或者是快手等主流视频厂商，想从零自研视音频技术，无论是从人力还是物力方面来讲都是比较困难的。美摄科技目前所做的就是为客户提供一套完整的解决方案，能快速灵活的接入进去，低功耗稳定的实现它们所需要的主流视音频功能。
 

美摄的视音频解决方案能实现哪些功能
 

对于需要视频处理的用户来说，最基本的需求功能就是视频拍摄和编辑功能。视频拍摄就是从采集阶段加入一些特效、人脸贴纸、背景抠像等技术生成源视频文件，编辑端可以添加字幕、特效滤镜、转场、主题等等，最终输出一个完整的效果。在基础的拍摄和编辑模块之上，还支持了其他几个模块。粒子特效模块就很像抖音里的“控雨”或者“喷火”效果。
 

AI智能视频模块目前应用的领域主要是给手机厂商做些智能相册，通过对视音频去人工智能的处理，生成它想要的结果。人脸特效模块目前使用比较多的是直播、短视频，女性可进行瘦脸、大眼、美颜美肤等操作。青年朋友还会有更多玩法，如添加面具、添加动物的假脸进行互动。
 

VR模块也是主流功能，有些客户需要360度全景视频，也可以支持对它进行编辑，然后输出。特效定制是根据不同的客户有不同的需求相应的去做定制化开发服务。
 

这些解决方案美摄在技术层面是如何做到的
 

美摄科技SDK的流媒体技术架构是指在一个流媒体上下文，可以当作美摄科技API的入口，所有数据结构的创建、所有API的调用基本是从它发起。还有时间线的概念。时间线在采集和编辑线是贯穿始终的，从产品角度来讲，它应该是视频编辑的一条主线，在这条线上可以添加视频轨道、音频轨道，从而达到视频的播放、采集的效果。在视频轨道上可以添加视频源，视频源对应每个视频的片段，可能是一个电影、一个音频、一个视频的部分，也可能是整个视频。在视频片段过程中可以添加“转场”，“转场”在视频领域来说是从一个视频跳到另一个视频，中间可能会有动画效果。对视频片段和音频片段支持剪切、移位等对应操作。时间线从刚才的流媒体上下文生成后，在它内部可以添加视频轨道和音频轨道，在轨道上可以添加视频片段，从而达到视频贯穿始终，逐帧播放、逐帧渲染，在时间线轨道上可以添加一些特效。
 

从美摄科技的角度来说，音视频特效包括变音、包括视频的一些动画效果，视频中间可以添加转场，视频上面可以添加字幕，字幕可以应用一定的字幕样式，可以更改字体、大小、挪动位置等，可以把当前的主流玩法加入这里，变成一个贴纸，像是LOGO的样子，打到视频里去。主题相当于是特效包裹的结合，可以对编辑的视频应用一个主题，主题内部套用音视频动效等5个效果。所有的特效都是支持内嵌和支持资源包的，资源包的效果可以从SDK外部引入一个包裹，这个包裹可能是美摄科技制作，也有可能是用户自己制作，通过工具转为包裹，从而在视频采集和编辑中看到自己的资源包效果，这是整个美摄科技SDK流媒体处理的基本情况。在做视频解决方案研发时，面对安卓机器海量机型，甚至有一些印度的客户低端配置安卓机型。如何让这些手机做到同样高效、高质量的处理，这也是美摄科技一直在解决的问题。经过不断地研发积累，现在美摄科技SDK支持对于不同的手机可以选择不同自定义的级别，包括码率、分辨率等等，所以能够达到很好的处理效果。

从产品角度上来说，美摄科技SDK发展至今，虽然才短短一年多时间，但服务的客户都是各行业领域头部大厂，如OPPO、VIVO、猎豹移动、哔哩哔哩、咪咕、映客、知乎、芒果TV、KEEP、房天下、小红唇、Amazer、Loopnow等。针对于不同的客户如何满足不同的需求呢?这跟产品设计、研发设计上的模块化功能是分不开的。要降低每个模块之间的耦合程度，在用户需要特定的方案时，能够把这些他需要的功能拼接成一个他想要的效果，并且保留比较低的包的尺寸。因为包的尺寸是移动用户首要考虑的问题，美摄科技包的尺寸大概在3.5兆左右。支持特效、字幕、贴纸、主题、滤镜等等。可以由用户自定义开发，然后提供拓展、提供工具、提供模板。用户的设计人员也可以根据自己的需求去设计出自己满意的资源。还支持LUT滤镜，在设计时可以把原视频颜色映射到另外的颜色，实现高效率的滤镜效果。还有一个customvideoEx，包括刚才提到的形式和人脸贴纸和粒子特效。
 

EffectSDK的新玩法
 

以上主要说的是美摄科技流媒体SDK的形式。最新推出的一个叫EffectSDK，这两个区别在哪里?流媒体SDK是输入到输出去处理。而EffectSDK可以把美摄科技的SDK作为一个渲染的中间件，通过美摄科技去做一定的预处理之后，再输出给其他需要渲染结果的接收地，从而达到中间件的渲染效果，它支持流媒体相关的功能。
 

最近美摄科技推出的服务器端新产品已经上线。比如前一段比较火的军装照，对人的面部进行自动处理与预设背景结合生成一个场景图片。也可以上传视频，根据视频的内容进行结合生成一个有意思的结果出来。现已在微信端应用了，未来会上到云的部署去做更多更好的优化。服务器端处理流程是用户向服务器端发送请求，服务器给提供功能方案，中间有些数据的交互，用户可以根据这些方案选择想要的素材，这些素材包括特效效果，滤镜、主题、贴纸等等，等于把所有移动端做的事情放到服务器端去做，最终生成一个产品的效果，这是一个比较新的玩法。
 

云端处理做了哪些技术架构
 

技术是一个CS架构，在云端部署一些服务器，在客户端和服务器中可能有些交流的组件，从而达到多个用户同时做视频处理的功能。这是目前可以支持的服务器端的一个玩法，可以制作音乐相册，可以对视频进行高级编辑，高级编辑有两方面，一种是在特效上有更多玩法，另一种是在分辨率和码率支持更高质量，最高可以支持到8K，如果用户达到一定规模，也可以去部署自己的私有服务器。既然视频都可以处理，图片美化也都可以做到。包括在上层处理时，图片和视频对于用户来说是一致的，我们对单一图片做成视频，视频上有运动轨迹，像特效一样支持定制化模板，用户可以部署自己的云端服务，达到想要的效果。
 

云端服务未来可能会服务于哪些客户
 

目前在微信公众号已经实现了这个功能，未来电视、教育行业、电商、手机厂商等等是不是也有应用云端部署的场景，这也是美摄科技思索的一个方向。