「中科院信息工程研究所」韩言妮:AI赋能内容网络的实践与思考

2021-06-21 17:08:56来源: 热度:
亚太内容分发大会暨CDN峰会一直致力于推动CDN产业深度融合发展和市场普及,现已成为亚太地区影响力最大的内容分发网络盛会。十年来,在以阿里云、网宿科技、腾讯云等亚太CDN产业联盟成员孜孜不辍的努力下,CDN产业已经成为基础性设施网络,以坚定的基石之姿,支撑起中国成为世界最大的互联网市场。

随着全球数字化、“一带一路”战略的推进,亚太内容分大会暨CDN峰会的影响力正在逐渐向全球延伸,同时也将中国智造CDN及产业链推广向全球每一个角落。

在6月10日下午举办的【运营商论坛】上,中国科学院信息工程研究所博士/副研究员 韩言妮带来了以《AI赋能内容网络的实践与思考》为题的主题演讲。演讲中,韩言妮从CDN内容网络发展趋势、CDN在运营商现网中实践、CDN新型架构的实践、AI赋能CDN内容网络思考等四方面探讨,为大家带来了精彩内容。


中科院作为科研单位为什么会对CDN网络非常感兴趣呢?韩言妮表示,作为科研单位一直关注历届的CDN大会主题演讲分享,并且今年的大会主题是“敬畏技术,践行初心”,也是符合中科院秉承的理念。

谈到初心韩言妮重温道CDN的诞生的一个小故事。CDN最早的发明是源于一个麻省理工学院的学术问题,最早在1995年,万维网的发明者李博士在发明互联网之后,发现随着这种宽带接入的丰富,内容资源的丰富,大量的用户来访问互联网上的资源。

这必将会造成互联网内容访问的一个拥塞,李博士便请他的应用数学同事Tom Leighton博士,从数学算法的角度对以上问题提出优化方法,能够在现有的无序访问中进行内容的体验提升,减少这种网络的无序。这就引起了这个博士的兴趣,他就立即召集他的学生组成了研究团队,从数学的角度,包括动态的部分内容优化,用一种分布式服务器的方式部署在网络的边缘,随后进行内容的复制和缓存。这就是CDN的诞生过程。

CDN从1998年正式诞生以来,伴随着互联网的发展,CDN有过快速发展和短暂低迷的时候。韩言妮介绍,CDN发展历程分为4个阶段。

其中,第一阶段是CDN诞生之际的数字化阶段,互联网以静态内容为主,并采用缓存手段;

第二阶段为CDN2.0时代,属于动态化阶段。此时出现了动态信息的交互式上传。这一阶段提升了网络性能,解决动态内容的问题;

第三阶段是CDN3.0时代,属于网络化阶段。各种智能手机和平板设备开始快速普及,用户上网的介质也从过去的固定电脑向移动设备转移为CDN发展带来了挑战;

第四阶段为CDN4.0时代,属于云智能化阶段。CDN云化整合,基于云平台的CDN向智能化演进,智能流量调配和链路管理成主线。面对海量数据,实现定制化的智能调度、大数据分析技术等,具有更强分发能力、更高效计算能力和弹性存储能力。

以上四个阶段是至2019年为止的,那么2019年至今,是属于融合智能CDN阶段。现有的CDN架构方式结构相对稳定,对现有架构进行大修大补或者完全创新目前来讲是非常困难的。因此,融合智能阶段包括四个趋势:一是全业务智能化CDN;二是ICT新兴技术的融合演进;三是边缘节点下沉/MEC;四是SDN/NFV技术的结合。韩言妮介绍。

与此同时,网络智能化已经是未来的必然趋势,它的智能一体是从调度、运维、分析、服务等方面都需要CDN注入新的活力。随着5G、云计算、人工智能、物联网、大数据等数据信息技术的迅速发展,全球数据流量呈几何级增长的态势,2021年全球所有互联网流量的77%将流经CDN;互联网视频在个人互联网流量中占比达到81%,主要得益于短视频及直播行业应用的爆发。

此外,CDN产业蓬勃发展也敦促相应国家的政策不停出台。“作为研究所,我们长期关注国家近几年在CDN领域的一些战略和方针。从2013年最早的宽带中国,国家非常就明确的提出要将CDN列为国家基础设施的重要组成部分。同时在之后的数字中国方面,CDN的重要性日渐突出,已然成为国家战略关键基础设施。”韩言妮说。

韩言妮介绍,在国家政策的推动下,中科院在2014年与运营商签订战略合作框架协议。目的在于内容网络是运营商重要基础设施,是掌控互联网流量调度权的前提。而且优化现网内容分布,提升用户体验,构建运营商核心竞争优势。面向未来实现CDN与SDN融合,探索新型内容网络发展演进路线。

在CDN的运营商现网中实践的过程中,中科院发现当前运营商缺乏一些有效的内容管理手段,业务质量无法保障。随着短视频、在线直播、AR及VR等新型应用及服务迅速发展,互联网上内容资源极大丰富,导致内容管理手段未能充分协同工作、发挥存量资源效益,为此运营商意识到内容管理的重要性和紧迫性。

“因为当时大家充分认为互联网上内容资源非常丰富,那么如何对内容网络进行一个由黑盒变成白盒是掌握互联网流量调度非常重要的抓手。因此我们希望在这方面充分发挥它的智能数据分析、智能流量调度等能力,同时面向未来开展SDN、CCN、NDN等技术的演进,探索新兴的互联网架构。”韩言妮说。对此,中科院进行多维布局,首先在运营商现网中开展内容管理平台CRS的建设,并利用平台从运营商现网中采集海量、多源的网络日志。通过数据分析与处理,力争实现全网互联网用户、分省资源的可视化。此外,通过分析热门资源的组成、分布、质量等,最终提升互联网用户的访问量。

韩言妮介绍,中科院协同运营商提出CDN内容网络建设的总体架构。目前运营商中共有三个调度中心、四个内容资源池。中科院长期承担上层内容管理平台的功能建设,通过采集底层边缘节点情况、调度中心日志等,形成CDN内容展示、决策和优化建议,并形成调度策略管理推送给内容调度层,便于全网内容资源的布局优化。”韩言妮说。

其实,内容网络现网实践还包括不同AI场景。包括智能化/自动化系统运维、数据分析与智能处理、网站域名自动化分析与维护、CDN内容安全分析和故障预测/异常分析等。

实践中,第一个应用就是热点内容智能分析与预判。是基于日志分析,强化人工智能在用户点击、流量、性能大数据的融合,部署智能算法实现热门内容预判,聚焦用户访问、内容引入、解析出网、调度错误等问题,发现内容引入差异的问题及短板。其价值在于提升内容引入精度和避免定位域名调度错误的问题。CRS现网从2016年建设到如今,能够把整体内容的点击率提升到95%以上,调度准确性也能到达95%。这些运营指标的有效引入支撑了内容引入的精度。韩言妮介绍。

第二个应用是CDN业务智能运维与异常检测。在CDN业务的运维方面,韩言妮认为对于云服务商运维是大难题。尤其是最传统的人工运维包括所谓的自动化运维,其实更多是通过一些阈值来定义的。

韩言妮讲解道:“我们觉得在CDN因为要运营大量的数据,还要进行数据分析,因此为了保证它的稳定性,减少人工的繁琐配置。经过实践探索,结合AI的智能算法,针对历史事件、当前事件和未来事件进行智能运维和异常检测。如,对历史事件进行KPI聚类、瓶颈分析、关联关系挖掘;对当前事件进行异常检测、故障根因分析、异常定位;对未来事件进行故障预测、趋势预测、容量预测等。”

除了在运营商CDN现网中实践,韩言妮还分享了中科院在CDN新型架构的实践。中科院最早从内容节点进一步下沉到LTE核心网、接入网侧,结合LTE网络特性对传统CDN进行改进和优化,包括协议适配与兼容性设计、请求调度方法、内容协同管理、业务计费、流量优化、访问控制与鉴权等技术方案等。

“将内容下沉到无线基站,构建移动CDN网络,是5G网络技术的必然要求。那么,我们在内容下沉基站的方案验证中,采用部分现网的无线基站数据进行模拟和理论分析。首先,我们从理论上验证了下沉到基站思路的可行性。其次,通过现有的数据发现,基站中访问的内容热度是服从长尾分布,基本上10%的热门内容可以满足近50%的用户请求。因此我们联合华为设备商做了相应实验,并基于现网数据对RAN侧流量特征及缓存性能进行了详细分析,验证了在移动基站侧部署内容节点/缓存的可行性。分析表明,基站侧部署100GB 的缓存时,HTTP 流量可降低24.4%,命中率可提高42.2%”韩言妮说。

除此之外,中科院还进行了MCDN原型系统的测试。韩言妮介绍,测试中利用省会城市LTE网络的三个基站(2个商用基站,1个网管中心试验基站)进行测试,分别从源网站(CDN)、MCDN-Core、MCDN-Edge节点下载该资源,取平均下载速率计算。

测试结果是,从MCDN-Core下载,速率是源网站的2.71倍;从MCDN-Edge下载,速率是源网站的3.1倍。随后,中科院关于面向内容的新型未来网络架构SDCN开展先导专项的工作,借鉴SDN/CCN等技术理念,支持内容与网络的协同和融合,实现全网内容管理平台与SDN控制器的对接,验证融合内容和网络的资源动态管理及传输优化。

“最后,我们从思路上验证了一下内容路由的基本机制,包括研制SDCN智能交换机原型设备。该设备主要功能为内容路由、协同缓存、传输优化、能耗管理等。此外,近几年我们针对内容网络方面研制了大量的专利,申请参与了国际ETSI、IETF相应的标准制定,以及和运营商共同撰写专著等,对我们的现网建设和前瞻技术架构的探索成果进行了汇总。”韩言妮说。

演讲最后,韩言妮分享了AI赋能内容网络的思考。她表示,随着人工智能时代的到来,AI得到了大规模商业应用。那么,是否能够用人工智能的优化算法,在海量的CDN数据分析、网络运维和内容调度方面进行更深刻的融合是需要考虑的问题。因此重点从智能化,边缘下沉和安全化等方面入手思考。

“希望我们现在的AI技术,从赋能单一技术演进为赋能整体CDN生态系统。在网络演进的前提下,我们能够进行智能分析、智能调度、智能运维和智能服务。从安全化方面,我们从它的运行安全、内容安全和服务安全等能力上进行深度的融合和更扎实的工作。”韩言妮说。

责任编辑:徐晓俊