国广东方王睿:CIBN互联网电视 自建CDN核心平台助力国家级视频云建设

2016-11-17 15:26:52来源:AsiaOTT 热度:
2016年11月16日,由DVBCN&AsiaOTT主办的“GFIC2016——亚太CDN年度盛典”在上海盛大召开。本届“GFIC2016——亚太CDN年度盛典集结了来自视频网站、OTT服务提供商、VR/AR应用服务提供商、移动直播平台、视频电商平台、CDN服务提供商、公有云服务平台等多个领域的行业菁英,总结一年来各行各业的成绩,共同分享2016年整年工作中的创新与瓶颈,迎接“互联网+”时代下的新型挑战。在GFIC2016—亚太CDN年度盛典上,国广东方技术中心总经理王睿发表了主题演讲。
 
 
图为:国广东方技术中心总经理王睿
 
国广东方是中国国际广播电台互联网电视牌照运营主体。在过去的一年里,他们构建了自己的一整套CDN核心基础平台。在给大家介绍CDN平台架构之前,王总首先和大家分享了他们构建CDN的思路:作为一个互联网牌照方,国广东方为什么要自建CDN?
 
CDN的构建思路
 
王总讲到,随着技术的发展,互联网正在快速的从移动互联网向物联网迈进。家庭互联网被认为是物联网的第一个引爆点,终端厂商、互联网企业、广电新媒体、运营商各行各业纷纷提出自己的大屏端战略、推出针对大屏端的新产品新应用。视频应用可以说是大屏端用户的一个最强需求,互联网视频进入大屏时代。
       
大屏端视频业务的发展有以下几个特点。第一、高质量。视频的清晰度要求越来越高,720P、1080P、4K,视频的场景感越来越强,3D、VR、AR、MR。目前视频的清晰度还处于720P的阶段,1080P逐渐成为主流,4K终端已经很普及了,但是4K内容还很少。VR还处于发展的初级阶段,压缩技术也在不断进步,但是总的来说视频码流还是会越来越高,需要的带宽会越来越多。 第二点,大存储。自媒体的兴起;传统的媒体逐步从内容传播渠道变为优质内容创造者;互联网+政策的促进,大屏端会涌现出大量的优质视频内容。码流高,数量多,这就需要更大的存储空间。第三、极致体验。大屏端视频应用必须依托与大屏的优势,给用户提供低延时、无卡顿、强互动的观看体验,只有这样才能将用户牢牢的锁定在大屏。
       
大屏端视频业务这些发展特点,对CDN架构提出了新的需求。带宽——CDN架构需要考虑如何让视频更靠近用户存储,减少大流量传输消耗,家庭网关会成为CDN最靠近用户的一个缓存节点。存储——CDN架构需要和云平台结合提供分布式存储架构来满足大容量存储的需求。效率——CDN架构也需要提供智能路由选择、支持实时传输协议来满足用户低延时、无卡顿、强互动的极致观看体验需求。
 
为了促进大屏端应用的健康发展,国家出台了一系列政策,56号令、181号文、229号文、6号令....国家对OTT产业的政策及监管体系正在逐渐完善,对于大屏端内容、应用的严格管控,不可逆转。做为互联网牌照方,其使命是要监管、引导和规范互联网电视行业的发展,在监管的同时还要服务用户,提升价值。为此国广东方推出了CIBN互联网电视端到端解决方案,CDN是这套方案的核心基础平台。只有自建国家级CDN平台,才能真正的做到内容传输的可管可控,履行好我们作为互联网电视牌照方的使命。
       
基于上述的这些原因,国广东方的CDN构建思路是:第一、不能完全依赖第三方商业CDN,采用自建+租用混合互补方案;第二、自建CDN提供灵活部署与互通能力,资源集中云化、服务就近部署,让家庭网关成为CDN中最靠近用户的节点;第三、构建完整的CIBN互联网电视端到端播控服务平台,CDN是核心是基础;第四、只有自建CDN平台,结合国家级云平台,才能真正的做到内容传输的可管可控,承担起互联网电视牌照方的历史重任。
 
CDN核心平台架构
      
接下来,王总给大家介绍一下国广东方CDN核心平台架构。
      
整个CDN平台由业务入口节点、Tracker节点、CDN核心存储节点和CDN边缘存储节点。CDN业务入口作为整个CDN对外服务窗口,接受用户终端的服务请求,根据实时统计结果,动态分配离用户终端最近的、服务质量最好的节点向用户提供服务;CDN Tracker跟踪CDN网络中每个节点的状态,为各个节点提供服务,但是不直接对终端用户提供服务;CDN核心存储节点和CDN边缘存储节点构成CDN的二级存储架构。一个CDN集群至少部署3个CDN核心存储节点,满足分布式CAP理论,保证数据的可靠存储。CDN核心存储节点存储能力非常大、网络带宽覆盖广、充当所有其他节点的终极数据源头、数据备份等。CDN边缘存储节点可以根据需求遍布全国全世界各地、各网段任意部署,甚至可以部署到用户的家庭网关中。CDN边缘存储节点中存储的是热点内容。节点间使用P2P协议传输数据。
 
CDN Tracker和CDN服务节点
 
讲到这里,王总重点给与会嘉宾介绍了CDN Tracker和CDN服务节点。
      
CDN Tracker充当CDN的管理节点,CDN服务网络的总协调调度中心。CDN tracker节点部署在多线机房,双机热备,避免单点故障。tracker 承担所有CDN业务配置、系统管理的重任。跟踪每个介质文件的元信息、存储位置,介质实时上线、下线状态,用于介质的调度分发管理。跟踪所有CDN服务节点,实现节点之间的路由通信。CDN Tracker节点也是服务节点之间的P2P通信调度中心。
      
CDN服务节点作为CDN服务网络的基础节点单元,部署到什么地方就能给当地提供服务。CDN核心存储节点和CDN边缘存储节点是CDN服务节点的2种部署形态。每个CDN服务节点由一台Index服务器以及多台edge服务器组成。
       
CDN Index服务器作为服务节点的统一对外接口,跟踪下属的所有Edge的在线状态、存储信息、网络IO,解决多台服务器之间的透明存储,负责服务节点之间的负载均衡。
       
CDN Edge可以带很多个大硬盘,作为介质的存储。Edge负责本地硬盘和分区管理,多个硬盘之间的存储均衡,采用特殊算法和数据结构管理介质文件的存储、下载、分发,采用内存缓存方式管理频繁读写的媒资元信息和介质切片列表,负责Edge节点之间的数据通信,从任一个Edge中能读取到其他其他Edge的任何文件,对外提供TCP、HTTP、RTMP等多协议访问接口。
       
每个edge服务器的负载、存储等信息定期统一地汇报到Index。Index汇报给tracker。Index根据请求的内容、下属节点的负载和存储状况,选择一个或者多个Edge节点,重定向给终端,指导终端继续向选定的这些Edge节点发送请求,Edge节点作为CDN服务网络的叶子节点,直接向用户终端提供服务。
 
CDN Edge介质文件的管理机制,原则上,服务节点内,介质文件最多只存储一个拷贝,即同一个文件介质,最多只有一个Edge节点来负责对其进行存储和下载管理,其他Edge节点通过通信机制共享这份介质拷贝,节省存储空间。
 
每个介质文件通过FID唯一标识,FID是文件的MD5值;介质文件上传到CDN系统时由Index根据下属edge节点的存储空间进行均衡分配;edge存储管理文件时,选定存储空间较大的分区,根据FID将文件按照一定的算法均衡分配到多个子目录下面去,提高检索查找文件速度。
    
介质文件在进行存储和下载管理时,按照固定大小进行分块。每个介质文件对应一个介质描述信息文件,包含介质的元信息以及每个块的存储索引信息,元信息包括文件名称,大小,修改时间,寿命,类型等等,而索引信息指的是每个块的源编号和当前存储位置,通过这些信息可以将无序的文件进行有序的输出。   
 
每个Edge节点上存储的介质文件对应的元信息,需要实时同步到其所在服务节点的Index上,Index还需要将这些信息定时地同步到CDN管理节点上。这些信息充当每个介质文件的跟踪信息,可以方便地让其他服务节点找到介质文件的分布位置。
 
CDN是如何找到一个介质文件的呢?(介质文件定位)Index服务器根据请求的FID查询本节点下的介质存储信息,判断当前各个Edge节点上是否存储了该FID对应的文件介质。如果存储了,则重定向用户去相关Edge节点(可能会多个节点),如果没有存储,则选定一个存储空间比较空闲的Edge节点,并通知该Edge节点去下载并管理该介质,然后通知用户终端去该Edge节点访问。
 
如果需要某个介质时,Edge节点首先查找当前存储是否存在,如果完全存在,直接返回。如果不存在或部分存在,则需要向Index服务器请求该介质的元数据和存储该介质的Edge节点列表。如果Index也不存在,则会向Tracker节点发送请求查询介质存储位置。这个Edge节点列表包括当前服务节点上的其他边缘节点,也可能是其他服务节点的地址。得到这些信息后,可对外提供该介质的元数据(大小、Mime类型等),客户侧需要下载介质时,如果在本地存储,则直接读取并发送给客户,如果不在,则向之前获得的节点列表地址分别发送GetPacket请求,去获取这些介质数据,并发送给客户端,同时写入本地文件系统。
 
CDN通信模块,抽象为Node对象。node对象是某个主机(IP + Port)对象,管理本机到该主机下属的TCP连接和要发送/接收的任务,包括接受的TCP连接和主动发起对外的TCP连接、连接池的管理、任务的均衡、任务可靠送达、同步/异步收发、等待队列管理等。
 
CDN多级缓存,介质描述信息除了保存在文件中外,还需要缓存在内存数据库以及内存中,以FID作为Key,以介质描述信息作为Value,此外,还包含当前存储系统中数据块的存储情况。边缘节点服务器采用内存HashTable数据结构进行缓存管理介质文件信息,这个作为内存数据库的缓存延伸,对于最近被访问的介质文件,其信息存储在内存缓存中,长时间没被访问的介质文件信息,从内存中删除。
 
视频云平台的建设情况
        
另外,王总给现场嘉宾简单的介绍了国广东方视频云平台建设情况。这个云平台是基于cdn系统来构建的,目标是为打造一个国家级的视频云平台做基础。CDN的分布式存储和分发系统,可充当互联网牌照方内容的统一传输管道,同时,利用国广东方相关技术,以部署的节点资源为基础,完全可以构建一套国家级媒体视频云平台。国广东方在全国各地部署了很多CDN服务节点。在海外也部署了一些。总的来说,内容建设和节点部署在持续进行中。
 
CIBN互联网电视端到端解决方案
       
演讲结尾部分,王总介绍了CIBN互联网电视端到端解决方案。他指出,前不久在2016智慧广电论坛上,国广东方的CTO柯恒忠先生详细的介绍了构建在我们自建CDN基础之上的CIBN互联网电视端到端解决方案。该解决方案包括转码系统、大媒资系统、节目管理系统、EPG系统、产品包与计费管理、用户终端管理系统、统计分析决策系统等业务支撑系统,构建在自建+商用CDN基础之上,可以满足TV端、手机端、PC端等多终端应用接入需求,是国广东方承担作为牌照方的行业使命,规范大屏端业务的核心管控平台。
       
CIBN互联网电视端到端解决方案主要有三个优势:1. 牌照优势。按广电总局的要求,提供大屏端内容播出服务时,必须接入互联网电视牌照方平台,接入国广东方平台,内容和服务模式是由国广东方统一审核管理,依法合规发展业务,可以避免政策上的风险。2. 平台优势。如果使用国广东方平台,合作伙伴可以节省和缩短产品推向市场的时间,加快业务的发展。3. 发展优势。端到端平台整合了很多第三方应用,有大量的内容资源分享,也能发现挖掘潜在的合作机遇。
       
王总最后表示,目前CIBN互联网电视端到端解决方案在广电新媒体、教育、酒店、音乐、电商、禅文化等领域和行业,都有非常好的成功案例。他们期待与各产业链的合作共赢。

责任编辑:饶军

为您推荐

华闻传媒:增资入股国广东方涉足新媒体

【华闻传媒(000793)研究报告内容摘要】事件:公司公告与国广东方股东国广控股、东方汉华签署《增资协议》,公司与国广控股共同出资0.92亿增资国广东方。www.microbell.com(迈博汇金)。公司对国广东方增资0.72亿并持有其44.2%股权(其中0.10亿和0.62亿相关公司股票走势

华闻传媒增资入股CIBN国广东方

事件:公司公告与国广东方股东国广控股、东方汉华签署《增资协议》,公司与国广控股共同出资0.92亿增资国广东方。公司对国广东方增资0.72亿并持有其44.2%股权(其中0.10亿和0.62亿分别计入资本金和资本公积);国广控股对国广东方增资0.21亿,持股比例由此前89.0%降为51.1%(其中0.03亿和0.18亿分别计入资本金和资本公积);东方汉华不增资,持股比例由此前11.0%降为4.7%。国广控股为公司并列第一大股东上海渝富控股股东,并间接持有东方汉华51%股权;国广控股由国广发展和嘉融投资各持50%股权,其中国广发展由中国国际广播电台(国际台)CRI全资控股。点评:1、公司增资入股国广

国广东方联手汉雅星空推互联网电视海外合作

中国国际广播电视网络台(ChinaInternationalBroadcastingNetwork,简称CIBN)互联网电视运营商国广东方网络(北京)有限公司(简称国广东方公司)与汉雅星空文化科技有限公司(简称汉雅星空公司)关于互联网电视海外合作的签约仪式11月18日在北京