黄石广电网络PPTV CDN缓存系统

 

黄石广电网络目前拥有2.1万宽带用户，自2009年以来，宽带用户数量呈爆发式增长，与日俱增PPTV点播需求造成出口流量不断攀升，由此带来了宽带出口建设压力剧增及用户体验下降等问题。建设PPTV CDN缓存节点，充分利用内网带宽资源，降低出口流量为根本的解决方案。

 

 

 

黄石广电网络络目前已经完成全网光纤到楼覆盖，该城域网主要由出口路由器、汇聚层路由交换机、EPON系统、以太网交换机及EoC等设备组成，可提供可靠传输通道，并支持业务权限的控制，业务统计等功能等。整个网络具备完善QoS保障能力、组播支持能力、流量工程、MPLS/VPN等，提供多业务的电信级承载能力。

 

黄石广电IP城域网结构如图1所示。

 

 

图1：黄石广电IP城域网结构图

 

核心层由黄石有线团城山、天津路、黄石港3个节点组成一个万兆自愈环网，基于40G平台，能提供10 Gbit/s的线速转发能力。核心层负责全市范围内数据业务的分发和管理，实现具体业务的相关承载和控制，保证用户流量的高速交换转发。汇聚网主要实现数据业务从骨干网到接入网之间的网络承载，负责在各区域范围内的分发和管理。通过L3层（DHCP Relay认证）方式连接到黄石有线核心网络，负责规划VLAN ID、IP地址等资源。接入层采用EPON系统汇聚各个接入节点，并通过LAN或EoC方式入户。

 

 

PPTV拥有自己独创的CDN体系，对用户的点播请求进行集中调度，重定向到内部缓存服务器上获取数据；同时通过请求Tracker达到用户间的P2P加速。

 

在PPTV的高层节点下，建立10G低层城域网（以太网）节点，进行流式传送。

 

在黄石广电网络核心机房建立高速缓存服务器群，通过PPTV CDN系统，利用PPTV调度服务器对用户请求进行处理，大大降低了出口流量，充分改善用户播放体验，其整体功能架构如图2所示。

 

 

图2   PPTVCDN系统架构图

 

图2中，“○”为运营商服务器群，Tracker服务器早期可不部署。

 

用户端发出PPTV直播、点播指令后，首先请求调度服务器，调度服务器针对用户来源IP地址，按照服务器内部地址规划，将请求重定向至内部CDN缓存节点，只要用户来源IP地址不发生变化，那么用户始终优先被调度到内部架设的直播、点播服务器上获取数据。

 

 

首先确保系统远程linux ssh端口（默认22）能够外网连通，其次向PPTV上报用户出口地址以进行调度，若出口相对较固定，可以提供全部的出口地址，若出口变化较频繁，对PPTV调度地址段作策略路由指向稳定的出口地址池，将地址池IP地址上报，同时开放对外网UDP161，tcp22，80，81，82，8888，8080，19765，21，10050，2200端口为监控需求，最后PPTV同步程序将自动选取最快节点，会频繁地进行向外下载测速（HTTP），需避免服务器发起的连接请求被第三方缓存系统匹配。

 

 

系统主要由6台DELL R510服务器组成，单台配置如下：CPU为四核Xeon E5620；2.40GHz×2；内存为24 Gbyte；千兆双网卡；硬盘为2TB SAS ×12。DELLR510服务器均使用千兆网线连接至Greennet S5100交换机，该交换机具备20个10/100/1000Base-X SFP端口，8个ComboGE端口。S5100配置端口聚合，使用光纤连接至团城山核心交换机，可根据业务实际流量情况对CDN缓存节点带宽进行扩容。

 

内网CDN缓存服务器使用黄石广电宽带网公网IP地址进行一一对应映射，将地址映射平均分布在3个互联网出口上，以避免地址映射集中在一个出口，高层CDN服务器向低层推流导致流量过大而在该出口形成拥塞，同时流量均摊在3个出口上，可提高每个服务器使用带宽。

 

在出口路由器上将PPTV调度服务器IP地址统计配置策略路由，将访问这些地址的用户请求均导入某一出口，并将该出口IP地址上报PPTV，用户调用PPTV软件发送直播、点播请求，这些请求最终会被出口路由器分配至固定出口，PPTV调度服务器侦测到该出口IP地址并与服务器内部记录匹配后，将用户请求重定向至黄石广电内部CDN缓存节点进行供速。

 

 

图3所示为黄石广电PPTV缓存系统1个月流量监控结果，系统月平均吐出流量为131 Mbit/s，最高吐出285 Mbit/s。系统建设在网络内部，不占用核心链路带宽，大大缓解了黄石广电由于用户不断增长带来的互联网出口带宽压力，更为重要的是成倍提升用户点播体验，同时黄石广电互动机顶盒也集成了PPLIVE点播客户端，该系统也为互动电视用户提供了流量支持，一举两得。

 

 

图3  黄石广电PPTV月流量图(截图)

 

 

利用黄石地区成熟的城域网（以太网）平台搭建PPTV CDN缓存节点，节点对外使用公网地址分布在不同的出口上进行资源推送，并将用户请求导入到PPTV调度服务器调度；对内使用EPON+EoC和EPON+LAN技术对用户提供数据流传输服务，该系统可存储90%以上的PPTV视频资源。系统的建立提升了用户点播体验，缓解了日益增加的用户点播需求造成的网络出口压力。