xSCSI——多元化媒体存取解决方案

时间:2009/07/07 来源:专业视听网

关键词:

近几年来,国内广电行业的IT化水平正在以前所未有的速度高速发展着,五年前还在探讨组建制作网络、新闻网络的可行性的业内厂商,而现在已经纷纷开始了新大楼、全台网的建设;而且随着高清制播和新媒体业务的高速发展,网络系统的规模越来越大,结构越来越复杂,业务需求呈现出多元化的趋势。 

广电行业的网络系统与纯粹的IT网络相比有很多特殊性,最突出的体现在两个方面,即需要考虑与大量传统AV设备的连接和解决海量视音频文件的存取问题。尤其是第二个问题——如何构建电视台IT化系统的存储网络——往往成为网络设计时的核心问题之一,将直接决定整个系统的性能、价格、安全性和可扩展性。 

电视台业务多元化的发展对于存储系统提出了新的需求,总的看来有以下几个特点:  

存储容量要求越来越大:  

电视台业务量的增加导致系统存储容量需求也随之不断增长。几年前在线存储达到TB级的网络还不多,而目前的网络建设经常要求10TB甚至更多的存储容量,未来随着高清的大量普及,对存储容量的需求还会增大。  

访问存储的站点越来越多:  

网络系统的规模不断扩大,以往通常只是一个部门或一个栏目搭建一个小网,存储的资源也只在一个小范围内共享;而现在,全台资源整合提高资源共享程度成为热点,跨频道跨部门跨栏目的访问需求大大增加,需要读写存储体的站点个数也随之迅速增长。  

带宽需求呈现多样化趋势:  

不同类型的业务对于数据读写的带宽需求有极大的差异,而且通常在一个系统中需要同时支持多种业务。无压缩高清视频码率达到100MB/s以上,经常使用的高清压缩码率也在100Mb/s——300Mb/s之间,而标清视频通常使用50Mbps或25Mbps,TS流通常码率为4——8Mbps,而IPTV、手机电视等新媒体应用要求的码率只有不到2Mbps。不同的带宽需求必然要求采用不同的存储访问技术加以应对。  

数据存取安全性要求提高:  

存储系统是整个网络的核心环节,一旦出现问题必将影响到全局,往往会导致停播等重大事故的发生。而且随着网络规模的不断扩大,所涉及的业务不断增多,故障影响的范围会越来越广,因此对存储系统安全性要求也就越来越高。  

系统性价比不断提升:  

各电视台纷纷逐步开始商业化运作,更加注重投入产出比,在系统建设时对成本的考虑更加严格。同时随着IT技术的不断发展,容量更大、性能更高、价格更低的存储产品不断涌现,使构建高性价比的系统成为可能。  

具有良好的灵活性可扩展性:  

市场需求的不断变化必然要求业务系统进行调整加以适配,对于存储系统来说也必须在容量、性能、访问方式等方面具有足够的灵活调整和动态扩展的能力。  

广电行业的存储系统,长期以来一直是FC+以太的双网结构为主,其中视音频数据通过FC网络进行传输,近一两年来IP存储技术高速发展,iSCSI、NAS等技术在性能、稳定性等方面有了大幅度提高,并且其采用的单网结构具有比较明显的成本优势,也开始在很多中小项目中得到应用。双网结构及单网结构各有特点,但也都有自身的局限性,如果能将两者进行合理的融合,就可以充分发挥各自的优势,形成一种更为合理的结构。本文介绍的xSCS(eXtensible Smart Cluster Storage Infrastructure)可扩展智能集群存储构架就是一个融合了多种最新的存储技术的,符合新时期电视台系统要求特点的多元化媒体数据存取总体解决方案。  

在广电领域中,FC+以太的双网结构经过了大量项目实践的考验,应该说这种技术的成熟度是比较高的。预计在未来一段时间内,双网结构仍将在电视台视音频系统中被广泛应用。特别是随着高清时代的到来,电视节目制作对网络带宽的要求比起标清高出几倍,如果要制作无压缩的节目,每秒数据量达到100多MB以上。在这种环境下,现有主流技术中只有4Gb FC能够满足要求。  

但与此同时,我们也看到,近两年来基于IP的存储技术发展速度之迅猛,大大超出了人们的预估。许多业界的领导企业包括微软、思科等纷纷推出其基于IP存储的产品,传统的主流存储设备供应商如EMC、IBM、NetApp等,也都提供了基于NAS或iSCSI技术的产品供用户使用。越来越多的业内人士开始认识到IP存储是大势所趋。在广电行业内,国内外主要的非线性设备供应商都提出了基于单网的解决方案。也已经有很多系统采用了这种纯以太的单网结构,其中大部分都是规模比较小,对性能要求相对不高的工作组或频道级项目。在这种环境中,单网结构高性价比的优点发挥的尤其明显,这也是近期内单网解决方案面向的主要市场。 

xSCSI的核心思想是通过将双网结构和高性能与单网结构的低成本特性进行结合,以高性能存储体构成核心高速数据存储层,并配合具有分布式处理能力的iSCSI Target、NAS Gateway、FTP Server和流媒体服务器等组成的媒体数据访问层,为不同类型的客户端提供不同服务质量的数据存取服务。
          

上图所示为一个典型的xSCSI构架的存储网络,整个系统可以分为三层,即核心高速存储层,媒体数据访问层和客户端。  

其中核心高速存储层包括FC磁盘阵列、数据流磁带库等高性能存储设备,它决定了系统的总体存储容量和读写带宽。所有的数据都会写入这些存储设备中,通过磁盘阵列的RAID技术实现数据保护,并通过混合使用FC磁盘,SAS磁盘和SATA/FATA磁盘实现数据的分级存储,不同重要程度的数据存储于不同性能的设备之中。  

媒体数据访问层主要负责将FC存储设备转换到以太网上提供访问,包括了多台iSCSI Target、NAS网关、FTP服务器和流媒体服务器。其中iSCSI Target也被称为Router,它的作用是将FC协议转换成iSCSI协议,即允许普通非编工作站和服务器通过以太网以iSCSI协议对FC阵列进行访问。NAS网关可以将FC磁盘阵列中的文件系统通过CIFS协议在以太网上进行共享访问。FTP服务器则负责接收FTP客户端的文件上传和下载请求,FTP协议是一个标准化程度非常高的跨平台文件交换协议,特别适用于异构系统间文件交换和远程文件传输。流媒体服务器可以基于RTP协议完成视音频文件的流式发布,通常可用于低码率视音频的浏览。  

客户端对于存储的访问根据不同业务需要可以采用不同的方式。在xSCSI构架下,核心高速存储层和媒体数据访问层可以被认为组成了一个更大的广义的存储核心,对外同时提供FC接口和千兆以太接口,既可以通过FC及iSCSI实现数据块级访问,又可以通过CIFS/NFS进行文件级读写,还可以通过FTP协议或RTP协议进行文件访问。 高清非编站点、节目复杂包装站点、数据迁移服务器等对于带宽有很高的要求,这些站点可以采用双网结构对存储访问,数据在FC链路上传输。此外一些关键业务服务器,为保证对存储连接的稳定可靠性,也可以采用FC+以太的结构。对于普通的非线性编辑站点、转码服务器、打包合成服务器等可以以iSCSI协议对存储进行高效访问,这些站点只连接千兆以太网线,数据首先以iSCSI协议传送到iSCSI Target中,完成协议转换后再经过FC进入磁盘阵列。对于简单编辑工作站、节目收录服务器、低码率编辑工作站等带宽要求更低的站点,可以通过NAS网关完成对阵列中数据的共享访问。而对于系统间需要松散耦合的情况,FTP方式的文件交换将是兼顾效率与安全的最佳选择。对于办公网上的普通站点,通常只需要查看低码率视音频即可,此时使用流媒体服务器可以减小对办公网网络流量的压力,并起到了隔离核心存储系统与办公网络的作用,可以防止病毒的传入。  

xSCSI构架为解决广电行业IT化系统的数据存取问题提供了一种新的解决方案,其主要优势在于:  

高性价比  

以FC存储体为核心,保证可以提供足够高的总体性能。同时采用IP存储技术,大幅度降低工作站及服务器的接入成本。iSCSI Target、NAS网关、FTP服务器和流媒体服务器等都可以实现FC到IP的协议转换,通过它们对存储的访问可以只基于千兆以太网完成。因此,对于通过IP访问存储的站点来说,可以节省FC卡、FC交换机端口占用、FC线缆等部分的成本,对于使用NAS、FTP及流媒体等接入方式的站点来说还可以进一步节省SAN共享文件系统软件的费用。  

高可扩展性  

xSCSI构架的可扩展性体现在两个方面,即存储性能的可扩展性和接入站点规模的可扩展性。FC存储阵列本身可以通过增加主机端口数量、增加磁盘数量、增大缓存等方式提高自身性能,也可以增加新的磁盘阵列并通过存储虚拟化技术实现多个阵列同时访问,实现了性能的线性扩展;而当媒体数据访问层的服务器如iSCSI Target或NAS网关的性能成为瓶颈时,可以通过增加新的服务器实现性能水平扩展。由于应用了智能的负载分配技术,各个节点之间可以实现连接的自动化平均分配,从而提高整体访问的性能。  

当系统中增加新的接入站点时,只需要使用千兆以太网将其接入系统,进行比较简单的配置就可以完成,可以实现网络规模的低成本迅速扩张。  

高安全性  

在xSCSI构架中,数据本身的安全性依靠FC存储阵列进行保证,目前高端的FC阵列基本都支持RAID6、Snapshot、Mirror等数据保护技术,经过多年的发展和在银行电信等关键应用中的考验,自身的成熟度稳定性也都比较高,是可以信赖的。FC阵列通常都配置冗余RAID控制器,多个主机通道间可以通过链路绑定实现负载均衡和故障切换,从而确保通过SAN连接的媒体数据访问服务器、关键业务服务器等7x24小时对存储的无间断访问。  

在xSCSI架构中,为了保证通过以太网接入存储的站点同样具有链路冗余故障恢复的功能,在iSCSI Target、NAS网关等媒体数据访问服务器中均应用了集群技术。多个iSCSI Target组成一个Group,对外提供一个虚拟IP地址。当站点通过iSCSI协议进行连接时,任务会在多个Target间进行自动均分。当其中任何一个Target发生故障死机时,同一Group中的其它节点会自动接管虚拟IP,并将故障节点上上的任务接管起来,保证访问的继续。对于NAS网关、FTP服务器和流媒体服务器来说,由于CIFS协议、FTP协议和RTP协议本身不是面向存储而设计的,故障切换的实现会稍微复杂一些。通常可以采用负载均衡交换机、网络负载均衡服务或高可用集群等技术,也可以实现单一访问节点的故障能够被自动处理,对存储的访问仍可以继续。  

总之,在xSCSI构架中,IP存储技术与FC存储技术得到了最充分的融合,通过应用多种存储访问技术满足了不同站点的要求,大大提高了系统的整体性价比,将在未来电视台网络系统的规划建设中起到积极的作用。

                                                                                  摘自:中科大洋
 

热门技术探讨更多>>

同类产品或技术文章列表更多>>