IPTV流媒體分發(fā)和交付技術的新突破
2007/01/22
1.前言
在2001年的《福布斯》雜志上，邁克.S.馬龍(Michael S. Malone)曾經留下著名的預言，隨著光纖、半導體、Internet、在線交易、語言和接口、以及信息技術的進步，被稱為Internet支柱的萬維網(World Wide Web，WWW)將在2004年-2005年被新技術取代，這種新的突破性技術被命名為Internet II：全球網格(Great Global Grid，GGG)。 在文章的最后他警告說，如果美國不能及時抓住這個機遇，就可能要再過十年之后在法蘭克福或是上海見到它了！
網格技術的核心是新的分布式網絡計算技術。無論是在美國、歐洲還是在中國，從計算網格、存儲網格到業(yè)務網格，相關的理論和技術研究近年來取得了巨大的進步。但是，馬龍先生預言的兩萬億美元成本可以獲得二十萬億美元市場的Internet II全球網格商用似乎真的要等到2015年。不過有一點值得慶幸，由IPTV技術推動的網格應用：由UT斯達康公司開發(fā)的基于分布式流媒體交換網的分布式流媒體網絡文件系統，已經于2005年在上海、哈爾濱和東京等地實現商用了！
無論在視音頻媒體產業(yè)，還是在電信產業(yè)，IPTV都被看成是一次重大的業(yè)務發(fā)展機遇。但是在實施中，許多人認為它不過是通過IP網絡傳送數字電視廣播(DVB)的業(yè)務，也有一些人將它定義為通過TV上Internet網的一種業(yè)務，或是酒店VoD業(yè)務的翻版。我們也看到許多關于IPTV的討論都關注于圖像編解碼的技術、寬帶傳送技術和數字版權管理技術，對于十分重要的視音頻內容和流媒體的交付，許多方案都僅僅局限于采用Internet流媒體技術或是傳統的、基于文件下載的內容分發(fā)網(CDN)技術。這些理解和專注都是建立在IPTV對現有的技術、現有的產業(yè)鏈和現有的網絡基礎設施上進行延伸的前提之下的，沒有看到IPTV不僅孕育著整個產業(yè)的巨大變革，還推動了分布式計算技術的重大突破，也沒有看到IPTV將為網格技術的發(fā)展開辟了一條全新的路徑。
通過對IPTV流媒體處理需求的分析，我們發(fā)現分布式網絡計算是一個核心的問題。我們可以說IPTV是開放分布式計算技術和電信工程技術的結合。之所以強調電信工程是因為IPTV不同于一般計算機的應用，它要求建立一個電信級服務網絡、存儲網絡和電信級傳輸交換網絡之上的一個大規(guī)模的、高可靠、高安全、高性能、高伸縮性的，易維護的、低邊際成本的提供音視頻流媒體服務的業(yè)務網絡。為了達到這樣高的結構要求、性能要求和成本要求，開放分布式計算技術上必須有重大的突破。
本文將從IPTV流媒體分發(fā)和交付的功能原理和電信工程的相關需求，討論電信級的、基于分布式計算的流媒體服務網絡和流媒體文件網絡的體系結構，建立了流媒體網絡文件系統的概念。這種面向業(yè)務的流媒體文件系統體系結構，是分布式計算技術的重要突破，將極大地推動網格技術的發(fā)展
2.IPTV流媒體分發(fā)和交付的原理和需求
IPTV流媒體分發(fā)和交付的原理并不復雜。它的復雜性體現在建立大覆蓋、大容量、高性能和高可靠的電信級流媒體分發(fā)和交付系統。對這樣系統的開發(fā)實際上是對一個基于分布式計算的、針對流媒體業(yè)務的網絡文件系統（NFS）的開發(fā)。由于這種開發(fā)遠遠超越了傳統的內容分發(fā)網（CDN）的服務器互連的概念，具有重大的理論意義和技術意義。
IPTV流媒體分發(fā)和交付網絡的內容輸入是表現為音/視頻/數據流形式（目前是直播的音視頻節(jié)目，或稱線性電視）的內容和文件形式（通常是存儲的音/視頻文件）形式的內容。這個系統的內容輸出是網絡用戶端基于音視頻流的播放接口。
流媒體分發(fā)和交付系統的控制接口分成網絡端控制接口和用戶端控制接口。網絡端控制接口是按照IPTV業(yè)務層的指令，實現向指定用戶播放指定的內容和實現相關的控制。用戶端控制接口是按照用戶的指令，對該用戶的流媒體播放進行控制，實現如啟動、停止、暫停、繼續(xù)、以及快速和慢速的進退等播放功能。
流媒體分發(fā)和交付系統輸入和輸出之間的傳遞特性是透明的。透明性包含了內容與控制的透明性和路徑透明性。
對于流形式的輸入（直播）而言，內容與控制的透明性是指系統輸出的流媒體僅僅是輸入流媒體的時間移動和地理空間擴展，不改變流本身包含的信息，包括控制信息。對于文件形式輸入（下載）而言，內容透明性是指系統輸出的流媒體和輸入文件的內容保持一致，控制透明性是指輸出的控制信息和輸輸出的流媒體和輸入的流媒體之間的路徑透明性是指用戶獲得流媒體服務和網絡接入點無關，獲得流媒體的內容和控制與組播的方式、經過的節(jié)點，存儲的方式和流存儲資產管理的結構無關。
流媒體分發(fā)和交付網絡的內部功能包括：將輸入的線性直播流（如廣播電視）按照用戶的選擇進行組播，同時在分布的存儲網絡上進行錄制。對于文件形式的輸入，媒體分發(fā)和交付網絡要首先對文件進行流化，然后將它們存儲在分布的存儲網絡上，在用戶點播時通過合適的流媒體輸出節(jié)點播放。媒體分發(fā)和交付網絡內部要支持對流傳送的控制和對播放過程的控制，這種控制可以來自用戶端或網絡端。從業(yè)務開放性的角度看，這種控制（控制點和控制算法）對任何IPTV業(yè)務（直播、點播和時移等）都必須是一致的。媒體分發(fā)和交付網絡還要支持對接入流量的管理、控制和優(yōu)化，以及對網絡內存儲空間、存儲內容和使用的優(yōu)化。
另外，作為一個提供服務的網絡，它的入口必須支持多個不同輸入源的內容和業(yè)務提供，它的存儲空間必須支持足夠大的內容存儲（如50個頻道，7天，每天24小時的錄制節(jié)目和大量的點播節(jié)目）。它的出口必須支持大量用戶的訪問（這種訪問在地理上、時間上和占用時長上都是隨機的），并保證流媒體傳送的質量，同時具有高性能、高效率、高可靠性和便于維護的特點。
從實現的角度看，最簡單的流媒體分發(fā)和交付網絡可以僅僅由一臺服務器實現，較復雜的網絡可以由一組地理上分布的輸入服務器、一組分布的存儲服務器和一組分布的流媒體服務器的三層客戶機/服務器結構來實現，更復雜的情況下媒體分發(fā)和交付網絡可以由一群對等（Peer to Peer）節(jié)點（包括流媒體輸入、存儲和輸出）組成的流媒體交換網絡來實現。
從功能上看，流媒體分發(fā)和交付功能可以分解為流媒體輸入、流媒體文件管理和流媒體輸出的集合。這相當于一個基于網絡的流媒體文件（流化文件）系統的功能。而IPTV業(yè)務，是這個網絡文件系統的一個應用。這種對IPTV流媒體分發(fā)和交付功能的認識，使IPTV的開發(fā)大大突破了CDN文件分發(fā)的思路，將傳統的網絡互連問題變成了分布式計算問題，變成了一個針對流媒體應用的網絡文件系統的結構、存取和管理的問題，也就是變成了一個流媒體網絡文件系統的問題。這正是對IPTV流媒體分發(fā)和交付進行研究的理論意義和技術意義。
綜上所述，流媒體交換網絡和流媒體網絡文件系統是流媒體服務系統的核心技術。
3.基于流媒體交換網的流媒體網絡文件系統
共享資源服務系統（例如電話網）的一個基本原理是：在服務質量相同的情況下，單位用戶對共享資源的需求量隨著用戶數量的增加而下降。這是網絡規(guī)模經濟發(fā)展的重要前提。一個有競爭力的IPTV系統，不僅需要一個針對媒體流業(yè)務的網絡文件系統，還需要一個低成本的流媒體交換網絡。
電話業(yè)務，無論是通過傳統的TDM交換技術實現，還是通過VoIP軟交換技術實現，或是被認為是下一代網絡（NGN）核心的IMS技術實現，它們都是控制密集型業(yè)務，需要進行處理的是用戶的呼叫、接入的控制、移動性的控制和流量的控制，沒有人關心對通信內容的存儲和處理。
IPTV則完全不同，它是一種數據密集型的業(yè)務。因此，在IPTV系統的流媒體分發(fā)和交付網絡中，我們需要充分考慮對通信資源、計算資源、存儲資源和內容資源的共享和有效運用。
面向流媒體業(yè)務的網絡文件系統
在數據密集型業(yè)務中，存儲及其處理是一個十分重要的問題。在大規(guī)模網絡上提供數據密集型業(yè)務，人們往往會想到建立一個通用網絡文件系統（NFS，存儲網格和文件網格）來進行支持。但是，我們很快就可以發(fā)現，通用網絡文件系統的功能（通常只能處理固定文件順序存儲和隨機存取）很難高性能、低成本地滿足流媒體分發(fā)和交付的需求。這就意味著，采用網絡通用文件系統開發(fā)IPTV業(yè)務，成本和性能之間無法得到平衡，甚至性能價格比不如采用基于服務器分級互聯的內容分發(fā)網絡（CDN）技術。這可以認為是網絡通用文件系統發(fā)展緩慢的一個重要的瓶頸。
在這個問題上的重大突破來源于Google。幾乎人人都知道，Google運用它的搜索引擎技術、語義分析技術和信息分級技術提供多種多樣的業(yè)務和虛擬應用。少為人知的是，這些能力來自分布于全球的28個Google數據中心的計算和存儲能力，以及它特有的網絡文件系統。Google發(fā)現運用傳統的文件系統（包括傳統的網絡文件系統）無法支持大尺寸文件以及對這些文件大量的并發(fā)訪問、高頻率的部分更新以及分級控制，從而開發(fā)了自己的專用網絡文件系統。目前正是這個全球的網絡文件系統，支撐了鏈接8億網頁的搜索引擎，4次以上的Internet用戶日均訪問率，大量的、快速投放的增值服務，對MSN、Yahoo!已經形成了強大的市場壓力。
顯然，面向業(yè)務的網絡文件系統已經被看成是引領Internet第二波浪潮的重大突破。提供流媒體服務的分發(fā)和交付的媒體流網絡文件系統將是這個技術突破的重要的應用之一。
支持流媒體業(yè)務的流媒體交換網
另外，作為一個低成本、高性能和高可靠的電信級網絡文件系統，流媒體分發(fā)和交付網絡不應該再走傳統的高端電信級服務器路線。
傳統的電信級服務器是指為電信應用專門設計的高檔服務器，它的一切都可以用高和大來概括。高性能計算，高可用性（HA），大吞吐量，大容量存儲等等，當然也包括高成本。這些服務器在需要高可靠性的電信智能網、HLR，OSS，軟交換，CDN和增值業(yè)務平臺等處已經得到廣泛的應用。這似乎已經成為許多人的共識：電信的服務需要電信級服務器（包括存儲服務器如磁盤陣列）。因此，目前有不少IPTV流媒體服務分發(fā)和交付系統就是采用電信級服務器的。但是，作為商業(yè)化應用的IPTV，硬件系統成本問題是不可回避的。因此，發(fā)展基于低成本計算單元的支持流媒體分發(fā)和交付的網絡文件系統成為IPTV的技術發(fā)展關鍵。
為了實現低成本、高可靠、高性能、大容量的流媒體網絡文件系統，需要的依然是網格計算技術的重大突破。流媒體交換網正是這樣的計算和存儲網絡系統的體系結構。
流媒體交換網概念的引入，是對分布式計算體系結構的重要發(fā)展
在集中式處理的概念下，外部資源管理是建立在設備的基礎上的。 同時，計算系統的輸入、輸出和外部存儲設備的信息和控制方法都被抽象為文件的形式（包括鍵盤輸入、顯示器顯示、打印機、磁盤驅動器等等）。這樣，所有對文件的管理，是以設備為單位進行。在這種前提下，網絡通信能力作為對設備的遠程訪問能力來表達，也被歸一化在設備-文件管理系統之上。
在集中處理的概念下開發(fā)的這種文件系統存在一個明顯的問題，就是文件沒有跨越設備的能力。即使文件系統是一個“分布的”網絡文件系統，這個“網絡”也還是被看成是一個“集中的”外部設備，“埋藏”在計算機的網絡操作系統之下接受訪問。如果這種結構用于大規(guī)模的流媒體分發(fā)和交付，它的計算資源無法和存儲資源同時在網絡層面進行優(yōu)化，從性能和成本上看都是不合理的。
顯然，如果能夠將網絡文件系統獨立于網絡操作系統，而不是將網絡文件系統作為外部設備置于操作系統之下層，并通過新增一個平臺實現流媒體服務的存取，流媒體分發(fā)和交付系統的性能和成本將大大得到改善。這個平臺就是流媒體交換網。
基于流媒體交換網的流媒體網絡文件系統
一個流媒體交換網是由網絡上一組對等的（P2P）計算節(jié)點所組成的。我們稱這些計算節(jié)點為流媒體服務節(jié)點。每個服務節(jié)點包含流媒體的輸入、輸出和存儲的功能。流媒體交換網所有的輸入能力、輸出能力、存儲能力和存儲的內容組成了流媒體網絡輸入系統、流媒體網絡輸出系統和流媒體網絡文件系統。
在流媒體交換網中，所有的存儲空間對網絡文件系統是共享的，而網絡文件系統又是被所有的流輸入輸出處理進程所共享的。但是這個網絡文件系統是物理設備無關的，或者說網絡文件系統關聯的虛擬“設備”就是整個媒體交換網。這是流媒體服務操作系統的重要特點。
從輸入和輸出的角度看，一個流媒體交換網是一個實體，輸入、輸出和存儲的功能與物理的設備（服務節(jié)點）的狀態(tài)是無關的。在這種前提下，每個節(jié)點可以自由地加入或是卸載，而不會影響整個流媒體交換網的服務功能。
因此，在流媒體交換網中，操作系統、網絡、設備和文件不再是層次分割的。他們的關系對于媒體交換網是并行的。我們可以看出，對流媒體的存取將不再是對服務器的存取，而是對整個網絡的存取。對流媒體文件的存儲將不再是對設備和文件的存儲，而是對網絡的存儲。同時，網絡自身包含了容錯的機制，無需增加任何對提高可用性的額外資源。作為流媒體文件，將不再受限于硬盤等設備的容量、可靠性或是存取速度，它可以透明地跨越網絡上的多個設備進行存儲，特別適合大尺寸、無邊界的流媒體文件的處理。另外，網絡自身對輸入、輸出和存儲的管理和優(yōu)化，使得每個流媒體交換網成為一個自治的系統。
流媒體交換網是一個開放的中間件系統，它通過API和底層資源接口，通過API和應用系統接口，也通過API實現系統的集成、重組和擴充。
在流媒體交換網的設計中，一個流媒體交換網可以分裂為多個虛擬流媒體交換網（每個流媒體交換網對應一族輸入、輸出和虛擬流媒體網絡文件系統）。同樣，多個流媒體交換網中的虛擬資源可以進一步組成新的媒體交換網，稱為流媒體虛擬組織。這種虛擬組織是建立在內容管理的層面上的，它可以在更大的范圍內實現內容的優(yōu)化調度和共享。
和將網絡文件系統作為公共的存儲設備的概念比較，基于流媒體交換網構造流媒體網絡文件系統采用全分布體系，它的性能和成本優(yōu)勢顯然是十分清楚的。
作為流媒體網絡文件系統的實現，流媒體交換網將一組低成本的通用計算機（例如包括計算能力和存儲能力的刀片服務器）組成網絡進行管理。多個流媒體交換網可以組成一個地理上規(guī)模更大的虛擬流媒體交換網。然而，運行在這些不同流媒體交換網絡上的流媒體文件系統可以是共享的，從而可以組成全國以至全球范圍的多個虛擬流媒體內容服務系統，供不同的音視頻內容提供系統和不同的IPTV業(yè)務和運營系統使用。
流媒體交換網是IPTV業(yè)務組網的基礎。無論嵌套與否，每一個流媒體交換網（計算和存儲能力、傳送和路由能力）是自治管理的。虛擬流媒體交換網的組織主要是內容管理層面的。顯然，流媒體交換網是支撐IPTV業(yè)務的網絡基礎，流媒體網絡文件系統是流媒體交換網提供IPTV業(yè)務的重要邏輯元素。
4.結論
本文提出的流媒體網絡文件系統、流媒體交換網和基于流媒體交換網的流媒體文件系統，是網格計算的一個重要的應用。這個重要的應用在理論上和實踐上對今后網絡基礎設施的發(fā)展都具有重要的意義。這種新的體系結構顛覆了傳統的集中式計算概念。如同Google采用的面向信息服務的專用文件系統所體現的，這種體系結構已經被認為是Internet技術發(fā)展中從開放的通用化的網絡體系（如同IP技術所實現的）走向開放的專業(yè)化計算（業(yè)務）體系的重要的里程碑。
基于流媒體交換網的流媒體網絡文件系統，帶領網格技術走出了理論研究的象牙塔。在中國、日本、印度和美國，這個由中國首創(chuàng)的顛覆性技術已經經過了IPTV大規(guī)模的實驗并得到商用。可以預見，采用這種體系結構的業(yè)務系統將為傳統電信業(yè)向綜合信息服務的轉型建立有效的平臺，基于同樣概念發(fā)展的各種面向特定業(yè)務的交換網絡和文件系統將成為未來一段時間計算技術發(fā)展的主流。
中國信息產業(yè)網(www.cnii.com.cn)
相關鏈接:
黑龙江省|
新疆|
泸州市|
台东县|
绍兴县|
蒙山县|
望都县|
宝丰县|
惠东县|
宁阳县|
抚远县|
安泽县|
泰和县|
黄骅市|
宜宾市|
东海县|
临清市|
岢岚县|
乌审旗|
阿巴嘎旗|
清丰县|
淳安县|
河北区|
鄂托克前旗|
宜春市|
合阳县|
灌南县|
万安县|
望都县|
百色市|
宜良县|
安阳县|
宁南县|
长沙县|
浪卡子县|
綦江县|
石城县|
全南县|
太康县|
沾益县|
怀安县|