聲網(wǎng)Agora 開(kāi)發(fā)者社區(qū)聯(lián)合 InfoQ 共同策劃，邀請(qǐng)了聲網(wǎng)Agora 開(kāi)發(fā)者社區(qū)中的多位技術(shù)專(zhuān)家，從視頻傳輸、計(jì)算機(jī)視覺(jué)、編解碼標(biāo)準(zhǔn)發(fā)展、WebRTC、機(jī)器學(xué)習(xí)、音頻技術(shù)等角度，共同撰寫(xiě)「2021 實(shí)時(shí)互動(dòng)技術(shù)展望系列」，一窺技術(shù)新趨勢(shì)。本文源于對(duì)北京大學(xué)王選計(jì)算機(jī)研究所的張行功教授的采訪。本系列內(nèi)容由聲網(wǎng) Agora 開(kāi)發(fā)者社區(qū) 與 InfoQ 聯(lián)合策劃，并由 InfoQ 審校，首發(fā)于 InfoQ。

　　在 RTC 技術(shù)領(lǐng)域，如何兼顧實(shí)時(shí)視頻傳輸?shù)牡脱訒r(shí)和視頻質(zhì)量，以及如何評(píng)定視頻傳輸質(zhì)量，始終都是備受關(guān)注的話題。隨著 5G 的商用，視頻傳輸在協(xié)議層、應(yīng)用層又面臨著一些急需解決的變革。盡管不少 AI 模型在編解碼、傳輸層已經(jīng)開(kāi)始落地應(yīng)用，但其實(shí) AI 模型還有很大的提升空間。我們邀請(qǐng)了北京大學(xué)王選計(jì)算機(jī)研究所的張行功教授，聊聊 2021 年視頻傳輸技術(shù)、VR 視頻以及 AI 模型在 RTC 領(lǐng)域應(yīng)用，將會(huì)發(fā)生哪些改進(jìn)與革新。

　　聲網(wǎng)開(kāi)發(fā)者社區(qū)：您曾經(jīng)在演講中分享過(guò)實(shí)時(shí)網(wǎng)絡(luò)擁塞控制的研究思路。有提到數(shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)模型，用于預(yù)測(cè)網(wǎng)絡(luò)狀況，您還引入了神經(jīng)網(wǎng)絡(luò)。您認(rèn)為目前網(wǎng)絡(luò)擁塞控制算法的瓶頸是什么？引入神經(jīng)網(wǎng)絡(luò)帶來(lái)哪些改變？

　　張行功：我們先看一下網(wǎng)絡(luò)擁塞控制的目標(biāo)是什么，尤其在實(shí)時(shí)音視頻傳輸方面。第一個(gè)目標(biāo)就是要求公平，其次就是低延時(shí)，最后是帶寬使用率。

　　實(shí)現(xiàn)上述三個(gè)目標(biāo)，最大的問(wèn)題是無(wú)法預(yù)測(cè)其他用戶(hù)行為方式，互聯(lián)網(wǎng)是一個(gè)開(kāi)放共享的網(wǎng)絡(luò)。

　　另一個(gè)瓶頸就是由于存在網(wǎng)絡(luò)延遲，無(wú)法獲得最新的網(wǎng)絡(luò)狀態(tài)。

　　所以這些障礙會(huì)限制我們的決策，即決定應(yīng)該發(fā)多少數(shù)據(jù)量，才能保證低延遲、高帶寬，尤其在物理鏈路波動(dòng)劇烈的 4G/5G 移動(dòng)網(wǎng)絡(luò)。

　　在一個(gè)不清楚網(wǎng)絡(luò)狀態(tài)和動(dòng)態(tài)變化的網(wǎng)絡(luò)環(huán)境下，要實(shí)現(xiàn)上述三個(gè)目標(biāo)，那么這就是擁塞控制面臨的最大挑戰(zhàn)。傳統(tǒng)上有很多種方法對(duì)網(wǎng)絡(luò)帶寬或者網(wǎng)絡(luò)延時(shí)進(jìn)行探測(cè)、建模，例如 AIMD、delay-based 等方法。但是由于互聯(lián)網(wǎng)太過(guò)于復(fù)雜，尤其是互聯(lián)網(wǎng)用戶(hù)的行為不可預(yù)測(cè)，傳統(tǒng)上用數(shù)學(xué)模型的方法來(lái)描述網(wǎng)絡(luò)狀態(tài)是已被證明不夠準(zhǔn)確的了。

　　基于上述原因，我們引入了神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)方法，進(jìn)行擁塞控制研究。主要包括兩部分，一部分是公平性目標(biāo)，可采用數(shù)學(xué)模型，這是針對(duì)網(wǎng)絡(luò)模型中可以抽象出來(lái)的，而且并且可以去驗(yàn)證和重現(xiàn)的特征，進(jìn)行數(shù)學(xué)建模。另一部分是網(wǎng)絡(luò)狀態(tài)，尤其像現(xiàn)在的互聯(lián)網(wǎng)狀態(tài)，它缺乏比較明確的數(shù)學(xué)模型，那么采用統(tǒng)計(jì)和機(jī)器學(xué)習(xí)就是一個(gè)比較好的方法。

　　張行功：在我看來(lái)，現(xiàn)在機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)中的使用，還處于一個(gè)非常初級(jí)的階段。它的潛力還沒(méi)有被充分挖掘出來(lái)，目前大家只是嘗試用它解決一些簡(jiǎn)單問(wèn)題，但有時(shí)效果并不好。

　　這里涉及到一個(gè)問(wèn)題，什么地方適合用機(jī)器學(xué)習(xí)或 AI 模型，什么時(shí)候不適用？

　　其實(shí)并不是所有的問(wèn)題，只要把數(shù)據(jù)給機(jī)器學(xué)習(xí)的模型，它都能處理。因?yàn)檫@也違背了人類(lèi)對(duì)智能的定義。智能本來(lái)就分成演繹推理部分和歸納推理部分。AI 模型只能代表歸納部分，演繹推理的職能它還承擔(dān)不了。

　　所以從這個(gè)角度來(lái)講，我覺(jué)得機(jī)器學(xué)習(xí)的潛力遠(yuǎn)遠(yuǎn)的沒(méi)有被發(fā)揮出來(lái)，尤其在網(wǎng)絡(luò)領(lǐng)域，還有很多新的技術(shù)沒(méi)有被發(fā)掘。

　　一個(gè)可能的改進(jìn)方向，從目前來(lái)看，不管在網(wǎng)絡(luò)傳輸還在編碼部分的應(yīng)用上，AI 模型一般都對(duì)數(shù)據(jù)有依賴(lài)，那么一旦換了一個(gè)數(shù)據(jù)集或換了一個(gè)場(chǎng)景，它的性能表現(xiàn)就會(huì)變差。

　　這其實(shí)證明了現(xiàn)在的機(jī)器學(xué)習(xí)算法有很大的局限性，其中最重要的一個(gè)問(wèn)題就是模型在設(shè)計(jì)時(shí)，并沒(méi)有針對(duì)于數(shù)據(jù)集的通用性和局限性，設(shè)計(jì)出一個(gè)泛化性能更好的，適用于不同場(chǎng)景的積極學(xué)習(xí)的模型。

　　所以，我覺(jué)得未來(lái)機(jī)器學(xué)習(xí)的發(fā)展，更會(huì)從一種模型復(fù)用和小樣本學(xué)習(xí)的角度去設(shè)計(jì)，而不僅僅在神經(jīng)網(wǎng)絡(luò)本身去做優(yōu)化。舉個(gè)例子，我們?cè)谧鰝鬏數(shù)臅r(shí)候經(jīng)常講預(yù)測(cè)帶寬。我們可以根據(jù)歷史的數(shù)據(jù)，去預(yù)測(cè)未來(lái)的網(wǎng)絡(luò)帶寬。但是訓(xùn)練出來(lái)的模型，一旦換了一個(gè)網(wǎng)絡(luò)環(huán)境，比如從 4G 到 5G，這時(shí)訓(xùn)練后的模型到新的環(huán)境下，泛化性就特別差。這也就是為什么一些新的機(jī)器學(xué)習(xí)的方法，會(huì)從架構(gòu)上來(lái)改進(jìn)。

　　張行功：5G 出現(xiàn)后，會(huì)對(duì)傳輸層協(xié)議的要求更高，這里面主要有幾個(gè)原因：首先是由于 5G 的帶寬更大了，然后是由于 5G 的抖動(dòng)，不管是延遲抖動(dòng)還是帶寬波動(dòng)都會(huì)更大，已經(jīng)遠(yuǎn)遠(yuǎn)超出了 4G 范疇。

　　這里先解釋一下，為什么 5G 網(wǎng)絡(luò)抖動(dòng)會(huì)更大？通過(guò)測(cè)量發(fā)現(xiàn)，5G 是通過(guò)時(shí)間片方式調(diào)度頻譜資源，這意味著將某個(gè)時(shí)間片分配給一個(gè)用戶(hù)時(shí)，它帶寬資源是獨(dú)占的，但在其他時(shí)刻是得不到網(wǎng)絡(luò)資源的。因此，如果我們從非常細(xì)的粒度，比如從某一個(gè)數(shù)據(jù)包的角度來(lái)看，它的延時(shí)波動(dòng)以及數(shù)據(jù)包之間的帶寬波動(dòng)都會(huì)非常劇烈。5G 的理論帶寬是 1GB/s，所以一旦出現(xiàn)某個(gè)時(shí)間片未將資源分配你的時(shí)候，那么你的帶寬波動(dòng)會(huì)非常大。

　　除了以上兩點(diǎn)，5G 會(huì)帶來(lái)邊緣計(jì)算的普及，未來(lái)很多數(shù)據(jù)和服務(wù)都會(huì)放在一些邊緣服務(wù)器上。邊緣計(jì)算加上 5G 的整個(gè)物理帶寬和延時(shí)的提升，會(huì)倒逼傳輸層協(xié)議的改進(jìn)。不管是傳統(tǒng)的 TCP 還是這些年大家比較關(guān)注的像 QUIC、BBR，以及一些私有協(xié)議。現(xiàn)在的傳輸層協(xié)議已經(jīng)存在 40 年了，存在較大變革的需求。

　　另外從應(yīng)用層的角度講，比如說(shuō)我們說(shuō)的 ABR 或其它業(yè)務(wù)層相關(guān)的算法，隨著 5G 商用后，都會(huì)在邊緣節(jié)點(diǎn)發(fā)揮作用。因此，內(nèi)容緩存算法、動(dòng)態(tài)自適應(yīng)、分布式視頻編碼和處理等，都會(huì)遷移到邊緣節(jié)點(diǎn)上，而且對(duì)這些算法的性能和交互能力提出更高的要求。

　　5G 會(huì)推動(dòng) VR、AR、云游戲等實(shí)時(shí)視頻應(yīng)用場(chǎng)景的發(fā)展。從應(yīng)用層的算法，包括剛剛提到的海量節(jié)點(diǎn)、小存儲(chǔ)，到實(shí)時(shí)交互、邊緣節(jié)點(diǎn)的業(yè)務(wù)層算法等都會(huì)得到改進(jìn)。

　　張行功：從廣義來(lái)講，VR 視頻包含全景視頻、AR、云游戲，因?yàn)楝F(xiàn)在很多云游戲也是基于視頻的實(shí)時(shí)交互。所以這些都是屬于 VR 視頻的應(yīng)用的體現(xiàn)形式。實(shí)際上其中最核心的問(wèn)題有三個(gè)：

　　第一個(gè)問(wèn)題就是它是一種實(shí)時(shí)交互式的視頻。交互式視頻就存在一個(gè)延時(shí)的問(wèn)題，不管是我們看視頻，還是去打云游戲，只要用戶(hù)做一動(dòng)作，或頭部移動(dòng)一個(gè)角度，畫(huà)面就需要在 20ms 之內(nèi)做出相應(yīng)的反饋。否則，人的體驗(yàn)就會(huì)下降。

　　這對(duì)網(wǎng)絡(luò)傳輸就提出了很高的要求。因?yàn)槲覀冎��?20ms 是一個(gè)端到端的延時(shí)，而且是一個(gè) round trip time，這里包含了網(wǎng)絡(luò)、編解碼、服務(wù)器處理、客戶(hù)端渲染的延時(shí)。即使是未來(lái)實(shí)現(xiàn)邊緣計(jì)算，想實(shí)現(xiàn) 20ms 的端到端往返延時(shí)也絕非易事。

　　第二個(gè)核心的問(wèn)題就是人的運(yùn)動(dòng)預(yù)測(cè)。例如，我們看 VR 視頻的時(shí)候會(huì)有頭部的運(yùn)動(dòng)。未來(lái)會(huì)有 6DoF 的視頻，我們不僅會(huì)有頭部運(yùn)動(dòng)，還會(huì)在虛擬場(chǎng)景中運(yùn)動(dòng)。在這種情況下，我們?nèi)绾稳ヮA(yù)測(cè)人的運(yùn)動(dòng)是一個(gè)非常重要且急需解決的問(wèn)題。

　　運(yùn)動(dòng)預(yù)測(cè)主要是解決第一個(gè)延遲問(wèn)題，從物理角度來(lái)講，20ms 是一個(gè)難以達(dá)到的延時(shí)。現(xiàn)在業(yè)界提出的解決方案是通過(guò)預(yù)測(cè)人的運(yùn)動(dòng)，然后預(yù)加載數(shù)據(jù)。相當(dāng)于在用戶(hù)沒(méi)有看到這一部分的視頻畫(huà)面的時(shí)候，我就把這個(gè)數(shù)據(jù)下載到本地。當(dāng)用戶(hù)移動(dòng)到某個(gè)位置時(shí)，實(shí)際上就是從本地來(lái)獲取這個(gè)畫(huà)面，延時(shí)就小很多了。

　　但是，人的行為是有很大的隨機(jī)性，所以隨之而來(lái)的問(wèn)題是如何去預(yù)測(cè)人的行為？比如我們觀看 VR 視頻時(shí)，每個(gè)人感興趣的內(nèi)容和位置可能都不一樣。這是目前急需解決的一個(gè)難題。

　　第三個(gè)問(wèn)題就是高通量數(shù)據(jù)。我們現(xiàn)在看到的這些 VR 視頻可能還只是 4K、8K 分辨率的，它的碼率大約在 100MB 級(jí)別。但是未來(lái)可能會(huì)有 16K，甚至 24K 的視頻。16K 是什么概念呢？相當(dāng)于我們?cè)陔娨暽峡吹?720P 平面視頻。我們?cè)陔娔X顯示器上可觀看的視角大約 30 度。如果將 720P 的視頻延展為 360 度，這時(shí)候的數(shù)據(jù)量就相當(dāng)于一個(gè) 16K 視頻。未來(lái)如果加入 6DoF 視頻，支持用戶(hù)在 VR 視頻場(chǎng)景中自由活動(dòng)，則會(huì)有更大的數(shù)據(jù)量。另外，AR、云游戲等場(chǎng)景也會(huì)產(chǎn)生越來(lái)越多的數(shù)據(jù)。

　　我們看到，硬件在不斷發(fā)展。蘋(píng)果已經(jīng)可以實(shí)現(xiàn)單眼 8K 的 VR 終端了。但網(wǎng)絡(luò)的發(fā)展實(shí)際上還沒(méi)能跟上硬件的步伐。如此來(lái)看，很長(zhǎng)時(shí)間以?xún)?nèi)，網(wǎng)絡(luò)傳輸?shù)钠款i會(huì)始終存在。

　　在這方面，我們做了幾個(gè)探索，一個(gè)是 QoE 驅(qū)動(dòng)的視點(diǎn)傳輸。我們根據(jù)用戶(hù)看的區(qū)域，傳輸對(duì)應(yīng)的數(shù)據(jù)。這是一個(gè)比較有效的手段，已經(jīng)在很多地方應(yīng)用。

　　另一方面的研究是針對(duì)云游戲的。云游戲?qū)儆?VR 視頻的一個(gè)分支，對(duì)延遲更加敏感，數(shù)據(jù)量也很大，同時(shí)用戶(hù)交互行為更加復(fù)雜，很難進(jìn)行動(dòng)作預(yù)測(cè)。所以我們探索一種零延遲的畫(huà)面預(yù)測(cè)方法，在一定程度上來(lái)解決交互延遲的問(wèn)題。

　　張行功：從視頻通信、網(wǎng)絡(luò)傳輸方面，在 2020 年出現(xiàn)了一些比較新的場(chǎng)景，例如云游戲和云桌面。其本質(zhì)上就是實(shí)時(shí)視頻，但是技術(shù)挑戰(zhàn)會(huì)比傳統(tǒng)的視頻更大。因?yàn)榫拖裰�前分析的，它的延時(shí)要求很苛刻，人的行為很難預(yù)測(cè)。2020 年有一些技術(shù)嘗試，但是效果不是很理想。所以在 2021 年，業(yè)界還會(huì)有更多新角度的嘗試來(lái)解決這些問(wèn)題。

　　第二個(gè)就是面向 5G 以及衛(wèi)星網(wǎng)絡(luò)的研究和應(yīng)用。5G 網(wǎng)絡(luò)已經(jīng)開(kāi)始商用，衛(wèi)星網(wǎng)絡(luò)方面，我們已經(jīng)可以看到 Elon Musk 的 StarLink 也開(kāi)始提供測(cè)試服務(wù)了。所以面向新型網(wǎng)絡(luò)的低延時(shí)傳輸研究也會(huì)是 2021 的熱點(diǎn)之一。

　　視頻傳輸方面。在 2020 年，機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等方法更多地被用在了網(wǎng)絡(luò)領(lǐng)域，包括傳輸層、應(yīng)用層的視頻通信。在 2021 年將會(huì)有更多這方面的研究，提供它的實(shí)用性和泛化能力。

　　最后，視頻傳輸質(zhì)量評(píng)價(jià)也是 2020 年重要的熱點(diǎn)之一。由于現(xiàn)在網(wǎng)絡(luò)視頻的種類(lèi)很多，包括實(shí)時(shí)視頻、直播、短視頻、VR 視頻等，但傳統(tǒng)上視頻質(zhì)量評(píng)價(jià)都是面向編碼，但對(duì)傳輸?shù)脑u(píng)價(jià)一直沒(méi)有一個(gè)很好的框架。視頻傳輸質(zhì)量的監(jiān)控和評(píng)價(jià)是業(yè)務(wù)的核心，包括由數(shù)據(jù)監(jiān)測(cè)、質(zhì)量評(píng)價(jià)到故障報(bào)警、修復(fù)的一套閉環(huán)的質(zhì)量體系，將會(huì)是 2021 年被持續(xù)關(guān)注的熱點(diǎn)之一。