徐晧博士介紹了混合AI的概念，是一個包括云端、邊緣云和終端的統(tǒng)一架構。需要巨大算力海量數(shù)據(jù)資源的大規(guī)模AI模型訓練，仍留在云端進行。推理計算可以部分轉移到終端側，如果終端側算力無法完成，則通過5G等網(wǎng)絡，推到云端，運算后再推回終端。混合AI架構可以很好地協(xié)調終端和云端的資源分配，把AI能力發(fā)揮到極致。
他引用計算機的發(fā)展歷史，預測AI也會有這樣的趨勢。計算機從最早是專用的大型設備，隨后發(fā)展到個人使用的PC，再到可以攜帶的筆記本，最后發(fā)展成隨身的智能手機。這個過程是把以前大型計算機能做的事，慢慢演化貼近每個人的身邊。同樣的，終端側的AI算力會越來越強，功能會越來越多，各種AI功能也將逐漸由云端轉移到個人身邊。他在演講中展示了高通的一個案例，在今年初，高通實現(xiàn)首個在Android手機上運行Stable Diffusion。這是一個10億參數(shù)規(guī)模的生成式AI模型，以前只能在PC設備上運行，這次高通的運行設備是一臺不聯(lián)網(wǎng)的高通驍龍8Gen2 5G手機，能在15秒內完成20步推理，根據(jù)用戶的自然語言輸入生成圖片。徐晧還解釋了終端側AI取代云端推理其中一個深層原因，生成式AI每一次對話的成本是之前搜索引擎的10倍，當成千上萬的用戶使用時，就會產(chǎn)生巨大的算力成本。這時候終端側AI就可以節(jié)約大量的計算成本，進而加速AI普及速度。
徐晧羅列了一組數(shù)據(jù)，介紹了高通在普及終端側AI的優(yōu)勢。高通從2007年開始投入AI研發(fā)，不斷的將最新的AI算法和能力加入高通AI引擎，現(xiàn)在已經(jīng)發(fā)展到第八代高通AI引擎。全球范圍內有數(shù)十億臺高通驍龍設備，并且繼續(xù)以每年數(shù)億臺的速度增長。高通還提供能簡化AI在終端側運行的軟件和算法的綜合平臺。海量的硬件數(shù)量，優(yōu)秀的軟件生態(tài)，將會讓AI普及到更多人。
