韓國先進(jìn)的移動(dòng)運營(yíng)商構建包含數百億個(gè)參數的大型語(yǔ)言模型，并使用 NVIDIA DGX SuperPOD 平臺和 NeMo Megatron 框架訓練該模型。

　　在韓國受歡迎的 AI 語(yǔ)音助手 GiGA Genie 每天會(huì )與 800 萬(wàn)人交談。

　　這款 AI 賦能的揚聲器由電信公司 KT 提供，不僅能控制電視和提供實(shí)時(shí)流量更新信息，還能根據語(yǔ)音命令完成大量其他家居輔助任務(wù)。得益于大型語(yǔ)言模型 (LLM)（能根據龐大的文本數據集識別、理解、預測和生成人類(lèi)語(yǔ)言的機器學(xué)習算法），這款揚聲器掌握了以極為復雜的韓語(yǔ)進(jìn)行對話(huà)的技能。

　　該公司構建了包含數百億個(gè)參數的 LLM，并且使用 NVIDIA DGX SuperPOD 數據中心基礎架構平臺與 NeMo Megatron 框架來(lái)訓練和部署這些模型。

　　毫無(wú)疑問(wèn)，韓語(yǔ) (Hangul) 是一種極為復雜的語(yǔ)言。它包含四種類(lèi)型的復合動(dòng)詞，而且詞語(yǔ)通常由兩個(gè)或更多個(gè)詞根組成。

　　KT 是韓國先進(jìn)的移動(dòng)運營(yíng)商，擁有超過(guò) 2200 萬(wàn)用戶(hù)。該公司通過(guò)開(kāi)發(fā)包含大約 400 億個(gè)參數的 LLM，提高了智能揚聲器對此類(lèi)詞語(yǔ)的理解能力。此外，通過(guò)與 Amazon Alexa 進(jìn)行集成，GiGA Genie 也可以使用英語(yǔ)與用戶(hù)交談。

　　KT 的 LLM 開(kāi)發(fā)團隊負責人 Hwijung Ryu 說(shuō)道：“借助基于 Transformer 的模型，我們顯著(zhù)改善了 GiGA Genie 智能揚聲器和我們客戶(hù)服務(wù)平臺 AI 聯(lián)絡(luò )中心 (AICC) 的品質(zhì)。”

　　AICC 是基于云的一體式平臺，可提供 AI 語(yǔ)音代理和其他與客戶(hù)服務(wù)相關(guān)的應用。

　　它可以接聽(tīng)電話(huà)并提供客戶(hù)需要的信息，或者快速將客戶(hù)轉接到人工代理，以便對更詳細的詢(xún)問(wèn)進(jìn)行解答。Ryu 指出，無(wú)需人工干預的 AICC 每天可以管理韓國各地打來(lái)的 10 萬(wàn)多個(gè)電話(huà)。

　　他補充說(shuō)道：“LLM 使 GiGA Genie 能夠更好地理解語(yǔ)言并生成更接近人類(lèi)語(yǔ)言的句子，而 AICC 能更快地對詢(xún)問(wèn)類(lèi)型進(jìn)行匯總和分類(lèi)，從而將咨詢(xún)時(shí)間縮短 15 秒。”

　　開(kāi)發(fā) LLM 可能是一個(gè)成本高昂且耗費時(shí)間的過(guò)程，并需要深厚的專(zhuān)業(yè)技術(shù)知識和巨大的全棧技術(shù)投資。

　　NVIDIA AI 平臺簡(jiǎn)化并加快了 KT 的這一過(guò)程。

　　Ryu 說(shuō)：“我們利用 NVIDIA DGX SuperPOD 的強大性能以及 NeMo Megatron 的優(yōu)化算法和 3D 并行技術(shù)，更有成效地訓練了 LLM 模型。NeMo Megatron 不斷采用新功能，這是我們認為它在提高模型準確性方面的巨大優(yōu)點(diǎn)。”

　　3D 并行對訓練 KT 的 LLM 至關(guān)重要，它是一種分布式訓練方法，可將超大規模的深度學(xué)習模型分散到多臺設備上。Ryu 指出，NeMo Megatron 使團隊能夠以盡可能高的吞吐量輕松完成這項任務(wù)。

　　他補充道：“我們考慮過(guò)使用其他平臺，但很難找到從硬件級別到推理級別都能提供全棧環(huán)境的替代平臺。NVIDIA 還提供來(lái)自產(chǎn)品、工程團隊等的出色專(zhuān)業(yè)知識，使我們輕松解決了多個(gè)技術(shù)問(wèn)題。”

　　Ryu 表示，通過(guò)使用 NeMo Megatron 中的超參數優(yōu)化工具，KT 訓練其 LLM 的速度比使用其他框架快 2 倍。借助這些工具，用戶(hù)可以自動(dòng)找到更適合 LLM 訓練和推理的配置，從而簡(jiǎn)化和加快開(kāi)發(fā)與部署過(guò)程。

　　KT 還計劃使用 NVIDIA Triton 推理服務(wù)器來(lái)提供優(yōu)化的實(shí)時(shí)推理服務(wù)，以及使用 NVIDIA Base Command Manager 輕松監控和管理其 AI 集群中的數百個(gè)節點(diǎn)。

　　Ryu 說(shuō)：“得益于 LLM，KT 可以比以往更快地發(fā)布充滿(mǎn)競爭力的產(chǎn)品。我們還確信我們的技術(shù)可以推動(dòng)其他公司的創(chuàng )新，因為它可以用來(lái)增加價(jià)值和創(chuàng )造新穎的產(chǎn)品。”

　　KT 計劃在 11 月向開(kāi)發(fā)者發(fā)布 20 多個(gè)自然語(yǔ)言理解和自然語(yǔ)言生成 API（應用程序編程接口）。這些 API 可用于多種任務(wù)，包括文檔摘要和分類(lèi)、情緒識別和潛在不當內容的過(guò)濾等。
　　請觀(guān)看線(xiàn)上 NVIDIA GTC 大會(huì )：https://www.nvidia.cn/gtc-global/ 詳細了解 AI 和元宇宙時(shí)代的突破性技術(shù)。