今年6月，京東一年一度的618店慶拉開(kāi)帷幕。許多京東用戶(hù)發(fā)現(xiàn)，在今年的618中，京東上線了全新的AI導(dǎo)購(gòu)機(jī)器人JOY，它沿用了京東經(jīng)典的機(jī)器狗形象，可以為用戶(hù)解答618店慶相關(guān)問(wèn)題。

　　面對(duì)京東用戶(hù)們提出的各種各樣的問(wèn)題，JOY大多能給出令人滿(mǎn)意的回答，甚至可以和用戶(hù)閑聊扯家常。此外，JOY也強(qiáng)化了自己的多輪對(duì)話(huà)能力，以便應(yīng)對(duì)用戶(hù)的反復(fù)追問(wèn)。

　　在京東JOY強(qiáng)大的對(duì)話(huà)能力中，基于開(kāi)放域目標(biāo)驅(qū)動(dòng)的生成式對(duì)話(huà)服務(wù)來(lái)自于人工智能企業(yè)“深思考人工智能”（iDeepWise.ai）。其在多模態(tài)深度語(yǔ)義理解、人機(jī)對(duì)話(huà)等核心AI技術(shù)上已不斷突破創(chuàng)新。這些新技術(shù)的不斷迭代，也在一步步推動(dòng)AI實(shí)現(xiàn)商業(yè)化落地。

　　AI人機(jī)對(duì)話(huà)在商業(yè)化落地中有很多場(chǎng)景，如智能客服、服務(wù)機(jī)器人、智能外呼、智能終端的交互、智能家居的交互、電視機(jī)語(yǔ)音交互遙控器等等。而這些人機(jī)交互場(chǎng)景背后的基礎(chǔ)技術(shù)，就是人機(jī)對(duì)話(huà)技術(shù)，其中最核心，則是語(yǔ)義理解技術(shù)。

　　智能客服，可能是眼下最常見(jiàn)的人機(jī)對(duì)話(huà)場(chǎng)景。許多人對(duì)于AI對(duì)話(huà)能力的體驗(yàn)，也是從智能客服開(kāi)始的。然而，如果智能客服欠缺語(yǔ)義理解技術(shù)，或者語(yǔ)義理解技術(shù)不夠好，就會(huì)出現(xiàn)如下現(xiàn)象：

某平臺(tái)的“智能客服”，無(wú)法理解用戶(hù)的自然語(yǔ)言

　　以往，人機(jī)對(duì)話(huà)產(chǎn)品的回答策略大多基于“規(guī)則”，即在系統(tǒng)內(nèi)提前錄入指定關(guān)鍵詞，一旦用戶(hù)觸發(fā)指定關(guān)鍵詞，智能客服便會(huì)給出對(duì)應(yīng)回復(fù)。

　　例如，在智能客服領(lǐng)域，當(dāng)系統(tǒng)監(jiān)測(cè)到用戶(hù)的提問(wèn)涉及“查快遞”一詞，就會(huì)自動(dòng)給出物流信息。但面對(duì)“幫我看看我的快遞到哪了”一類(lèi)的復(fù)雜提問(wèn)方式，智能客服便無(wú)能為力。

　　甚至，當(dāng)用戶(hù)詢(xún)問(wèn)“需要檢查快遞員身份嗎”等問(wèn)題時(shí)，同樣會(huì)觸發(fā)“查快遞”一詞。這時(shí)，系統(tǒng)甚至?xí)�給出南轅北轍的回答。

　　相比較上述人機(jī)對(duì)話(huà)的糟糕表現(xiàn)和體驗(yàn)，使用深思考深度語(yǔ)義理解與人機(jī)對(duì)話(huà)技術(shù)的產(chǎn)品，則體驗(yàn)和表現(xiàn)就相當(dāng)優(yōu)異，如下截圖：

深思考機(jī)器人：可以了解用戶(hù)的喜好個(gè)性化對(duì)話(huà)

深思考智慧營(yíng)銷(xiāo)機(jī)器人：根據(jù)歷史上文信息，給出推薦

深思考AI問(wèn)好醫(yī)：AI學(xué)習(xí)醫(yī)生知識(shí)后自動(dòng)對(duì)健康咨詢(xún)上下文回復(fù)

　　深思考iDeepwise將數(shù)據(jù)和AI模型驅(qū)動(dòng)的深度語(yǔ)義理解及MRC技術(shù)作為人機(jī)對(duì)話(huà)產(chǎn)品的核心。其自研的多模態(tài)深度語(yǔ)義理解引擎依賴(lài)在NLG（自然語(yǔ)言生成）、MRC（機(jī)器閱讀理解）以及DM（對(duì)話(huà)管理）等任務(wù)上的原理性創(chuàng)新，讓AI能夠讀懂用戶(hù)自然語(yǔ)言，并給出針對(duì)性的回復(fù)。

　　在精準(zhǔn)理解用戶(hù)意圖的同時(shí)，深思考的多模態(tài)深度語(yǔ)義理解引擎還可以在對(duì)話(huà)中不斷了解用戶(hù)，了解用戶(hù)的畫(huà)像及個(gè)性化需求及興趣，并基于用戶(hù)畫(huà)像與客戶(hù)展開(kāi)個(gè)性化的對(duì)話(huà)與推薦。

　　此外，它還可以根據(jù)場(chǎng)景，給予對(duì)話(huà)機(jī)器人不同的性格“人設(shè)”，讓用戶(hù)感覺(jué)到AI對(duì)話(huà)機(jī)器人服務(wù)獨(dú)有的情感體驗(yàn)。這項(xiàng)黑科技可以賦予IP形象以“生命“，使IP形象成為虛擬世界里擁有不同“鮮活性格”的“AI虛擬人”，并體貼、關(guān)懷用戶(hù)。

　　深度的多模態(tài)語(yǔ)義理解技術(shù)，也讓深思考在AI人機(jī)對(duì)話(huà)領(lǐng)域形成了領(lǐng)先優(yōu)勢(shì)。據(jù)了解，2020年6月在中國(guó)中文信息學(xué)會(huì)（CIPS）和中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦的中文語(yǔ)言理解的全球權(quán)威賽事“2020語(yǔ)言與智能技術(shù)競(jìng)賽”上，深思考在全球1000多家參與單位中脫穎而出，在機(jī)器評(píng)測(cè)指標(biāo)和人工評(píng)估指標(biāo)中均登頂榜首，獲得全球冠軍。

　　據(jù)了解，取得這一成績(jī)，是因?yàn)樯钏伎紙F(tuán)隊(duì)提出的“多源整合的解碼器”的深度神經(jīng)網(wǎng)絡(luò)模型技術(shù)。該技術(shù)在AI人機(jī)對(duì)話(huà)上能流暢地引導(dǎo)用戶(hù)交流，主動(dòng)溝通，并和MRC機(jī)器閱讀理解、用戶(hù)畫(huà)像、目標(biāo)規(guī)劃深度結(jié)合，適配多場(chǎng)景應(yīng)用，可以迅速遷移多個(gè)場(chǎng)景。

　　深思考創(chuàng)始人楊志明博士表示，“腹有詩(shī)書(shū)氣自華”，讓系統(tǒng)不停地博覽群書(shū)、閱讀理解大量信息，才能使機(jī)器對(duì)內(nèi)容“能理解會(huì)思考”，并實(shí)現(xiàn)自然流暢的人機(jī)交互。深思考多模態(tài)深度語(yǔ)義理解引擎iDeepwise。ai5.0目前也正式發(fā)布應(yīng)用，5.0版本引擎能夠閱讀理解非結(jié)構(gòu)化語(yǔ)音、視頻、文本，試想讓機(jī)器時(shí)刻不停地閱讀理解互聯(lián)網(wǎng)上的語(yǔ)音、視頻和文本后，機(jī)器就會(huì)變得更“聰明博學(xué)”，相信機(jī)器更理解人類(lèi)的日子已經(jīng)不遠(yuǎn)了。

　　深思考多模態(tài)深度語(yǔ)義理解與人機(jī)對(duì)話(huà)引擎iDeepwise。ai5.0可以應(yīng)用于諸多落地場(chǎng)景：比如電商、銀行、保險(xiǎn)、智能終端（音箱、手機(jī)、車(chē)機(jī)、智慧屏）、游戲、虛擬偶像中。

　　“現(xiàn)在，感知階段的人工智能走向認(rèn)知人工智能是人工智能發(fā)展的必然階段，多模態(tài)的深度語(yǔ)義理解是認(rèn)知人工智能階段中的關(guān)鍵核心。”深思考人工智能創(chuàng)始人楊志明博士對(duì)36氪表示。

　　何為多模態(tài)語(yǔ)義理解？簡(jiǎn)而言之，通俗化來(lái)講就是讓機(jī)器可以“看懂、聽(tīng)懂、讀懂”。而深思考的人工智能多模態(tài)深度語(yǔ)義理解，就是讓機(jī)器可以看懂視頻圖像，可以聽(tīng)懂語(yǔ)音，讀懂文本等多模態(tài)非結(jié)構(gòu)化信息背后的含義。

　　如何讓機(jī)器能夠閱讀理解？這就依賴(lài)機(jī)器閱讀理解技術(shù)（MRC），在MRC領(lǐng)域，深思考同樣成果斐然。在2019年的中文機(jī)器閱讀理解競(jìng)賽中，深思考憑借著自研的BMANet2.0模型，在2502家知名學(xué)術(shù)科研機(jī)構(gòu)和企業(yè)團(tuán)隊(duì)中脫穎而出，刷新了SOTA記錄，并在兩項(xiàng)評(píng)測(cè)指標(biāo)中均登頂榜首，獲得全球冠軍。

　　例如，在電商場(chǎng)景，傳統(tǒng)的電商智能客服，需要系統(tǒng)開(kāi)發(fā)商人工整理大量問(wèn)答對(duì)、知識(shí)圖譜、知識(shí)庫(kù)或規(guī)則，并通過(guò)問(wèn)答對(duì)匹配、規(guī)則匹配，實(shí)現(xiàn)人機(jī)對(duì)話(huà)。使用MRC技術(shù)后，系統(tǒng)就可以直接閱讀理解商品的說(shuō)明書(shū)，極大地提高了效率，減少了人力成本，并大大提高了智能客服的“智商”。

　　目前，產(chǎn)業(yè)界普遍認(rèn)為，多模態(tài)語(yǔ)義理解將會(huì)成為AI在各行各業(yè)實(shí)現(xiàn)大規(guī)模商業(yè)落地的重要基礎(chǔ)設(shè)施。這一邏輯背后的原因非常簡(jiǎn)單——現(xiàn)實(shí)世界本身就是多模態(tài)的。“就像你去醫(yī)院看病，醫(yī)生要望聞問(wèn)切，對(duì)患者各種模態(tài)的狀況進(jìn)行檢查（比如血、尿，體溫，MR，詳細(xì)咨詢(xún)病情等），不能只憑線上聊天的幾行文字就做出診斷。”

　　多模態(tài)語(yǔ)義理解具備了同時(shí)多種模態(tài)信息進(jìn)行深度理解的能力，所以適配的應(yīng)用場(chǎng)景就更廣泛，因?yàn)楝F(xiàn)實(shí)中的場(chǎng)景都是多模態(tài)的。例如，在醫(yī)療場(chǎng)景，醫(yī)生會(huì)對(duì)就診病人“望聞問(wèn)切”；電商場(chǎng)景，用戶(hù)會(huì)在咨詢(xún)時(shí)發(fā)來(lái)語(yǔ)音或圖片或文本；在線教育場(chǎng)景，學(xué)生總是期待老師能夠通過(guò)視頻、音頻和解說(shuō)文字來(lái)教學(xué)，通過(guò)圖文并茂實(shí)現(xiàn)更好的教學(xué)效果。就連人類(lèi)的社交場(chǎng)景也是多模態(tài)的，人們總是期望能見(jiàn)面詳談，能面對(duì)面看到對(duì)方的樣子、姿態(tài)、表情、聲音，并通過(guò)對(duì)話(huà)、聲音、視覺(jué)等多種模態(tài)信息，理解對(duì)方的意圖。

　　人工智能多模態(tài)語(yǔ)義理解存在著廣闊的商業(yè)前景，并有望成為AI行業(yè)的新基建。

　　憑借著在人機(jī)對(duì)話(huà)、機(jī)器閱讀理解、多模態(tài)語(yǔ)義理解領(lǐng)域的技術(shù)積累，深思考已在智慧醫(yī)療、智慧生活、智慧商業(yè)三大AI場(chǎng)景成熟應(yīng)用落地，并基于其iDeepWise5.0多模態(tài)深度語(yǔ)義理解引擎的技術(shù)優(yōu)勢(shì)，不斷快速適配更多應(yīng)用場(chǎng)景，在虛擬偶像、二次元平臺(tái)、游戲等領(lǐng)域不斷開(kāi)疆拓土。讓機(jī)器更理解人類(lèi)，未來(lái)可期，也是深思考的未來(lái)不斷探尋之路。