今日，中文通用大模型綜合性評測基準 SuperCLUE 正式發(fā)布。該基準測試主要關(guān)注以下問(wèn)題：中文大模型在不同任務(wù)上的表現如何?與國際代表性模型相比，中文大模型的表現達到了何種程度?中文大模型與人類(lèi)表現相比如何?

　　該模型可通過(guò)多個(gè)層面，考研市面上主流的中文 GPT 大模型的能力：

　　基礎能力: 包括了常見(jiàn)的有代表性的模型能力，如語(yǔ)義理解、對話(huà)、邏輯推理、角色模擬、代碼、生成與創(chuàng )作等 10 項能力。

　　專(zhuān)業(yè)能力: 包括了中學(xué)、大學(xué)與專(zhuān)業(yè)考試，涵蓋了從數學(xué)、物理、地理到社會(huì )科學(xué)等 50 多項能力。

　　中文特性能力: 針對有中文特點(diǎn)的任務(wù)，包括了中文成語(yǔ)、詩(shī)歌、文學(xué)、字形等 10 項多種能力。

　　

 

　　該機構利用 SuperCLUE 測試基準，對市面上主流的支持中文的通用大模型進(jìn)行了評測與排名。從排名中我們可以看出，GPT-4 一騎絕塵，已經(jīng)非常接近人類(lèi)的能力。國產(chǎn)大模型中訊飛科技研發(fā)的星火認知大模型總排名第三，國內排名第一。

　　

 

　　以下為該機構公布的各個(gè)子項目的具體得分。排行榜會(huì )定期更新，并于以下網(wǎng)站進(jìn)行公示。CLUEbenchmarks 官方網(wǎng)站