首頁(yè) > 谷歌是在其 I / O 開(kāi)發(fā)者大會(huì )上發(fā)布最新通用大語(yǔ)言模型 PaLM2 的。內部文件顯示，該模型采用了 3.6 萬(wàn)億個(gè)令牌(token)進(jìn)行訓練。令牌指的是單詞串，這是訓練大語(yǔ)言模型的重要基礎，因為這可以教給模型如何預測字符串中可能出現的下一個(gè)單詞。
之前版本的 PaLM 發(fā)布于 2022 年，當時(shí)使用的令牌為 7800 億個(gè)。
雖然谷歌很希望展示其人工智能技術(shù)的實(shí)力，以及嵌入搜索、電子郵件、字處理和電子表格后的效果，但該公司卻不愿發(fā)布其訓練數據的規模和其他細節。微軟支持的 OpenAI 也對其最新的 GPT-4 大語(yǔ)言模型的細節信息保密。
這些公司表示，之所以不披露這些信息，是出于商業(yè)競爭考慮。谷歌和 OpenAI 都在努力吸引想要用聊天機器人代替傳統搜索引擎，從而直接獲取答案的用戶(hù)。
但隨著(zhù)人工智能軍備競賽日趨白熱化，相關(guān)研究人員也呼吁企業(yè)加大透明度。
自從發(fā)布 PaLM2 之后，谷歌一直表示新的模型比之前的大語(yǔ)言模型更小，這就意味著(zhù)該公司的技術(shù)效率得以提升，但卻可以完成更加復雜的任務(wù)。內部文件顯示，PaLM2 基于 3400 億個(gè)參數訓練 —— 這項指標可以說(shuō)明該模型的復雜程度。最初的 PaLM 則基于 5400 億個(gè)參數訓練。
目前，谷歌尚未對此置評。
谷歌在一篇關(guān)于 PaLM2 的博文中表示，該模型使用了一種名為“計算機優(yōu)化擴張”的新技術(shù)。這就讓大語(yǔ)言“更高效、整體性能更好，包括加快推理速度、減少參數調用和降低服務(wù)成本。”
在宣布 PaLM2 時(shí)，谷歌證實(shí)了此前的媒體報道，計該模型針對 100 種語(yǔ)言進(jìn)行訓練，可以執行更廣泛的任務(wù)。它已經(jīng)被用于 25 項功能和產(chǎn)品，包括該公司的實(shí)驗性聊天機器人 Bard。按照從小到大的規模劃分，該模型共有 4 種，分別是壁虎(Gecko)、水獺(Otter)、野牛(Bison)和獨角獸(Unicorn)。
根據公開(kāi)披露的信息，PaLM2 比現有的任何模型都更加強大。Facebook 在 2 月份宣布的的 LLaMA 大語(yǔ)言模型采用 1.4 萬(wàn)億個(gè)令牌。OpenAI 上一次披露 GPT-3 的訓練規模時(shí)表示，它當時(shí)基于 3000 億個(gè)令牌。OpenAI 今年 3 月發(fā)布 GPT-4 時(shí)表示，它在許多專(zhuān)業(yè)測試中展示出“與人類(lèi)媲美的表現”。
LaMDA 是谷歌兩年前推出的一個(gè)對話(huà)型大語(yǔ)言模型，在今年 2 月還與 Bard 一同對外宣傳。該模型基于 1.5 萬(wàn)億個(gè)令牌訓練。
隨著(zhù)新的人工智能應用快速進(jìn)入主流，圍繞底層技術(shù)的爭議也越來(lái)越激烈。
谷歌高級研究科學(xué)家艾爾 邁赫迪 艾爾 麥哈麥迪(El Mahdi El Mhamdi)于今年 2 月辭職，主要原因就是人工智能技術(shù)缺乏透明度。本周二，OpenAI CEO 山姆 阿爾特曼(Sam Altman)出席美國國會(huì )針對隱私和技術(shù)舉行的聽(tīng)證會(huì )，他也認為需要設立一套新的制度來(lái)應對人工智能的潛在問(wèn)題。
“對于一種全新的技術(shù)，我們需要一套全新的框架。”阿爾特曼說(shuō)，“當然，像我們這樣的公司應當為我們推出的工具承擔許多責任。”
