NeMo Guardrails 是一個(gè)軟件層，位于用戶(hù)和 AI 模型之間，可以在模型輸出不良內容之前進(jìn)行攔截和修改。例如，如果開(kāi)發(fā)者想要創(chuàng )建一個(gè)客服聊天機器人，可以使用 NeMo Guardrails 來(lái)限制它只能談?wù)撓嚓P(guān)的產(chǎn)品，而不能談?wù)摳偁帉κ值漠a(chǎn)品或其他不相關(guān)的話(huà)題。如果用戶(hù)提出這樣的問(wèn)題，機器人可以引導對話(huà)回到開(kāi)發(fā)者希望的話(huà)題上。

　　英偉達還提供了另一個(gè)例子，一個(gè)用于回答內部企業(yè)人力資源問(wèn)題的聊天機器人。在這個(gè)例子中，英偉達能夠使用 NeMo Guardrails 來(lái)阻止基于 ChatGPT 的機器人回答關(guān)于公司財務(wù)狀況的問(wèn)題或訪(fǎng)問(wèn)其他員工的私人數據。

　　此外，該軟件還能夠利用一個(gè) AI 模型來(lái)檢測另一個(gè) AI 模型的“幻覺(jué)”，通過(guò)向第二個(gè) AI 模型提問(wèn)來(lái)核實(shí)第一個(gè) AI 模型的答案。如果兩個(gè)模型給出不一致的答案，那么軟件就會(huì )返回“我不知道”的回答。

　　英偉達還表示，這個(gè)“護欄”軟件還有助于提高安全性，可以強制 AI 模型只與白名單列表中的第三方軟件進(jìn)行交互。

　　NeMo Guardrails 是開(kāi)源的，并通過(guò)英偉達服務(wù)提供，可以用于商業(yè)應用，開(kāi)發(fā)者將使用 Golang 編程語(yǔ)言來(lái)為 AI 模型編寫(xiě)自定義規則。

　　據搜索了解，包括谷歌和微軟支持的 OpenAI 等其他 AI 公司，也使用了一種稱(chēng)為強化學(xué)習的方法來(lái)防止 LLM 應用產(chǎn)生有害的輸出。這種方法使用人類(lèi)測試者來(lái)創(chuàng )建關(guān)于哪些答案是可接受或不可接受的數據，然后使用這些數據來(lái)訓練 AI 模型。

　　英偉達正在將其注意力轉向 AI 領(lǐng)域，該公司目前占據了創(chuàng )建這項技術(shù)所需芯片的市場(chǎng)主導地位，其股價(jià)在 2023 年迄今為止上漲了 85%，成為標準普爾 500 指數中漲幅最大的股票。