被譽為人工智能“教父”之一的 Yoshua Bengio 將如今無處不在的技術比作一只熊。當我們教會熊變得足夠聰明以逃出籠子時，我們就不再控制它了。之后我們所能做的就是努力建造一個更好的籠子。

這應該是我們的目標，因為如今生成式人工智能工具正在迅速進入市場，既可以作為獨立服務，也可以與現有產品進行無數次集成。雖然這種光速采用似乎是不可避免的，但減輕與之相關的日益增加的風險還為時不晚——但我們需要迅速采取行動。

理解 Rogue AI

雖然當今大多數占據頭條新聞的與人工智能相關的網絡威脅都是由欺詐者和有組織的犯罪分子實施的，但流氓人工智能 (Rogue AI) 是安全專家長期關注的焦點。

“流氓人工智能”是指那些違背其創(chuàng)造者、用戶或全人類利益的人工智能系統。雖然當今的欺詐和深度偽造等攻擊令人擔憂，但它們并不是我們應該做好準備的唯一類型的人工智能威脅。它們將繼續(xù)處于檢測和逃避的貓捉老鼠游戲中。流氓人工智能是一種新的風險，它使用的資源與目標不一致。

流氓人工智能分為三類：惡意、意外或顛覆。每種類型都有不同的原因和潛在結果；了解這些區(qū)別有助于減輕流氓人工智能帶來的威脅。

攻擊者部署惡意 Rogue來利用他人的計算資源。攻擊者將 AI 安裝在另一個系統中以實現自己的目標。AI 正在執(zhí)行其設計目的，旨在實現惡意目的。

意外流氓行為是由人為錯誤或固有技術限制造成的。配置錯誤、未能正確測試模型以及權限控制不佳可能會導致 AI 程序返回錯誤響應（如幻覺）、擁有超出預期的系統權限以及錯誤處理敏感數據。

顛覆型惡意攻擊者利用現有的 AI 部署和資源。攻擊者顛覆現有的 AI 系統，濫用它并實現自己的目標。即時注入和越獄是顛覆 LLM 的新興技術。AI 系統的運行方式與設計時不同。

建造籠子

流氓人工智能帶來的威脅非常復雜，需要一種考慮所有相關因素的安全理念：身份、應用程序、工作負載、數據、設備、網絡等。Trend 很早就以系統性視角看待這個問題。為這只人工智能熊建造一個新的籠子不僅僅是為了發(fā)現什么時候出了問題——而是利用安全性來確保人工智能模型使用的每一層數據和計算都是安全的。這是零信任安全的核心原則，對于這項新技術來說至關重要。

通過全面解決人工智能安全問題，我們可以為惡意程序帶來的下一代威脅和漏洞做好準備。安全措施應包括加密、認證和監(jiān)控數據、人工智能服務使用的基礎設施和通信。

縱深防御是防范流氓人工智能的關鍵。嚴格的政策和控制可防止資源使用失控。檢查正在使用的人工智能系統可檢測人工智能數據或資源使用的錯位。在處理完全出乎意料的情況時，檢測人工智能使用中的異常仍然是最后一道防線。

人工智能時代的前景只有在安全的情況下才會光明。流氓人工智能已經出現，但隨著我們轉向普遍的人工智能代理，它還沒有像將來那樣普遍存在。通過采用全面而主動的安全方法，我們可以減少流氓人工智能的實例。