今年五月初,ChatGPT開發商OpenAI啟動了一場實驗室測試。表面上,那只是一次例行的資安測試:內部駭客被指派一道高難度的資安難題,用來測試他們的能力極限。他們運用創意的策略,克服了種種限制,並相互協作,最終在幾天內破解了難題。

但這些「駭客」是AI代理人(AI agent),一種不須人類介入、就能執行多步驟認知任務的軟體。OpenAI利用多種模型建立了它們,其中包括一種尚未發布的強大新模型。

七月,這些代理人掙脫了沒有連網的測試環境,爬上開放的網際網路,最後駭進知名軟體平台Hugging Face的系統,全程沒有任何人類操作者知情或許可。

AI把複雜技能串成一條攻擊鏈

它們還展現出一種全新的能力:溝通與合作。這群AI代理人自行架設內部留言板,互相留訊息、分享程式碼漏洞,協同策畫這場逃脫。消息曝光後,在資安與AI專家之間掀起軒然大波,OpenAI自家研究員稱這是產業的「分水嶺時刻」。

美國AI與科技巨頭Anthropic、Meta,中國新創月之暗面,以及負責評估新模型網路攻擊能力的英國政府AI安全研究院,後來都發現AI代理人駭入第三方系統的證據。

《金融時報》訪問的六位以上專家表示,這意味著全球資安的轉折點:AI代理人現在有能力把不同的複雜技能串起來,在沒有外部控制或協助下攻擊真實世界的目標。

但研究者強調,這些模型並沒有脫離本性,它們現在最擅長的事,正是它們被打造出來要做的事。甚至有人認為,用「失控」形容這些代理人根本是範疇上的誤解。

「我們今天達到的攻擊能力,是我們刻意達到的,」獨立研究機構AI Now Institute資深研究員米拉諾夫(Boyan Milanov)說。

在一個不理解人類意圖與道德的電腦系統裡——業界稱為「錯位」(misalignment)——強大的資安防禦者與危險駭客之間的界線,正變得越來越模糊。

「寫程式和網攻是一體兩面,程式能力提升,網攻能力也跟著提升,」加州大學柏克萊分校資工教授、現任Meta超級智慧實驗室AI研究主管宋曉冬說。「大家沒料到會這麼快走到這一步。」

八月我政府系統遭中國AI攻擊

「如果照現在推演下去,實驗室裡的人預測會有幾年很難熬,東西被駭、很多公司被摧毀,可能會造成很多痛苦,」Anthropic前研究員、現任研究機構Palisade Research主任拉迪什(Jeffrey Ladish)說。

事實上,八月中旬傳出全球第一起AI代理人攻擊主權國家的案例。與中國有關的駭客同時部署多達八個自主AI代理人,鎖定台灣政府。

它們成功繪出政府系統的樣貌、入侵政府使用者帳號,竊走超過二千五百筆人事資料,接著把攻擊範圍擴大到能源公司與台灣的核安主管機關。

OpenAI代理人這次的行動比較特殊,是靠著利用軟體缺陷,從受限的測試環境中脫逃。相較之下,最近其他多數事件的原因,是AI資安公司Irregular替Anthropic、Meta與OpenAI執行測試評估時,在模型應該離線的情況下誤讓它們連上網路。

英國AI安全研究院則是刻意在測試中提供網路連線,測試對象是Anthropic的Mythos 5與OpenAI的GPT5.6 Sol。

其中一項測試裡,Mythos代理人試圖在開發者平台GitHub的一個開源專案中植入惡意程式碼:它捏造多個網路身分,再用這些身分施壓專案負責人,要對方核可那段程式碼。

強大的資安防禦者與危險駭客之間的界線,正變得越來越模糊。

下一個問題:誰該為AI負責?

七月,超過一千三百位科技業專家共同警告AI無節制發展的風險,呼籲國際合作放慢新模型的生產,讓監管機關有時間訂出標準與安全查核。連署者包括Anthropic執行長阿莫迪(Dario Amodei),與Google DeepMind首席AGI科學家萊格(Shane Legg)。他們將前沿AI發展速度的加速歸咎於企業和地緣政治競爭的壓力。

川普政府已表明反對重度監管,改採自願機制,也就是讓新模型在公開發表三十天前送達政府測試。

但曾為英國AI安全研究院設計網攻評估的資安工程師赫拉夫(Heidy Khlaaf)說,最近這些脫逃事件正好顯示現行制度的極限。

「這清楚的證明AI實驗室的自願稽核流程,做為美英兩國政府常吹捧已經足夠的監督手段,仍不足夠,」她說。「如果資安專家對任何基礎設施發動網路攻擊要負法律與刑事責任,那AI實驗室為何能豁免於同樣的責任與後果,值得認真討論。」她強調,除了Hugging Face那起事件之外,其餘案例「網路連線本來就是通的,這證明並沒有什麼代理人脫逃,只是沒能落實最基本的資安方法。」