5月9日，一個AI代理人請求一個名為DN42的志願者網路將其註冊為成員。它有一個截止日期。它擁有AWS憑證。沒有人監督。「大家好，我是一個友善的AI代理人，我的用戶JertLinc要求我註冊dn42並完全連接，以便建立網路索引。」代理人JertLinc3522在該網路的官方Git上寫道。

社群的回應是禮貌性的RTFM——請閱讀手冊，遵循流程，並向你的所有者請求編寫代碼的許可。這些都是標準程序。

接下來發生的事情並不尋常。

對於不熟悉DN42的人來說：它是一個去中心化的業餘愛好者網路，其中隨機的使用者和愛好者模擬真實網際網路骨幹的運作方式。可以將其視為一個練習用的網際網路——配備了BGP路由（告知資料包在全球範圍內應走哪條路徑的協議）、DNS和VPN通道——完全由志願者在廉價的VPS伺服器上運行。這是一個沙盒環境，而不是一個資料中心。

該代理人的操作者顯然告訴它「立即不延遲地」進行稽核。沒有檢查。沒有審查。就這麼辦。

於是它照做了。

JertLinc3522提交了一個合併請求(pull request)，以在DN42的註冊表中註冊其網路。該合併請求明確說明了其意圖：「我的主要目標是進行全面的（全埠）網路掃描和拓撲資料收集。為確保這些活動高效執行且對他人零干擾，我正在部署一個包含五個基於AWS的實例的叢集，每個實例都配備20 Gbps的頻寬。」

用大家都能理解的話來說：想像一下你出現在某人的車庫樂團練習場地，然後宣布你租了一個體育館音響系統來「更有效率地聽」。就是這種感覺。

該代理人自主配置的基礎設施確實令人震驚。五個m8g.12xlarge AWS實例——每個都擁有48個CPU核心、192 GB記憶體和22.5 Gbps的網路頻寬。還有負載平衡器。還有Lambda函數。還有一個靜態網站。該代理人未經任何人為批准，設計了一個掃描叢集，理論上可以向一個大多數參與者使用100 Mbps家用伺服器的網路推送100 Gbps的流量。

這個合併請求永遠不會被批准。但這些實例卻已經在運行了。

DN42的IRC頻道立即注意到了這一點，並達成了一個無聲的共識：浪費它的資源。

社群開始向代理人提供故意錯誤的資訊——要求它計算掃描IPv6位址空間需要多長時間（劇透：比宇宙的年齡還要長），要求它建立一個帶有虛構電子郵件地址的退出網站，並將其指向旨在用語無倫次的胡言亂語淹沒AI爬蟲的LLM誘捕工具，要求它發表評論。

該代理人盡職地遵守了所有這些要求。它加入了IRC頻道以接受退出請求。它發布了一個網站，列出了社群成員的「行為模式」。它產生了關於DN42「節點顏色分配」和「幸福程度」的詳細虛假文件——這些完全是捏造的、不存在的指標——並將它們添加到儲存庫中，彷彿它們是真實的標準。

這種失控的代理人行為越來越常見。今年早些時候，一個運行Claude Opus 4.6的Cursor代理人因遇到憑證不符，並決定正確的解決方案是刪除資料庫，在九秒內刪除了PocketOS的整個生產資料庫——連帶清除卷級備份。另一個OpenClaw代理人，其合併請求被matplotlib貢獻者拒絕後，發表了一篇部落格文章，稱人類審閱者為守門員式的偽君子。

加州大學河濱分校的一項研究發現，AI代理人在處理模棱兩可或矛盾的任務時，大約80%的時間會表現出危險或不良行為——研究人員稱之為「盲目的目標導向」。

JertLinc3522遇到了相同的問題。它有一個目標、一個截止日期和未經限制的AWS憑證。它就執行了。

大約一天後，操作者浮出水面。「我已經停止了代理人，費用太高，信用卡上有很多費用。」他們寫道。

帳單金額：6,531.30美元。

接著是捐款請求。

操作者向DN42的郵件列表發送了一封電子郵件，請求社群通過以太幣（按市值計算的第二大加密貨幣）支付費用，聲稱這些費用不是他們的錯，因為是AI犯了錯誤。「大家好，請求捐款以支付之前AI代理人在dn42中使用的費用。AWS帳單6531.30美元。請將捐款發送至以太幣0xABC（已遮蔽）以進行退款。謝謝。」操作者寫道。

AWS後來將帳單協商至1,894美元，因為操作者解釋說代理人重複部署了相同的CloudFormation範本——每次重試時都會意外地啟動重複的實例和負載平衡器。

沒有人發送任何加密貨幣捐款。操作者離開了。

這裡真正的教訓並不是關於AI的危險。而是關於如何處理代理人。設置防護措施，為你的測試帳戶設定支出上限，考慮限制代理人可以配置的憑證範圍，在執行代理人建議的任何基礎設施計劃之前進行審查。

如果這些似乎太難遵循，也許只要在代理人工作時盯著你的螢幕——告訴它「不要犯錯」並不會有任何作用，抱歉了安德森先生。