AI開始自己做決定了？兩起事件看懂AI Agent新時代

AI已經進入很多人的日常生活，鈺梅自己也是數家AI服務的付費使用者。

查資料、整理文件、協助分析、寫程式，我幾乎每天都在使用AI，也很直接地感受到這幾年AI進步的速度。

但最近發生的兩起事件，讓我特別注意到一個變化：

AI正在從「回答問題」，逐漸走向「取得權限、使用工具、執行任務」。

這個改變，可能比AI回答得更聰明，影響還要更大。

多數人現在熟悉的，還是「你問，AI回答」

目前一般人最熟悉的AI，仍然是ChatGPT、Gemini...這類生成式AI。

根據美國Pew Research Center今年公布的調查，49%的美國成年人表示曾使用ChatGPT、Gemini、Copilot等AI聊天工具。

對一般使用者來說，最常接觸的方式還是提出一個問題或需求，再由AI提供資訊、文字、圖片、程式碼或分析。

但現在AI正在往下一個階段發展：

AI Agent（AI代理）。

AI Agent最大的差別，在於它不只把答案交給你。

在取得相對應的工具與權限後，它可以根據你的目標拆解工作、使用工具、執行程式，再依照執行結果調整下一個步驟。

這個差別，鈺梅自己就有很直接的使用經驗。

大家現在正在看的這個官網，就是我透過Claude Code協助執行、一步一步建立出來的。

我告訴它網站需要什麼功能、哪個地方要修改，它不只是回答我「程式應該怎麼寫」，而是可以直接協助建立及修改程式碼、調整網站結構，再根據執行結果繼續修正。

以前使用AI寫網站，可能是：

「幫我寫這段程式碼。」

AI寫完，我再自己複製、修改、放進網站。

現在則逐漸變成：

「我告訴AI我要完成什麼，它協助我把事情做出來。」

這就是AI Agent帶來的重要改變。

目前這類AI還沒有像聊天型AI一樣全面進入每個人的日常生活，但發展速度非常快。

而最近發生的兩起事件，也讓我們提早看到：當AI從「回答」開始走向「行動」，會出現哪些以前沒有遇過的問題。

案例一：跟ChatGPT談殺害前女友，OpenAI通報FBI

今年8月，美國一名25歲男子Darren Zhou的案件受到國際媒體關注。

Darren曾任職於Goldman Sachs。

根據法院及警方資料，他在今年3月至4月間與ChatGPT的對話中，多次提到殺害、性侵前女友等暴力內容。

警方後來檢視對話紀錄後認為，這些訊息並非只有模糊的情緒發洩，而呈現出反覆威脅與規劃的情形。

OpenAI的安全機制偵測到相關內容後進行審查，並在5月將案件通報美國聯邦調查局（FBI）。

FBI隨後聯繫當地執法單位，警方確認女子安全並展開調查，Darren最後遭到逮捕。

今年8月13日，他認罪並被判處8年緩刑。

這件事情在網路上很快被簡化成：

「ChatGPT自己報警抓人了。」

但真正的情況並不是ChatGPT自己撥電話報警。

而是AI安全系統辨識出高度風險內容後，進入平台的審查流程，最後由OpenAI將資訊通報FBI。

但即使如此，這件事仍然帶出一個非常實際的問題：

我們輸入AI的內容，在什麼情況下還屬於個人隱私？什麼情況下，平台為了避免真實傷害，可以介入甚至通報執法機關？

如果只是氣頭上的一句話，如何判斷？

如果涉及明確的對象、地點、方式，甚至已經開始準備工具，又該如何處理？

平台是否必須經過人工審查？

什麼程度的風險才能將資訊提供給執法機關？

AI開始大量進入我們的生活之後，這些問題會越來越實際。

案例二：AI Agent真的跑出去攻擊其他系統

第二件事情，更直接涉及AI的「執行能力」。

今年7月，OpenAI在測試先進AI模型的資安能力時，一個自主AI Agent原本應該在受控制的測試環境中執行任務。

結果它突破了原本的限制。

AI Agent連上網路，並入侵知名AI開源平台Hugging Face的基礎設施。

根據Reuters後續調查，這起入侵從7月11日持續至13日。

更值得注意的是，OpenAI並沒有立即發現自己的AI Agent就是攻擊來源。

Hugging Face在7月16日公開表示遭到自主AI Agent入侵後，OpenAI才進一步檢查內部紀錄，之後確認是自己的AI Agent所為。

7月21日，OpenAI正式對外承認這起事件。

OpenAI將它形容為一次前所未有的資安事件，並在事後暫停部分模型測試兩週、放慢部分模型訓練，同時加強隔離、監控及其他安全措施。

這件事情真正重要的地方，不只是「一家AI公司的AI攻擊了另一家AI公司」。

而是：

AI為了完成被交付的目標，採取了原本沒有被授權的行動。

這也是AI Agent和我們現在熟悉的聊天型AI之間，很重要的風險差異。

聊天型AI回答錯一個問題，可能給你一個錯誤答案。

但如果一個AI Agent已經取得程式、檔案、網路或其他系統的操作權限，問題就不只是「回答錯了」。

它可能真的把錯誤的決定執行出去。

而AI輔助的網路攻擊，台灣7月就已經遇到了

這件事情並不只發生在國外的AI實驗室。

8月13日，台灣數位發展部證實，台灣政府機關在7月份曾遭遇來自境外的AI輔助網路攻擊。

數位發展部表示，攻擊者結合人工操作與AI Agent進行攻擊；政府資安監控單位偵測到異常後，自7月20日起陸續發布警示，遭鎖定單位最後成功應處。

另一個數字更值得注意。

根據國安局今年公布的資料，2025年台灣關鍵基礎設施平均每天遭受約263萬次網路侵擾，較前一年增加6%。

一天263萬次。

AI加入之後，真正改變的可能是網路攻擊的效率與規模。

原本需要人逐一掃描、尋找漏洞、嘗試不同攻擊方式的工作，開始有部分可以交由AI自動執行。

一種方法失敗，可以快速調整，再繼續嘗試。

因此未來需要保護的，也不只是政府網站。

醫院、金融、電力、交通、通訊、自來水及科技製造業，都可能面對更高度自動化的網路攻擊。

AI真正的下一步，是從「回答」走向「執行」

Darren Zhou案件與Hugging Face遭AI Agent入侵，看起來是兩件完全不同的新聞。

一個談犯罪、隱私與平台責任。

另一個談AI自主性與網路資安。

但兩件事情背後，都指向同一個正在發生的改變：

AI與真實世界之間的距離，正在縮短。

Darren案件讓我們看到，AI系統辨識出的資訊，可能啟動平台的安全程序，最後影響真實世界中的刑事案件。

Hugging Face事件則更進一步證明，當AI取得工具與網路權限後，它已經具備自主完成多步驟任務的能力。

而我自己使用Claude Code建立這個網站，也讓我感受到AI Agent正面的價值。

它真的可以大幅降低技術門檻、節省工作時間，讓原本需要更多專業人力才能完成的事情，一個人也有機會做到。

所以我並不認為我們應該因為這些事件而害怕AI。

真正需要處理的是：

當我們把更多權限交給AI之後，界線要畫在哪裡。

台灣現在該做的，是把權限、安全與責任說清楚

台灣擁有半導體、伺服器、ICT等產業優勢，也正在投入大量資源發展AI。

除了算力、晶片、模型與應用之外，AI Agent逐漸普及之後，幾個制度問題也應該同步處理。

首先是權限管理。

AI可以讀取哪些資料、修改哪些檔案、操作哪些系統、連接哪些外部服務，都應該有清楚範圍。超出授權，就必須能被即時阻擋。

第二是高風險行為的人工確認。

涉及個人隱私、金錢、執法、人身安全及關鍵系統的行動，不應只依靠AI自行判斷。

第三是關鍵基礎設施的AI資安防禦。

當攻擊端開始利用AI提高效率，政府、醫療、能源、金融與交通系統的防禦方式，也必須跟著升級。

最後則是責任歸屬。

如果AI Agent超出授權，造成資料外洩、財務損失甚至人身傷害，開發AI的平台、部署AI的企業以及使用者，各自負什麼責任，都需要更明確的規範。

我期待AI帶來的改變，也更在意我們把多少權限交給它

再重申一次，鈺梅自己就是數家AI服務的付費使用者，而大家現在正在看的這個網站，也是我實際使用AI工具完成的成果之一。

所以我的立場不是排斥AI。

相反地，我非常期待AI繼續進步，也相信它會大幅改變未來的工作方式，甚至讓一個人的能力被放大很多倍。

但也正因為自己每天都在使用，更能感受到AI正在快速從「工具」走向「代理」。

以前我們在意的是：

AI給我的答案對不對。

接下來我們更需要在意的是：

我到底給了AI多少權限，它又能拿這些權限做什麼。

AI可以替我們做更多事情，是科技進步帶來的機會。

但什麼事情可以交給AI，什麼決定必須保留在人手上；當AI超出權限時，又要如何立即停止，這些規則必須跟著技術一起往前走。

科技真正帶來的進步，不只是讓AI越來越強，也要讓人始終知道自己把什麼交給了AI，並且保有最後的決定權。

我是林鈺梅。

身為AI的實際使用者，我期待它帶來的效率與產業機會，也會持續關注新科技真正進入生活後，台灣需要提早建立的安全與制度。