生成式 AI 大幅加速程式開發，AI 代理（AI agent）也逐步自動執行任務，但出了問題該由誰負責，成為產業必須面對的課題。兩位科技業高層近日在《富比士》（Forbes）科技委員會專欄撰文，分別從程式品質與管理 AI 代理切入，指出責任不會因自動化消失，而是轉移到掌握控制權的一方。
專注歐洲銀行業的B2B軟體開發商XData Group創辦人暨執行長Roman Eloshvili指出，AI寫程式的速度遠快於人工，但會寫程式不等於交出可靠的軟體。AI程式單獨看或許正確，卻可能不符整體系統架構，如重複既有功能，埋下日後維護隱憂。他引述Veracode研究，2026年測試約44%的AI寫程式任務含已知漏洞。
Eloshvili建議，不應讓同一套AI既寫程式又做測試，以免複製相同盲點，可改成另一個模型來審查。企業也應維護精簡的知識庫，提供AI必要的商業邏輯與架構脈絡，並將重構納入日常開發流程。他認為工程師角色正轉向「決策負責人」。Anthropic分析約40萬個Claude Code工作階段後也發現，多數情況是人類負責規劃、AI負責執行。
API安全公司Cequence Security共同創辦人暨技術長Shreyans Mehta則以自駕車比喻AI代理。他指出，企業普遍仰賴「人在迴路中」審核關鍵步驟，但代理以機器速度大量運作，審核請求往往淪為橡皮圖章。他主張建立三方共同責任模式，模型開發商如同車廠，負責系統設計與測試；部署企業如同車隊營運商，負責界定任務與存取權限；產業生態系則負責道路規則，包括共同標準與事件通報機制。
Mehta舉例，他曾觀察到某《財星》50大企業的程式設計代理連續運作約兩天，發出數千次工具呼叫，反覆猜測未被告知的檔案名稱，平台卻未發出任何警示。他提醒，Anthropic須搜尋約4.81億筆對話紀錄才確認事件範圍，一般企業的可視性遠不及此。他認為責任應跟隨控制權，企業雖無法掌控模型權重，卻能決定代理可存取哪些系統，並在執行階段即時攔阻偏離任務的行為。
（首圖來源：AI）
