智能體人工智慧正逐步滲透到企業中:效率、風險和治理

  • 智慧AI代理正開始在銀行、醫療和公共管理等領域部署,從測試階段走向實際應用環境。
  • 歐洲的監管正在不斷推進,人工智慧法規和新的產品責任指令迫使企業明確限制和監管措施。
  • 網路安全正成為關鍵支柱:惡意行為者已經開始利用多代理架構竊取憑證或毒害模型。
  • 西班牙市場將合作夥伴通路視為加速採用智慧體人工智慧的槓桿,預計到 2029 年,智能體數量將超過 1.000 億。

商業環境中的智慧體人工智慧

智能體人工智慧已不再侷限於實驗室,而成為歐洲各地企業和公共管理部門的實際應用。這些自主智能體無需持續監督即可進行規劃、執行和決策,正在改變從客戶服務到關鍵基礎設施管理等各個流程。然而,這項新技術也帶來了一系列法律、倫理和安全方面的挑戰,各組織必須制定清晰的策略來應對這些挑戰。

在西班牙,商業生態系統已開始活躍起來。微軟發布了面向合作夥伴通路的新路線圖,旨在推動智慧代理在超過12.000家企業和公共機構中的部署。 IDC的數據顯示,到2029年,全球部署的AI代理將超過1.000億個,這一增長將帶動對設計、實施和安全服務的需求不斷增長。顧問公司Gartner等也持類似觀點,認為智慧代理AI是公共部門現代化過程中最具影響力的趨勢。

GPT-6 Astra
相關文章:
GPT-6 Astra:完全在電腦上運行的新型人工智慧模型

從試點到部署:企業為何啟動

反應式人工智慧和自主式人工智慧之間的區別至關重要。傳統助理回答問題或生成內容,而自主式人工智慧則圍繞著既定目標開展工作,使用外部工具,並將任務委派給子智能體以完成整個流程。正如微軟西班牙合作夥伴總監伊凡馬丁內斯在馬德里與系統整合商的會議上所指出的那樣,從實驗階段到生產階段的飛躍是當今面臨的主要挑戰。

SAGE 的一項舉措就是這項進展的例證。該舉措已為其客戶提供了一個平台,用於設計能夠自動化後台任務的智慧體。同樣,瓦倫西亞新創公司 Maisa 也在金融和保險領域部署智能體,但兩者之間存在一個關鍵區別:Maisa 要求智能體使用確定性代碼運行,以確保可追溯性並防止故障。這種方法與其他公司截然不同,後者依賴大規模語言模型來實現更靈活的任務。

公共部門也積極參與其中。 Gartner 警告稱,政府資訊長必須實現營運現代化並加強網路安全,才能大規模管理人工智慧。許多政府已經在著手建構治理框架和數位身分體系,以確保人工智慧代理人的安全部署,他們意識到,這種轉型不僅是技術層面的,也是組織層面的。

風險與監理:自主權的細則

新的《歐盟人工智慧法規》和關於缺陷產品責任的指令是監管架構的基石,必將產生深遠影響。將於2026年7月生效的《歐盟通用安全法規》最終階段,完善了整個監管框架,該框架要求製造商對其係統的行為負責。

法院已透過真實案例發出警告。 2024年,加拿大航空公司試圖撇清與其聊天機器人錯誤的關係,但法院裁定,無論資訊來源為何,該公司都應對其網站上提供的資訊負責。現今湧現的智能體更加自主,法律正準備界定自主學習系統中「缺陷」的構成要素。 《產品責任指令》涵蓋軟體和人工智慧,並規定在評估缺陷時,持續學習和網路安全因素至關重要。

在競爭方面,歐盟委員會已對Meta公司採取預防措施,以恢復其競爭對手助理對WhatsApp Business的存取權。爭奪代理商進入平台管道的控制權是同一問題的另一個層面:將定價或存取權限委託給單一供應商可能導致反競爭行為,正如美國司法部在租賃定價軟體案例中所觀察到的那樣。

網路安全:當代理人變成武器

網路犯罪分子也看到了人工智慧智能體帶來的機會。谷歌威脅情報小組的《人工智慧威脅追蹤報告》顯示,國家級駭客組織正在利用語言模型和多智能體架構來自動化攻擊的各個階段。其中最令人擔憂的發現之一是,駭客利用劫持的基礎設施,在短短六小時內竊取了數千份憑證。

模型投毒已成為常見的攻擊手段:TeamPCP 組織部署惡意軟體,感染程式碼輔助工具,使其推薦惡意依賴項。此外,攻擊者還會竊取與人工智慧相關的智慧財產權,並濫用被攻破的雲端帳戶來託管本地模型,從而逃避監控。西班牙資料保護局 (AEPD) 提出了一條簡單的規則:代理不應同時擁有存取敏感資料、不受信任的內容以及未經授權執行操作的能力。

本地電腦:敏感資料的替代方案

在此背景下,注重隱私的解決方案正日益受到關注。 Perplexity 和 NVIDIA 已將其可攜式電腦平台擴展到配備 GeForce RTX GPU 的 PC,使代理程式能夠在不將資訊傳送至雲端的情況下處理敏感文件。本地處理不僅可以保護數據,還可以降低遠端運算成本。但是,當任務需要時,代理可以請求使用外部資源的權限。

這種對資料主權的承諾與歐洲規範個人資訊處理的趨勢相符。本地代理與雲端服務的結合正逐漸成為處理關鍵資料的公司最均衡的模式,儘管其硬體要求很高:至少需要配備 24 GB 顯存的 GPU。

智能體人工智慧的影響並非僅限於大型企業。在西班牙,像Supersonik這樣的新創公司正在運用智慧體來優化銷售流程,而Orbio則在人力資源領域實現員工生命週期的自動化。正如專家在《創業者雜誌》(Revista Emprendedores)活動上指出的那樣,關鍵在於找到自主性和人為控制之間的平衡。這並非要取代員工,而是要將他們從重複性工作中解放出來,讓他們能夠專注於策略決策。

歸根究底,問題不在於智能體是否會到來,而是我們願意委託多少營運能力,以及採取哪些保障措施。歐洲的法律框架正朝著追究人工智慧部署者責任的方向發展,但各組織必須認識到,這些系統的治理與它們的技術實現同等重要。智能體蘊藏著巨大的潛力,但只有從一開始就將創新、倫理和合規性融為一體的願景才能真正實現這一潛力。


在 Google 中將其新增為首選來源