瑞士洛桑联邦理工学院 (École Polytechnique Fédérale de Lausanne, EPFL) 的研究人員開發出一套新軟體（目前已成立新創公司），使用者在執行 AI 任務時無需再將資料送往第三方雲端服務。 這項創新有可能動搖大型科技公司現有的商業模式。
過去三年，人工智慧在日常任務中的使用成長飛快。 AI 模型愈來愈常被用來處理高度敏感的資料，例如病患病歷、客戶詢問，或各種與工作相關的機密文件。
每當 AI 被要求完成一項任務時，請求會先在使用者的本機電腦啟動，接著被送往「雲端」，由強大的硬體進行推論運算並產生答案。 完成後，結果再傳回使用者的本機端。
如今，為了進行這種處理，需要極為龐大的運算能力，因而催生了巨大的資料中心，同時也被用來訓練各種 AI 模型，如 ChatGPT、Gemini 和 Claude。 這代表目前無論推論或訓練幾乎都完全掌握在大型科技公司手中。
隨插即用，讓分散式 AI 變得簡單
EPFL 資通訊學院分散式運算實驗室（DCL）的研究人員 Gauthier Voron、Geovani Rizk 與 Rachid Guerraoui，推出了一套新軟體，讓使用者可以下載開源 AI 模型並在本地端使用，無需透過雲端即可回覆問題與完成任務。
這套名為「Anyway Systems」的新軟體，會協調並結合在同一區域網路上的多台機器，組成一個「在地部署」的叢集。 它運用強韌的自我穩定（self-stabilization）技術來最佳化底層本地硬體的使用效率，打破了「部署 AI 模型一定需要超大型資料中心」的普遍認知。
Anyway Systems 只需花約半小時，即可在多台本地機器組成的網路上完成安裝，全程不會有任何資料離開該網路，因而能夠確保隱私與主權。 龐大的 AI 模型，例如 OpenAI 最新、最大型的 1200 億參數開源模型 GPT‑120B，也能在 Anyway Systems 上於數分鐘內完成下載與部署，只需要 4 台各配備 1 顆一般等級 GPU（單價約 2300 瑞郎）的機器，而不必購買過去被認為必需、價格約 10 萬瑞郎的專用機架伺服設備。
「多年來大家一直相信，如果沒有龐大資源，就不可能擁有大型語言模型與 AI 工具，資料隱私、主權與永續性只能被犧牲，但事實並非如此；更聰明、更節約的做法是可能的。」分散式運算實驗室負責人 Rachid Guerraoui 教授表示。
隱私、主權與永續性
當使用者的資料被送往雲端時，勢必會衍生安全與隱私的關鍵問題，特別是這些資料是否會被用來進一步訓練或改進 AI 模型。 同時，對全球大型雲端服務供應商在 AI 服務上的高度依賴，也引發 AI 主權的疑慮，因為這等同於將關鍵國家資產——資料、演算法與基礎設施——交由跨國企業掌控，而非掌握在本國手中。
此外，雲端端執行 AI 查詢所需的龐大運算能力——推論被估計占所有 AI 運算量的 80% 至 90%——正推動超大型 AI 資料中心的快速擴張，而這些資料中心會消耗驚人的電力與水資源。
Guerraoui 解釋：「Anyway Systems 在推論方面表現突出，但它也有機會協助降低訓練所需的資源。」試點測試顯示，當一個模型被下載並在分散的本地機器上執行，而非在巨大的雲端伺服群上運行時，可能會在延遲（回應提示所需時間）方面略有損失，但在準確度上並不會有所犧牲。
從區塊鏈走向 AI？
Guerraoui 指出：「我們說 Anyway Systems 兼具簡單、可擴展與安全。」 Anyway 演算法的早期版本其實在多年前就由 DCL 開發，該實驗室長期專注於分散式運算、容錯性、最佳化與隱私等議題。
DCL 早期的演算法原本是為解決區塊鏈與加密貨幣等技術的其他挑戰而設計。 大約三年前，Guerraoui 與同事開始思考，能否將自我穩定技術應用到 AI 領域，結果發現幾乎是天作之合。
「作為一個實驗室，我們或許是少數同時從理論與實務兩個面向，一併研究強韌分散式運算與機器學習的團隊，後來決定把注意力放在將自我穩定技術用於 AI。」他說。 「技術確實奏效！我們想說：那就持續最佳化吧，結果變得更好，甚至好到近乎難以置信。」
展望未來：在家擁有自己的 AI
Anyway Systems 近期獲選為「Startup Launchpad AI Track – powered by UBS」的首批六個受獎新創之一，這是瑞士第一個專注於 AI 的創業資助計畫。 在逾 50 件提案中脫穎而出的這些專案，將獲得資金與量身打造的支援，以加速從原型走向市場就緒階段。
該軟體如今已經超越原型階段，正於瑞士各家企業與公共機構中進行測試，包括 EPFL 在內。 早期使用者目前正在評估其在速度、準確度與品質上的各種取捨。
EPFL 副校長兼研究中心與技術平台副總裁 David Atienza 教授表示：「Anyway Systems 是一項有趣且具吸引力的技術，能在確保資料安全與主權的同時最佳化資源使用，有機會成為 AI 領域的關鍵變革者。」 「其永續性的做法完全符合 EPFL 先進運算平台的需求，並將在未來 AI 發展路徑上扮演關鍵角色，特別是在部署如 Apertus 等大型語言模型時，協助降低資源消耗。」
就目前而言，Anyway Systems 還無法只靠一台家用桌機或筆電就順利運行，不過從運算技術的歷史來看，最佳化往往發展得很快。
「現在的手機所承載的資訊量，在幾年前幾乎難以想像，人們幾乎所有事都在手機上完成。」他說。 「手機如今可以同時擊敗最強的一百位西洋棋冠軍，而當年擊敗卡斯帕羅夫的電腦卻是龐然大物。歷史告訴我們，技術發展大致就是沿著這樣的軌跡前進。我們的主張是，未來在 AI 上也能做到完全本地化。我們可以下載自己偏好的開源 AI，依需求進行脈絡化調整，而掌握所有要素的，將會是我們自己，而不是大型科技公司。」
問答（Q&A）
Anyway Systems 與 Google AI Edge 有何不同？
Google AI Edge 是設計在手機上執行的，針對的是 Google 自家研發、規模較小且用途特定的模型，每位使用者都在各自手機有限的運算能力下獨立運行模型。 它並未使用分散式運算來部署能被同一組織中多名使用者共享的、大型且強大的模型，因此在可擴展性與容錯性上與 Anyway Systems 存在本質差異；Anyway Systems 只需少量 GPU 就能處理數百億參數等級的模型。
Anyway Systems 與 Llama、msty.ai 等本地 LLM 解決方案有何不同？
多數這類方案主要是協助在單一機器上部署模型，而這台機器本身就是單點故障來源。 若要部署最強大的模型，往往需要購買非常昂貴的硬體，實際上與資料中心內的伺服等級無異；在只有一台一般機器的前提下，它們適合部署小模型，但若擁有多台一般機器，現有解決方案通常無法高效整合這些資源來部署大型模型，即使勉強做到，也需要一支團隊來管理與維運整個系統。 相較之下，Anyway Systems 能以透明、強韌且自動化的方式完成這些工作，節點當機、加入或離開網路等情況對系統來說都是可被吸收的變化，只會在延遲時間上產生些微影響。
AI 模型不斷被改進與「餵資料」，這些改進如何反映在本地端？
由於 Anyway Systems 允許任何開源 AI 模型在本地部署，用戶可以安全地用本地敏感資料來對模型進行調整與強化。 在這種架構下，資料與模型的控制權完全回到使用者手中。
原文作者：Tanya Petersen
來源：EPFL（CC BY‑SA 4.0 ）