OPML:基於樂觀主義方法的機器學習新範式

OPML(Optimistic機器學習)是一種新興的技術,旨在將樂觀主義方法應用於區塊鏈系統中的AI模型推理和訓練/微調。與ZKML相比,OPML具有成本低、效率高的優勢,能夠在普通PC上運行大型語言模型,如7B-LLaMA(模型大小約26GB)。

OPML採用驗證遊戲機制來確保ML服務的去中心化和可驗證性。其基本流程如下:

1. 請求者發起ML服務任務
2. 服務器完成任務並將結果提交到鏈上
3. 驗證者對結果進行驗證,如有異議則啓動驗證遊戲
4. 通過智能合約進行單步仲裁

單階段驗證遊戲

單階段OPML的核心要素包括:

• 構建用於鏈下執行和鏈上仲裁的虛擬機(VM)
• 實現專門的輕量級DNN庫,提高AI模型推理效率
• 使用交叉編譯技術將AI模型推理代碼編譯爲VM指令
• 採用默克爾樹管理VM鏡像,只將根哈希上傳到鏈上

通過二分協議定位爭議步驟,並將其發送到鏈上仲裁合約。初步測試表明,在普通PC上可在2秒內完成基本AI模型推理,整個挑戰過程約2分鍾。

多階段驗證遊戲

爲克服單階段方法的局限性,OPML引入了多階段驗證遊戲:

• 僅在最後階段在VM中計算,其他階段可在本地環境中執行
• 利用CPU、GPU、TPU等硬件加速能力
• 通過減少對VM的依賴,顯著提高執行性能

多階段OPML的核心思想是將DNN計算過程表示爲計算圖,並在不同階段進行驗證。這種方法可以充分利用硬件加速,提高整體效率。

性能改進

多階段OPML相比單階段方法具有顯著優勢:

• 計算速度提升α倍(α爲GPU或並行計算加速比)
• Merkle樹大小從O(mn)減小到O(m+n),其中m爲VM微指令數,n爲計算圖節點數

這些改進大幅提升了系統的效率和可擴展性。

一致性與確定性

爲確保ML結果的一致性,OPML採用了以下策略:

1. 使用定點算法(量化技術)減少浮點誤差影響
2. 採用基於軟件的浮點庫,保證跨平台一致性

這些方法有效解決了不同硬件平台上浮點計算的差異問題,增強了OPML計算的可靠性。

總的來說,OPML爲區塊鏈系統中的AI模型推理和訓練提供了一種高效、低成本的解決方案。雖然目前主要聚焦於模型推理,但該框架也支持訓練過程,有望成爲各類機器學習任務的通用方案。