Dream-1模型可零樣本控制不同雙臂機器人，現開放API測試

機器人AI新創公司Dream Labs推出Dream-1模型，官方提到，即使沒有新機型的訓練資料，也能控制不同的雙臂機器人完成抓取、堆疊及擺放物品等任務。該模型已開放API供開發者測試，目前主要支援配備平行夾爪的雙臂機器人。

不同機器人的手臂長度、關節位置及夾爪設計各不相同，因此用某款機器人訓練的模型，換到其他機型時，通常未必能直接使用。Dream-1採用世界動作模型（World Action Model）技術，透過機器人頭部及兩側手腕的攝影機畫面，配合文字指令預測接下來的影像變化與動作。模型先預測夾爪的目標位置、朝向及開合狀態，再由機器人本身的控制軟體將指令轉換為各關節的動作，減少針對不同機型重新訓練模型的需求。

Dream Labs公布的測試涵蓋27款未參與訓練的模擬機器人，以及4款實體機器人。模擬測試中，每款機器人進行300次任務測試，一半檢查能否按照文字指令完成任務，另一半測試沒有學過的新任務。不過，Dream-1雖不必針對新機型重新訓練，就能執行指定任務，但實際表現仍因機型而異。

新模型目前無法適應所有硬體，模型雖能決定夾爪應到達的位置，但手臂實際如何移動，仍受到機器人本身的控制程式、關節活動範圍及周遭障礙物影響。當模型無法直接完成任務，開發者能提供少量操作資料進行微調。

Dream-1每累計產生1小時的動作指令，收費3美元，輕量版Dream-1-flash收費2美元，每次API呼叫可取得1.6秒的動作指令。Dream Labs提醒，模型仍可能出現操作錯誤，也尚未通過安全要求較高的用途驗證，建議在受控環境測試，並特別留意機器人在人員附近操作時的安全。

Dream Labs由前Nvidia機器人研究團隊成員創立，團隊今年2月曾發表世界動作模型DreamZero，展示利用30分鐘操作資料讓模型適應新機型的成果。此次推出的Dream-1則進一步減少對新機型訓練資料的依賴，已能直接控制部分未參與訓練的雙臂機器人。