大型VLM看得懂圖片還不夠，中研院以Taiwan GBA與G-YOLO強化AI理解世界的能力

當AI模型開始能「看懂」照片，但是它真的理解眼前發生的事情嗎？

中研院資訊科學研究所所長廖弘源在周三一場活動中分享中研院的多模態AI研究成果，他以目前大型視覺語言模型（Vision Language Model, VLM）的發展為例，現在的大型模型已經具備相當程度的影像描述能力，例如Google DeepMind推出的Gemma系列視覺語言模型，可以將影像內容轉換成文字，但是，這類通用模型仍存在限制。

但是如果將一張小孩的照片輸入VLM後，模型給出的描述只有「Everything is normal」。這代表模型可以理解影像內容，但對於更細緻、更接近真實世界需求的判斷，例如該人物正在做什麼、是否發生危險、環境中物件之間有什麼關係，仍需要更深入的視覺理解能力。

「我們不希望台灣永遠只是買別人的大型模型」，廖弘源表示，大型模型固然重要，但若要建立自主能力，仍需要掌握自己的模型模組，才能依照不同場景組合應用。

因此，中研院的方向不是重新打造一個大型通用模型，而是發展能與大型語言模型搭配的視覺理解能力，包括行為分析、物件理解以及邊緣端AI運算能力。

從攝影機看到人，到理解人正在做什麼

廖弘源提出未來AI視覺理解能力的一個重要應用場景想象，居家照護。

未來在智慧照護環境中，攝影機不只是被動錄影，而是需要即時理解事件。例如，當攝影機看到有人倒下，系統不能只知道「畫面中有人」，而必須判斷這個人是否跌倒、是否需要協助。

這類應用對AI提出更高要求。系統首先需要在邊緣端（Edge）利用攝影機進行人物偵測，再進一步分析人物動作，確認是否發生跌倒等事件。如果判斷需要協助，系統可以透過文字轉語音（Text-to-Speech, TTS）詢問使用者「你需要幫助嗎？」

當使用者回答後，系統再透過自動語音辨識（Automatic Speech Recognition, ASR）理解語音內容，並串接大型語言模型，最後通報給家人或聯繫相關的救護單位，同時也將結果回覆給跌倒者。

但廖弘源指出，這樣的架構不能把大型模型直接放在攝影機端運作，原因在於邊緣設備的運算能力與記憶體有限。因此，未來的多模態AI必須採取模組化方式，讓不同模型各自負責適合的工作。

在上面的居家照護應用案例中，最關鍵的就是讓AI具備「行為理解」能力。

Taiwan GBA建立行為理解能力，讓AI理解人的動作

為了解決行為分析問題，中研院與中原大學、台南大學合作，研究發展Taiwan GBA行為分析相關技術。

廖弘源指出，傳統的影像辨識主要解決的是「畫面中有什麼」，例如辨識人、車輛或物件；但實際應用需要回答的是「畫面中的人正在做什麼」。例如同樣是一個人倒在地上，AI必須判斷這是跌倒、躺下休息，還是其他動作。又例如，看到有人拿刀，系統需要區分這是正常的料理行為，或可能涉及攻擊。

為此，研究團隊運用Universal Action Space（UAS，通用動作空間），希望讓不同人類行為能被放在同一個理解架構中。

廖弘源說明，這項概念受到DeepMind Kinetics-600資料集啟發。Kinetics-600蒐集網路上的600種人類動作影片，每段影片約5至10秒，包括打高爾夫、踢足球、騎馬等不同活動。

研究團隊利用這些影片建立動作特徵空間，讓模型學習不同動作之間的關聯。未來新的行為，例如跌倒、揮手或攻擊行為，不需要重新建立完全獨立的模型，而可以映射到既有的動作空間中。

廖弘源以一座「綜合體育館」來形容UAS，不同運動或行為都可以在這個空間中被理解。

透過Video Swin Transformer分析動態，建立行為模型

不過，人類行為不是單張圖片就能判斷，而需要理解時間變化。

例如，一個人站著與倒在地上的兩張照片，看起來只是不同狀態，但真正重要的是「從站立到倒下」的過程。

因此，他們利用Video Swin Transformer分析影片中的動態特徵。這類影片Transformer模型可以找出影像中與動作相關的位置，例如打網球時，模型會關注人物手部、球拍與身體移動區域，再將這些動態資訊轉換成可訓練的行為特徵。

透過這種方式將影片中的動作資訊映射到Universal Action Space，建立能理解人類行為的模型。

影像資料集經過Video Swin Transformer分析動態特徵、經過分類，歸納為十多種行為。

從跌倒照護到犯罪分析，行為模型開始面向真實環境

在居家照護應用上，中研院與中原大學合作，利用南洋理工大學NTU RGB+D Action Recognition Dataset進行測試。

這份資料集包含220種人體動作，以及超過6萬筆訓練資料與5萬筆測試資料。研究團隊從其中挑選9種與照護相關的動作，包括揮手、坐下與跌倒等行為進行分析。

模型運作時，首先利用YOLO偵測人物位置，再將人物影像區域取出，接著交由行為模型分析動作。

廖弘源表示，在資料集測試環境中，模型辨識率約可達80%至90%。不過，他也強調，實際部署最大的挑戰不是實驗室資料，而是真實環境資料。

例如犯罪行為辨識，研究團隊也加入University of Central Florida（UCF）犯罪資料集進行測試，讓模型學習搶劫、攻擊等行為。

但他指出，許多犯罪資料集都是模擬場景，例如有人拿刀的動作可能是表演，與真實犯罪現場存在差異。因此，AI若要真正應用於現場，仍需要更多真實世界資料累積。

TaiwanGBA以UAS當骨幹網路，在上面訓練分析人類或哺乳類動物行為的辨識器，當中也結合YOLOv9的人物偵測技術及StrongSORT多目標追縱技術。

目前TaiwanGBA可辨識跌倒、打架鬥毆、揮舞刀子等12種行為，涵蓋居家照護、公共安全、校園安全的應用場景。

G-YOLO讓AI從辨識物件走向理解環境

除了理解人的行為，中研院也投入另一項多模態AI理解能力，對環境的理解。

廖弘源介紹，研究團隊由王健堯博士延伸YOLO v7、YOLO v9架構，發展G-YOLO（Generalist YOLO）。

傳統YOLO模型擅長即時物件偵測，可以快速回答「畫面中有哪些東西」。例如看到街景，可以辨識有人、有車。

但對自駕車或機器人而言，這樣的能力仍不足。

真正需要的是理解物件之間的關係。例如，一群人在過馬路，AI不只要知道「有人」，還需要理解這群人正在通過道路，附近有哪些建築物，道路環境如何，人物與周遭物件之間存在什麼關係。

廖弘源舉例，傳統YOLO看到街景，可能只能描述「有一群人」；加入G-YOLO後，模型可以進一步生成更完整的場景描述，例如畫面中約有15人在過馬路，旁邊有商店、建築物與道路設施。

這代表AI從單純的物件偵測，開始往環境場景理解發展。

多模態AI下一步，是讓模型真正理解世界

廖弘源認為，未來自駕車、機器人與智慧照護系統，需要的不只是大型語言模型，而是一套能理解真實世界的多模態能力。

因此，中研院目前持續擴展G-YOLO能力，包括加入深度估計（Depth Estimation）與多視角理解，讓AI不只知道「看到了什麼」，也知道「物件在哪裡、距離多遠，以及彼此如何互動」。

從Taiwan GBA建立人類行為理解，到G-YOLO提升環境理解能力，中研院試圖補上大型VLM與真實世界之間的落差。

大型模型讓AI開始能描述世界，但要讓AI真正進入世界，仍需要讓它理解人的行動、環境變化，以及事件背後的意義。這也是中研院投入自主多模態AI研發的核心方向。