GMI Cloud展示在臺AI Factory設計,AI資料中心的新瓶頸不是機櫃,而是電力
기사 본문
44개 단락 · 단어를 탭(클릭)하거나 문장을 선택하면 번역 · 단어 탭/문장 선택으로 번역走進GMI Cloud位於桃園的AI Factory,第一個感受到的不是傳統資料中心常見的「密集」。
過去參觀資料中心時,傳統的機房設計通常追求空間利用率,機櫃排列緊密,盡可能在有限樓地板面積中放入更多伺服器, 各種設備、管線布置,充分展現將空間利用最大化的設計原則。但是GMI Cloud今天(10/30)對外展示的這座AI Factory第一期區域卻留下不少空間,並沒有被設備填滿。
原因並不是算力需求不足,而是AI資料中心正在面臨一個與過去不同的限制。現在限制AI Factory擴充的,不是空間,而是電力。
GMI Cloud的AI Factory建置工程師在導覽時表示,AI時代資料中心的核心問題,已經從「還能放多少機櫃」,轉變成「還有多少電力可以支撐GPU運算」。
專門提供GPU雲端運算資的GMI Cloud,去年11月來臺宣布將投入5億美元,在臺灣建置AI Factory,這次展示的AI Factory,並不是重新興建的新資料中心,而是利用台灣大哥大位於桃園的既有IDC基礎設施轉型而來。
這座資料中心原本即具備較大電力容量,最大負載容量約25MW,其中約16MW可作為IT負載使用,可供GPU、伺服器等資訊設備使用,其餘容量則必須供應冷卻系統、空調、風機與其他設備使用。
近年生成式AI快速發展,大型AI資料中心對電力需求大幅增加,「取得電力」已成為AIDC部署位置的重要因素。台電過去曾因北部電網供需與輸電限制,針對桃園以北5MW以上大型資料中心用電申請採取較審慎的供電管理,使得既有具備大容量供電條件的資料中心,更具部署AI算力的優勢。
對GMI Cloud而言,利用既有IDC基礎設施,好處是可以縮短AI Factory的落地時間,但同時也面臨傳統IDC轉型為AI資料中心的挑戰。
不只取得電力,更要確保算力不中斷:AI Factory打造多層供電備援
對AI Factory而言,取得25MW供電只是第一步,如何在電力異常時維持GPU運算,才是資料中心設計的另一項挑戰。
這座AI Factory為4層樓建築,總樓地面積為19,835平方公尺,除了第1層為基礎設施支援層與營運管理層,2、3層為Data Hall,其中2樓主要為GPU機櫃、儲存、網路設備設置,以及10+1的電池,3樓為UPS,4樓為發電機,頂樓則採用太陽能源板。
GMI Cloud在導覽中介紹,這座AI Factory採用多層次電力備援架構,從鋰電池、UPS(不斷電系統)到柴油發電機,逐層承接不同階段的電力需求,確保外部電力中斷時,AI運算與冷卻系統仍能持續運作。
在第一層備援中,鋰電池扮演的是瞬間切換的緩衝角色。GMI Cloud表示,電池並不是用來長時間供電,而是在台電供電異常時,立即承接負載,等待後續備援電力接手。以目前滿載運作狀態估算,電池約可提供6分鐘備援時間。
雖然6分鐘看似短暫,但對AI Factory而言,目的並不是靠電池支撐數小時運轉,而是在市電中斷後,讓電力系統能夠「無縫」轉換到下一階段備援,避免GPU因瞬間失電造成運算中斷。
接續在鋰電池之後的是UPS系統。GMI Cloud表示,UPS可視為整體電力備援管理核心,當外部電力發生失電、高低壓異常等狀況時,UPS會立即啟動電池供電,維持AI設備所需電力,直到發電機完成啟動並接手。
對高密度GPU運算而言,這段切換時間尤其重要。GB300等AI系統不只是單一伺服器運作,而是大量GPU互連形成的運算叢集,若電力突然中斷,可能影響整體訓練工作,因此供電穩定性直接關係到算力可用率。
當停電時間延長,最後則由柴油發電機提供長時間供電。GMI Cloud表示,發電機採用N+1備援設計,除了支援AI運算設備,也涵蓋冷卻、空調等維持AI Factory運作所需的基礎設施負載。現場說明指出,以25MW滿載條件估算,現有油槽可支援超過24小時運轉,若遇到長時間停電,營運團隊也會啟動外部油料補給機制,持續維持發電能力。
此外,GMI Cloud也將電力設備進行分散配置,包括變壓器、電池與UPS等設備並非集中於單一位置,以降低單點故障風險。這樣的設計概念與AI Factory本身的目標一致:不是只有提供GPU,而是提供能長時間穩定運作的AI運算環境。
對傳統資料中心而言,備援主要是避免服務中斷;但對AI Factory而言,備援保障的是長時間、高價值的GPU運算工作不中斷。當一組AI模型訓練可能需要數天甚至更長時間,電力穩定性已經成為算力服務的重要競爭力。
在AI運算架構上,GMI Cloud在臺灣的AI Factory第一期導入Nvidia DGX SuperPOD GB300。
根據現場介紹,第一期設計配置3座SuperPOD,每座約16個AI機櫃,合計約48個AI機櫃,形成AI模型訓練所需的高密度運算環境。
第二期規畫於12月上線,規模約為3.5座SuperPOD,持續擴大GPU算力服務能力。第一期和第二期都已被美國新創所使用。
不過,當外界關心第三期擴建的規畫時,GMI Cloud指出,未來增加算力並不是單純增加機櫃,必須先解決電力效率問題。
目前即使機房仍有空間,若IT Load已接近16MW限制,就無法無限制增加GPU設備。
過去資料中心競爭,常關注土地面積、機房規模與機櫃數量;但AI Factory的設計邏輯已經不同。
高密度GPU運算設備帶來更高功耗,也讓資料中心必須重新思考同樣的供電容量,可以部署多少GPU?每MW電力能產生多少有效算力?如何降低非運算設備消耗?
根據GMI Cloud的說明,第三期擴充將觀察第一、二期運作狀況,並評估Nvidia新一代GPU功耗管理能力。
該公司透露,未來可能透過軟體工具,協助業者掌握GPU實際功耗與工作負載,在不影響客戶運算需求的情況下,進而提高能源使用效率。
除了電力之外,散熱也是AI Factory與傳統IDC最大的差異。
GMI Cloud展示的AI Factory採用液冷架構,利用冷卻液帶走GPU運算產生的大量熱能,同時搭配既有氣冷設備維持整體環境散熱。
GMI Cloud說明該AI Factory產生的熱量,有約87%透過液冷系統移除,約13%仍由氣冷系統負責,液冷主要用於GPU機櫃,而氣冷用於周邊的網路、儲存系統。
在每個SuperPOD,有2個大型圓筒設備,主要為儲冷槽,用途是在停電或電力切換期間維持冷卻能力。
GMI Cloud說明,當資料中心發生停電時,UPS會先接手電力,接著由發電機啟動供電。但在這段切換時間內,如果液冷系統停止運作,高密度GPU可能因熱量快速累積而停止運算。
因此,儲冷槽會在短暫期間持續供應冷卻水,爭取電力系統完成切換。
由於這座AI Factory原本就是IDC,因此部分基礎設施可以沿用,但也帶來轉型挑戰。
GMI Cloud表示,傳統IDC冷卻系統通常以氣冷伺服器需求設計,冰水供應溫度較低,例如約16至17度,當初進駐即利用預留的冰水管線,但是AI GPU液冷並不需要如此低溫,約35至38度即可滿足需求。
目前做法是透過CDU進行熱交換,將既有冰水系統與GPU液冷系統整合。
不過,由於原有冰水系統仍需支援其他設備,未來若能讓AI液冷系統取得更高程度的獨立控制,仍有機會進一步降低冷卻能耗。
除了GPU液冷架構外,AI Factory另一項重要指標是能源使用效率(PUE,Power Usage Effectiveness)。PUE代表資料中心總耗電與IT設備耗電的比例,數值越接近1,代表非IT設備(例如冷卻、空調、電力轉換等)的能源損耗越低。
GMI Cloud表示,目前這座AI Factory的PUE約為1.35,但仍在持續調整,未來目標是希望降低至約1.3。
未來若能進一步調整冰水系統運作條件,或讓AI液冷系統取得更獨立的控制能力,將有機會降低冷卻能耗,改善整體PUE
GMI Cloud此次展示的AI Factory,反映出AI基礎設施正在改變資料中心產業的設計邏輯。
過去資料中心追求在有限空間放入更多伺服器,但AI Factory追求的是在有限電力下產生更多AI算力。
當GB300等高密度AI平台逐漸成為主流,資料中心最大的挑戰已不再只是找到土地與機房,更重要的是是取得足夠電力,並透過供電、冷卻與軟體最佳化,把單位MW電力轉換成最大化的AI運算能力。
단락별 번역이 어긋날 때
전문 번역
단어를 탭(클릭)하면 그 단어를, 문장을 선택하면 그 범위를 바로 번역합니다.