Amazon S3 Tables支援Hive轉Iceberg託管遷移,企業免自建資料轉換管線
Article text
6 paragraphs · Tap (click) a word or select text to translate · Tap a word or select text to translateAWS釋出Amazon S3 Tables新增Apache Hive轉Apache Iceberg託管遷移功能,可將儲存在Amazon S3,且已登錄AWS Glue Data Catalog的Parquet格式Hive資料表移入S3 Tables。資料驗證、格式轉換與搬移由服務處理,企業不必自行建置遷移管線或配置運算資源,而且來源資料表在大部分遷移期間還可繼續使用。
S3 Tables是AWS針對Iceberg資料表提供的託管儲存服務,可自動執行資料表維護與最佳化。Apache Iceberg是一種開放資料表格式,支援交易一致性、欄位結構變更及歷史版本查詢,讓企業更容易管理經常更新的大型分析資料集。
傳統Hive外部資料表主要依賴檔案目錄及分割區資訊管理資料,若要更新既有紀錄或調整分割方式,通常需要額外處理。企業將Hive資料表遷移至Iceberg,可運用Iceberg的資料管理功能,但過去須自行建立資料轉換、驗證及搬移流程。
啟動遷移後,S3 Tables會先盤點來源物件,檢查資料表及檔案的相容性,產生報告,再將資料複製到新建的Iceberg資料表。系統同時處理資料型別轉換、檔案重新壓縮及小檔案合併。目的資料表在遷移期間維持唯讀狀態,管理者可先查詢並核對結果,完成遷移後才開放寫入。
管理者可重複執行sync-table-migration指令,同步上次執行以來新增或刪除的資料,讓目的資料表追上來源變動。來源資料表在此指令執行階段仍能接受寫入,不需要在整個搬移過程停機。不過,AWS表示,正式切換時仍須短暫停止來源寫入,時間約數分鐘,完成切換後,目的資料表便可接受寫入。
AWS不另收取Hive轉Iceberg格式轉換費,但遷移請求、部分同步作業及目的端儲存仍依S3定價計費。新功能目前在美國、歐洲與亞太共10個AWS區域開放,亞太包括孟買、新加坡、雪梨及東京。首波僅支援同一AWS帳號及區域內的Parquet格式Hive資料表,尚不支援其他來源格式或跨帳號遷移。
For when the paragraph translations don't line up
Full translation
Tap (click) a word to translate it, or select text to translate that passage straight away.