AWS Glue

整理分析用資料並轉換為易用形式的服務。

AWS Glue 是進行資料擷取、轉換、載入與目錄管理的無伺服器資料整合服務。

• ETL 處理
• 資料目錄管理
• S3 資料湖的前處理

• 為 ETL 服務
• 可透過 Glue Data Catalog 進行中繼資料管理
• 可與 Athena 或 Redshift 組合使用

• 用於批次分析平台
• 可用於轉換 S3 上的資料
• 需考量任務執行時間對應的成本

AWS Glue 是可針對資料湖或資料倉儲執行 ETL(Extract / Transform / Load)處理與資料目錄管理的無伺服器資料整合服務。核心元件包括 Glue Data Catalog(中繼資料的中央存放區)、Glue Crawler(掃描資料來源並自動推斷結構描述後註冊至目錄)、Glue ETL 工作(在 Spark 或 Python shell 環境中執行轉換處理)、Glue Studio(以 GUI 設計工作)、Glue DataBrew(不需程式碼的資料前置處理工具)等。由於 AWS 端以全託管方式提供基於 Apache Spark 的工作執行基礎,因此無須管理叢集。 代表性架構是將日誌、CSV、Parquet 等資料彙集至 S3 形成資料湖,以 Glue Crawler 推斷結構描述並註冊至 Glue Data Catalog,再從 Amazon Athena 以 SQL 查詢的「無伺服器分析基礎」。Athena 會將 Glue Data Catalog 作為中繼資料存放區參照,因此可直接對在 Glue 中目錄化的資料表使用 Athena 查詢。Amazon Redshift Spectrum 或 Amazon EMR 也可參照相同的 Data Catalog,可在多個分析工具間共用中繼資料,這是一大優勢。 在 ETL 工作中,典型的模式是讀取 S3 上的 CSV 或 JSON,進行欄位的型別轉換、缺失值補齊、JOIN、彙總,然後轉換為 Parquet 或 ORC 等列式格式後寫回 S3。在考試方面,CLF-C02 會考「是 ETL 服務」、「可透過 Glue Data Catalog 進行中繼資料管理」、「可與 Athena 或 Redshift 組合使用」程度的內容。SAA-C03 則會進一步考 S3 資料湖 + Glue + Athena 的架構、與 Lake Formation 的角色分工、Glue 工作的成本最佳化(DPU 數量與工作執行時間)等內容。

• AWS Glue (AWS 官方)
• 什麼是 AWS Glue (AWS 官方文件)

最後更新日: 2026-06-07