【AWS 數據戰情室】Day 14 Glue ETL Job 教學 – Part 1

接下來我們來介紹 Glue ETL Job，在開始之前我們需要先準備 資料源 。這次我們一樣使用 Kaggle 的資料，將資料放入 S3。S3 上的資料準備完成後，再到 Glue 的 Crawlers 在創建一次我們在 Day 7 所創建的 Crawler 。

今天要介紹 Athena 在不透過 Glue Data Catalog 的情形下如何查詢 S3 的資料。首先我們還是一樣使用 order.csv 這個檔案當作資料源，將他上傳到S3後就可以開始 Athena 的設定。

AWS Glue 為全託管的 SaaS 服務，使用者可以不用管理 VM，以及不需要手動設置 Claster。用戶不需管理基礎設施，AWS Glue 會佈建、設定和擴展執行資料整合任務所需的資源，因此使用者可以節省部屬環境的時間，讓使用者只需專注在資料處理流程的規劃與程式開發。

AWS 上有需多數據處理與分析的服務，常見的有 Glue、Athena、Redshift 等，我們將介紹如何在 AWS 上進行數據處理與分析，並解說如何使用 AWS Service，以及使用中常見問題的解決方法，最後會有實作範例提供參考，降低大家在 AWS 數據處理與分析的門檻。

隨著現代科技裝置越來越多元，從個人智慧助理、智慧家庭裝置到自動駕駛汽車等，資料生成的速度如滾雪球般的急遽增加，該如何從龐大的資料中精準地找到商業價值，提升企業生產力與競爭力，儼然成為新一代的企業課題，尤其現代企業缺少可以幫助他們進行有效分析的平台。