【AWS 數據戰情室】Day 14 Glue ETL Job 教學 – Part 1

Showing 1-12 of 14 results

  • AWS 數據解決方案

04/29 2021

【AWS 數據戰情室】Day 14 Glue ETL Job 教學 – Part 1

接下來我們來介紹 Glue ETL Job,在開始之前我們需要先準備 資料源 。這次我們一樣使用 Kaggle 的資料,將資料放入 S3。S3 上的資料準備完成後,再到 Glue 的 Crawlers 在創建一次我們在 Day 7 所創建的 Crawler 。

Read More
  • AWS 數據解決方案

04/29 2021

【AWS 數據戰情室】Day 13 Athena 教學

今天要介紹 Athena 在不透過 Glue Data Catalog 的情形下如何查詢 S3 的資料。首先我們還是一樣使用 order.csv 這個檔案當作資料源,將他上傳到S3後就可以開始 Athena 的設定。

Read More
  • AWS 數據解決方案

04/19 2021

【AWS 數據戰情室】Day11 Glue Partition 教學 – Part 1

儲存 大量資料時,影響查詢速度怎麼辦?本篇要介紹會使用到的資料切分方式 Partition 。當資料量小時在查詢的速度上不會有感覺,但今天資料量以機累積了一年兩年五年時,資料的大小與資料筆數就會很大的影響查詢度,所以 Partition 在 數據分析 中非常重要

Read More
  • AWS 數據解決方案

03/25 2021

【AWS 數據戰情室】Day10 Glue Data Catelog 教學 – Part 7

在上一篇講解完整的流程後,我們再回來說明 Table 的資訊與可調整的部分Table 說明:6-1. 點選創建成功的 Table Name,接著在6-2. 可以看到這個 Table 的詳細資訊, Classification 是哪一個類型的資料,原始資料所在的 AWS S3 路徑

Read More
  • AWS 數據解決方案

03/25 2021

【AWS數據戰情室】Day9 Glue Data Catalog 教學 – Part 6

上一篇說明使用 Athena 前需要執行的設定,本篇要接著使用 Athena 進行查詢,5-2. 設定完成後,就可以開始查詢 order.csv 裡的資料,Athena 是使用標準 SQL 進行查詢,所以如果會使用 SQL 操作 資料庫 ,再來是用 Athena 進行查詢分析幾乎是

Read More
  • AWS 數據解決方案

03/17 2021

【AWS數據戰情室】Day8 Glue Data Catalog 教學 – Part 5

延續昨天的步驟繼續將 Crawler 設定完成:IAM 的部分選擇我們在步驟 1-1 時創建的 IAM Role(ITGlue),Schedul 可以設定 Crawler 是否要定期執行,通常這個會用在需要將新的 Partition 更新到 Table 中時所使用

Read More
  • AWS 數據解決方案

03/17 2021

【AWS數據戰情室】Day 7 Glue Data Catalog 教學 – Part 4

上一篇完成前置步驟後,Glue Data Catelog 教學就進入到創建 Crawler啦!首先切換到 Crawlers 頁面,點選 Add crawlers,再點開 Crawler name 下面的選單,點選 Custom classifiers 裡剛剛創建的

Read More
  • AWS 數據解決方案

03/11 2021

【AWS數據戰情室】Day6 Glue Data Catalog 教學 – Part 3

了解 Classifiers 後,要來介紹如何將 Classifiers 與 Crawlers 結合進行資料爬取Crawlers 的部分會以一個小範例進行說明,首先我們要到 Kaggle 取得範例資料,資料內容為零售業的歷史訂單資料

Read More
  • AWS 數據解決方案

03/10 2021

【AWS數據戰情室】Day5 Glue Data Catalog 教學 – Part 2

講解完 Data Catalog 以及 Classifiers 、 Crawlers 、 Tables 的關係之後,接著介紹 JSON、CSV 的 Classifiers 設定。JSON path:此處設定如何讀取 JSON 檔?例如 JSON 檔內容如下

Read More
  • AWS 數據解決方案

03/03 2021

【AWS數據戰情室】Day4 Glue Data Catalog教學 – Part 1

Data Catalog 由 Classifiers、Crawlers、Tables 組成首先介紹 Classifiers,Classifiers 負責定義所要爬取的資料類型與內容格式,如下圖所示有 XML、JSON、CSV,而 Grok 是指自定義的資料內容格式

Read More
  • AWS 數據解決方案

03/03 2021

【博弘雲端數據戰情室】Day3 Glue 基本介紹 – Part 2

AWS Glue有另外兩個主要功能:ETL JobETL Job 有三種 ETL 方式可使用Python shell當資料量還不需要分散式運算的計算量時,可以考慮使用 Python shell,Python shell 與 Lambda 相似,可以執行 Python Script

Read More
  • AWS 數據解決方案

02/02 2021

【博弘雲端數據戰情室】Day2 Glue 基本介紹 Part 1

AWS Glue 為全託管的 SaaS 服務,使用者可以不用管理 VM,以及不需要手動設置 Claster。用戶不需管理基礎設施,AWS Glue 會佈建、設定和擴展執行資料整合任務所需的資源,因此使用者可以節省部屬環境的時間,讓使用者只需專注在資料處理流程的規劃與程式開發。

Read More