03/25 2021

【AWS 數據戰情室】Day10 Glue Data Catelog 教學 – Part 7

Classification

上一篇講解完整的流程後,我們再回來說明 Table 的資訊與可調整的部分

  1. Table 說明
    6-1. 點選創建成功的 Table Name
Table

6-2. 可以看到這個 Table 的詳細資訊, Classification 是哪一個類型的資料,原始資料所在的 S3 路徑,Serde serialization lib 爬取資料時所使用的 Lib,Serde parameters 代表主要的分隔符號

S3

6-3. 將畫面往下拉可以看到 Schema 的部分,這些欄位名稱是由 CSV 檔的 Headings 產生而來,Data type 則會由 Crawler 自動判別

Schema

6-4. 假設你對 Data Type 的判別不滿意,或是臨時想修改欄位名稱,可以點選右上角的 Edit schema 進行修改

Data Type

6-5. 直接點選要修改的 Data Type 就可以,常見的 Date Type 都有,可以根據需求進行選擇,名稱的部分如果臨時需要修改也可以在這個裡面直接處理,一樣點選要修改的欄位名稱進行修改,但如果再重新執行一次 Crawler 這些修改就會被還原,所以建議欄位名稱的修改在 Classifier 進行,可以參考 Day 5 的Classifier CSV 設定,Data Type 的部分建議透過 SQL 進行轉換或 ETL 時再進行轉換 Data Type

ETL

請持續鎖定 Nextlink 架構師專欄,以獲得最新專業資訊喔!

若您有任何 AWS 需求,歡迎與我們聯繫!