架構師專欄

在上一篇講解完整的流程後，我們再回來說明 Table 的資訊與可調整的部分Table 說明：6-1. 點選創建成功的 Table Name，接著在6-2. 可以看到這個 Table 的詳細資訊， Classification 是哪一個類型的資料，原始資料所在的 AWS S3 路徑

上一篇說明使用 Athena 前需要執行的設定，本篇要接著使用 Athena 進行查詢，5-2. 設定完成後，就可以開始查詢 order.csv 裡的資料，Athena 是使用標準 SQL 進行查詢，所以如果會使用 SQL 操作 資料庫 ，再來是用 Athena 進行查詢分析幾乎是

延續昨天的步驟繼續將 Crawler 設定完成：IAM 的部分選擇我們在步驟 1-1 時創建的 IAM Role(ITGlue)，Schedul 可以設定 Crawler 是否要定期執行，通常這個會用在需要將新的 Partition 更新到 Table 中時所使用

上一篇完成前置步驟後，Glue Data Catelog 教學就進入到創建 Crawler啦！首先切換到 Crawlers 頁面，點選 Add crawlers，再點開 Crawler name 下面的選單，點選 Custom classifiers 裡剛剛創建的

了解 Classifiers 後，要來介紹如何將 Classifiers 與 Crawlers 結合進行資料爬取Crawlers 的部分會以一個小範例進行說明，首先我們要到 Kaggle 取得範例資料，資料內容為零售業的歷史訂單資料

講解完 Data Catalog 以及 Classifiers 、 Crawlers 、 Tables 的關係之後，接著介紹 JSON、CSV 的 Classifiers 設定。JSON path：此處設定如何讀取 JSON 檔？例如 JSON 檔內容如下

Data Catalog 由 Classifiers、Crawlers、Tables 組成首先介紹 Classifiers，Classifiers 負責定義所要爬取的資料類型與內容格式，如下圖所示有 XML、JSON、CSV，而 Grok 是指自定義的資料內容格式

AWS Glue有另外兩個主要功能：ETL JobETL Job 有三種 ETL 方式可使用Python shell當資料量還不需要分散式運算的計算量時，可以考慮使用 Python shell，Python shell 與 Lambda 相似，可以執行 Python Script

AWS Glue 為全託管的 SaaS 服務，使用者可以不用管理 VM，以及不需要手動設置 Claster。用戶不需管理基礎設施，AWS Glue 會佈建、設定和擴展執行資料整合任務所需的資源，因此使用者可以節省部屬環境的時間，讓使用者只需專注在資料處理流程的規劃與程式開發。

AWS 上有需多數據處理與分析的服務，常見的有 Glue、Athena、Redshift 等，我們將介紹如何在 AWS 上進行數據處理與分析，並解說如何使用 AWS Service，以及使用中常見問題的解決方法，最後會有實作範例提供參考，降低大家在 AWS 數據處理與分析的門檻。

這個月身為公司財務的張小姐驚發覺，公司自3月開始，雲端主機費用一個月已超過10萬，會計師事務所建議趕快找代理商 […]

隨著現代科技裝置越來越多元，從個人智慧助理、智慧家庭裝置到自動駕駛汽車等，資料生成的速度如滾雪球般的急遽增加，該如何從龐大的資料中精準地找到商業價值，提升企業生產力與競爭力，儼然成為新一代的企業課題，尤其現代企業缺少可以幫助他們進行有效分析的平台。