【AWS 數據戰情室】Day11 Glue Partition 教學 – Part 1

儲存 大量資料時,影響查詢速度怎麼辦?本篇要介紹會使用到的資料切分方式 Partition 。當資料量小時在查詢的速度上不會有感覺,但今天資料量以機累積了一年兩年五年時,資料的大小與資料筆數就會很大的影響查詢度,所以 Partition 在 數據分析 中非常重要

【AWS 數據戰情室】Day10 Glue Data Catelog 教學 – Part 7

Classification

在上一篇講解完整的流程後,我們再回來說明 Table 的資訊與可調整的部分Table 說明:6-1. 點選創建成功的 Table Name,接著在6-2. 可以看到這個 Table 的詳細資訊, Classification 是哪一個類型的資料,原始資料所在的 AWS S3 路徑

【AWS數據戰情室】Day9 Glue Data Catalog 教學 – Part 6

AWS數據分析

上一篇說明使用 Athena 前需要執行的設定,本篇要接著使用 Athena 進行查詢,5-2. 設定完成後,就可以開始查詢 order.csv 裡的資料,Athena 是使用標準 SQL 進行查詢,所以如果會使用 SQL 操作 資料庫 ,再來是用 Athena 進行查詢分析幾乎是

【AWS數據戰情室】Day8 Glue Data Catalog 教學 – Part 5

Glue Data Catalog

延續昨天的步驟繼續將 Crawler 設定完成:IAM 的部分選擇我們在步驟 1-1 時創建的 IAM Role(ITGlue),Schedul 可以設定 Crawler 是否要定期執行,通常這個會用在需要將新的 Partition 更新到 Table 中時所使用

【AWS數據戰情室】Day3 Glue 基本介紹 – Part 2

Glue ETL

AWS Glue有另外兩個主要功能:ETL JobETL Job 有三種 ETL 方式可使用Python shell當資料量還不需要分散式運算的計算量時,可以考慮使用 Python shell,Python shell 與 Lambda 相似,可以執行 Python Script

【AWS數據戰情室】Day1 資料處理的相關服務

AWS 資料處理的相關服務

AWS 上有需多數據處理與分析的服務,常見的有 Glue、Athena、Redshift 等,我們將介紹如何在 AWS 上進行數據處理與分析,並解說如何使用 AWS Service,以及使用中常見問題的解決方法,最後會有實作範例提供參考,降低大家在 AWS 數據處理與分析的門檻。

掌握精準數據洞察,迎戰 2021 疫後新商機

調研機構 IDC 最新報告指出,到了2022年全球 65% 的GDP將由數位化驅動,而數位轉型的直接投資則直逼7兆美元。為了解決企業在雲端上串接資料的難題,博弘雲端於 12/3 攜手 AWS、Tableau 原廠,在台北維多利亞酒店舉辦「 雲端資料分析 研討會」,當天與會來賓眾多

名額有限!馬上報名12/3 AWS / Tableau 雲端資料分析研討會

為協助企業串接雲端上的數據資料進行分析,並轉化為具商業洞察的報表,博弘雲端將攜手 AWS、Tableau 原廠於12/3 在台北維多利亞酒店舉辦「雲端資料分析研討會」,幫助企業以最高彈性、最低成本完成 數據分析 ,掌握2021最新趨勢!

11/13 立即報名Tableau 校務研究案例及展示-線上研討會

校務研究總是各大專院校提升競爭力的發展重點,但除了觀看固定的 數據 圖表與報表,大專院校需要的是一個能真正賦能,給予學校達到 數據 探索的平台。然而數據分析文化是什麼? 學校又該如何充分利用數據進而轉型?跟據內部資料統計,台灣大專院校中,已有近8成的學校使用 Tableau…

30秒洞察數據趨勢 | 12/3 AWS / Tableau 雲端資料分析研討會

企業 IT 決策者、資料科學家看過來!研究機構 IDC 預測,全球 大數據 與分析市場規模,在 2022 年底將會達到 2600億美元。在高速成長的的數據時代,您還在用低效率的方法整理、分析資料嗎?數據又多又雜,老闆要求的「完美報表」該怎麼做?