在由數據主導的時代，企業已經逐漸意識到數據的價值和影響力。數據不僅僅是一串數字，而是一個寶貴的資源，能夠提供企業在商業層面更深層的洞察，也讓企業採用數據分析不再是選項，而是一個必然的趨勢。然而數據資料如此龐大，該從何做起？根據調查顯示，2022年全球產出有近100ZB的資料，相當於需要超過972億個1TB大小的硬碟才能將資料全部存放。但是這些數據資料並非一開始就能提供完整的分析，而是需要經過「煉金術」，才能獲取有價值的洞察。因此，「資料預處理」的技能就成為企業邁向數據分析的敲門磚。博弘雲端「數據分析來敲門」的專題，要帶您先認識資料預處理，如何在數據分析作業前期打好基礎，成為數據賦能的企業！
目錄
目錄
資料前處理/預處理是什麼？
想要掌握數據分析的秘訣？先了解資料預處理的核心概念！資料前處理（Data Preprocessing）或資料預處理，是指在進行數據分析、建立模型或機器學習之前，對原始數據進行清理、轉換和整理的過程。資料前處理的目的是確保數據的品質和一致性，以及減少不確定性和噪音，讓數據更適合進行後續的分析和建模工作。
原始數據通常會有多個來源，無論是企業的ERP系統、行銷平台的數據資料，抑或業務數據指標等，都會需要先進行前處理。通常最原始的數據資料，不外乎是有錯誤的資料及格式，或是有極端值和重複的資料，這些都是會造成數據品質低落常見的原因。因此，資料前處理的重要性，就是挑出這些不合格的資料，讓龐大的數據資料成為有價值的洞察。
資料前處理有哪些步驟？
然而若企業想要開啟資料前期處理，有哪些步驟可以協助企業往數據分析成功的道路邁進？博弘雲端整理了4大步驟，帶您了解資料前處理有哪些重點:
資料清洗（Data Cleaning）
資料清洗是清理數據中的錯誤、缺失值和不一致性。企業在進行這個步驟時，必須要填補缺失值、刪除重複或無效的記錄，以及修正錯誤的數值或標籤。
資料轉換（Data Transformation）
資料轉換是對數據進行轉換，以使其更適合進行分析，主要的內容包括特徵縮放（例如標準化或統一化）、特徵抽取（從原始數據中提取更有意義的特徵）、類別編碼（將類別型數據轉換成數值），以及降維（像是主成分分析）等。 舉例來說，一間企業要分析出來客戶的消費行為，但這個結果具備多項特徵，其中像是消費頻率、消費品項等資料，就必須在前期轉換為有意義的「值」，才能進行後續分析。
資料集成（Data Integration）
資料集成是將來自不同來源、不同格式與不同結構的數據整合到統一的數據資料湖中。同常可以看見跨部門、跨系統間的數據來源彙整，以確保數據的一致性和可用性。然而中間可能會面臨到數據資料格式不統一的窘境，因此建議企業必須落實資料清洗的步驟，才能順利執行資料集成中。
資料歸納（Data Reduction）
最後則是資料歸納，對數據資料的規模進行縮減，以減少數據的維度、大小或複雜度，同時保留主要的特徵和資訊。資料歸納有助於減少運算的成本、降低噪音的影響、提高模型的效率和可解釋性。
如何運用AWS提升資料前處理/預處理的效率？
相較於傳統上使用地端的Excel工具進行數據分析工作，可能會耗費大量的人力與時間，使用雲端的優勢就在於提升效率，同時也能整合企業在雲端平台上運行的系統。藉由資料前處理的步驟，加上AWS雲端的數據解決方案，讓企業能夠成為領頭羊，採用關鍵技巧處理繁瑣的數據作業，成功獲取商業洞察:
Amazon S3
在數據源彙整的過程中，需要統一存放數據的地方，而Amazon S3 是物件式儲存空間，提供企業有彈性地存放原始數據，能夠節省效率又達到經濟實惠的優勢。
Amazon Glue
Amazon Glue 是一項全受管的 ETL（Extract, Transform, Load, ETL）服務，可以將數據的抽取、轉換和加載等流程自動化，幫助企業整合不同來源的數據，進行格式轉換和清理，最後將其載入目標數據庫（如另一個Amazon S3儲存貯體）或數據湖中。
Amazon Redshift
Amazon Redshift 是一個高性能的數據倉庫服務，可用於大規模數據分析。企業可以將數據從不同來源導入 Redshift，進行轉換和清理，接續運行複雜的分析查詢，Redshift 同步也能加速資料預處理。
AWS Data Pipeline
進行了ETL，與數據匯入等工作後，接續 AWS Data Pipeline 能夠協助企業自動化數據轉換過程，讓企業可以從各個資料集成中，擷取所需，調整數據處理的工作流。 如此一來，企業不必再花費大量心力撈取與轉換資料，讓AWS Data Pipeline 協助搞定資料預處理的步驟。
Amazon SageMaker Data Wrangler
倘若是直接使用機器學習的方式來整合資料預處理，AWS更在其機器學習解決方案Amazon SageMaker中提供「Data Wrangler」的服務，讓企業在部署機器學習模型前，可以對數據進行清理、轉換和特徵的工程，以利於後續模型訓練。
企業如何在資料前處理/預處理取得成功?
無論是在哪個產業，採用數據分析在企業日常營運中，勢必會經過一段陣痛轉換期，然而如何在前期就將基礎建置好，讓資料前處理的繁瑣作業能自動化，是企業在朝向數據賦能文化最重要的關鍵。
台灣經貿網是幫助全台企業接軌全球商業情勢的組織，主要核心業務為國際商機媒合及推動。然而商務情報及廠商的資料繁雜，再加上全球商業局勢瞬息萬變，需要有更彈性的系統來應對產業需求。也因此，台灣經貿網先著手解決資料前處理的工作流程。利用AWS Lambda 、 AWS Glue 和 Amazon Redshift等工具，縮短原始資料前處理的時間，同步讓台灣經貿網省下近3成的分析時間，以利於廠商對市場情勢的判斷。
身為亞太區的貨運物流業者香港宅急便，每天需要處理上萬件的貨物，靠的是FMS貨運管理系統來執行日常配送與發貨。然而在疫情期間，物流運輸產業面臨「系統」和「營運」無法整合的挑戰，更別提及龐大數據資料苦無用武之地。香港宅急便在面臨到這樣的挑戰下，決定採用AWS Data Pipeline解決方案，整理數據並將資料自動進行轉換。前期運用資料預處理的關鍵策略，更新管理系統，讓香港宅急便符合市場所需，加速產業轉型的速度。
從上面兩項產業實例可以清楚了解，資料預處理對於企業在朝向數據分析的路上，是不可或缺的一項工具。唯有在前期將資料整理乾淨，並將格式轉換正確，在數據分析後期建立模型時，才能事半功倍，抓出產業關鍵趨勢，精準掌握分析脈動。博弘雲端擁有AWS官方頒布的數據資料與分析認證，並且協助各產業領導品牌進行資料預處理和數據分析的專案，成為「數據賦能」的企業。您還在因為資料前期處理的複雜度過高而不願踏出採取數據分析的第一步? 立即與專業的雲端數據分析顧問 – 博弘雲端，協助您在資料預處理和數據分析專案獲得關鍵洞察，引領產業走向未來 !
