資料儲存

AWS儲存百寶箱:物件式儲存服務S3

IDC 研究指出,2025 年全球數據總量將達到 163ZB!隨著現代人使用的硬體裝置越來越多元,資料增生的速度也成指數級成長,過去習慣使用硬體儲存資料的方式使成本逐年增加,企業因而尋求雲端儲存來解決這個問題。

而地端儲存根據儲存類型的差異有不同的儲存協定,如:塊狀式儲存(Block)、物件式儲存(Object)、檔案式儲存(SMB、NFS)等,並發展出不同應用NAS、SAN,在AWS上也針對遷移上雲的用戶提供相對應的服務。

博弘雲端掌握到企業在資料儲存上的需求,因此撰寫系列文章介紹AWS的儲存服務,包含:物件式儲存S3、檔案式儲存EFS和FSx、塊狀式儲存EBS以及AWS特有的資料傳輸。期待透過博弘的說明,讓您更了解AWS的服務,解決企業的儲存痛點!本篇博弘將帶您認識AWS上的物件式儲存服務大明星—S3。

 

S3:高度耐用的儲存服務
Amazon Simple Storage Service(Amazon S3)是高度耐用的通用物件式儲存服務,可用於結構化/非結構化/半結構化資料,例如:影片、圖片、中繼資料等。Amazon S3在AWS雲上提供了最高水平的數據耐久性(99.999999999%)和可用性。若想進一步提升資料耐久性,可啟用跨區域複寫(CRR)功能,使檔案存在另外一個Region裡面,避免遺失。

 

六個儲存層級,可依使用頻率調整
S3共有六個儲存層級,各層級依照資料存取程度分為熱、溫或冷資料。在定價方面,資料層級越靠近冷,儲存的價格就越便宜,但相對的,存取的時間較久。若想進行成本優化,您可以依據資料的使用頻率,在以下儲存層級之間移動資料:

  • S3標準

S3標準為提供低延遲、高傳輸量的物件式儲存服務,應用情境非常廣,例如:靜態網站、行動與遊戲程式、建構資料湖進行大數據分析等。您可以在S3標準內設定檔案生命週期規則,使檔案依照存取頻率在儲存類別中自動轉移。

  • S3 智慧型分層

S3 智慧型分層會監控儲存在此層級的每個物件檔案,並將連續30天未存取的檔案移至非經常存取層,若有檔案在非經常存取層受到存取後,即可被移回經常存取層。值得一提的是,在S3 智慧型分層檔案移動不會產生額外費用,可將尚未定義或無法預測存取頻率的物件檔案儲存至此層級。

  • S3標準 – IA(非經常存取)

若您的資料存取頻率低,但需要存取速度快,您可以選擇S3標準 – IA作為儲存資料的S3層級。低成本和高效率的特性讓 S3 標準 – IA 也非常適合長期儲存、備份和做為災難復原的資料存放區。

  • S3 單區域 – IA(非經常存取)

相較於其他S3存取類別會將檔案儲存再至少3個可用區域,S3 單區域 – IA只會將檔案放在單個可用區域中,成本相較於S3標準 – IA減少20%,若客戶的資料不要求高可用性及彈性,S3 單區域 – IA 是個不錯的選擇。

  • S3 Glacier

S3 Glacier提供成本極低的長期資料封存服務,可應用於有大量影音、新聞片段的媒體產。AWS還提供了三種擷取方案,「快速擷取」可在5分鐘內將資料傳回,「標準擷取」可用於較無時間急迫性的資料,擷取時間約3-5小時,「大批擷取」為成本最低的選項,可在5-12小時內回傳大量資料。

  • S3 Glacier Deep Archive

為S3系列裡面最低儲存成本的儲存類別,特別適用於為了符合合規需求而需要長期儲存資料的情境,例如:醫院的病歷資料、公部門檔案留存、金融服務帳戶資料等。S3 Glacier Deep Archive 符合成本效益且可以做為替代磁帶備份的災難備援解決方案。

 

儲存王者:S3 三大功能

  • S3 Access Point

S3 Access Point簡化了使用S3上的共享資料為應用程式大規模資料存取的管理。透過創建客戶唯一主機名,用於對透過Access Point發出的任何請求實施不同的權限和網路控制。

  • S3 Object Lambda

每個應用程式對於S3裡面資料的需求都不同,S3 Object Lambda可與您現有的應用程式配合使用,並使用AWS Lambda函數在從S3檢索資料時能自動處理,以及轉換您的數據。

  • Storage Lens

S3 Storage Lens提供了整個組織範圍內S3使用情況、活動趨勢的視覺化,並提供可行的建議,以提高成本效益及資料保護最佳實踐。S3 Storage Lens可提供組織數百個甚至數千個帳戶的物件式儲存使用狀況,並透過向下探索來產生相關帳戶、Bucket以及帶有前綴檔名等資訊。

 

S3強大應用,省成本就靠這三招

  • 資料湖

S3可儲存結構、半結構、非結構化的資料且可連結多個輸入、輸出資料來源,企業如果想要進行資料分析,但尚未決定想分析的方向,可先將資料放進S3建立資料湖進行儲存,相較於資料倉儲(Data Warehouse),可大幅節省資料的成本。

  • 託管靜態網頁

S3是無伺服器服務,您可以用來託管靜態網頁。相反的,動態網站依賴伺服器端處理,包括伺服器端語法,例如:PHP、JSP或ASP.NET。S3不支援伺服器端腳本語法,您可以使用AWS Amplify來託管動態網站。

  • 快照備份、log儲存

為了確保服務,如EBS、RDS、Dynamo DB,的備份及還原,企業應定期執行快照(Snapshot),這些快照資料可儲存於S3並可在發生錯誤或是災難時還援到快照當下的時間點。為了追蹤系統動態系統架構應啟用CloudTrail來追蹤log,而這些log可儲存於S3,當要分析這些Log時,可使用Athena透過SQL語法來查詢。

 

AWS S3為歷史悠久、價格實惠又應用廣泛的物件式儲存服務,博弘雲端架構師團隊曾幫助知名遊戲公司使用S3 標準層級儲存大量的遊戲圖片、音檔及影片,並將長年未使用但重要的資料,如:政府稽核相關資訊等,封存在高耐久性的S3 Glacier中,博弘更進一步開啟S3跨區複寫功能進行災難備援,使整體資料保護的步驟更臻完美,不只降低客戶的資料儲存成本,更提升整體效益。

下一篇我們將介紹AWS上的檔案式儲存服務,馬上追蹤博弘雲端,最新消息不漏接!您也有資料儲存的需求嗎?馬上撥打免費電話 0800-500-960 #620,將由專人為您服務!