AWS 影音媒體機器學習

AWS媒體傳播新時代 III:機器學習應用

上篇文章我們介紹了如何在AWS上建立直播服務,本篇我們將介紹AWS機器學習在影音媒體上的應用。

近幾年來,越來越多企業將機器學習應用在產業發展中,透過機器學習將作業自動化,以提升工作效能。媒體業者除了將影音串流服務搬遷上雲之外,也能透過蒐集用戶觀看偏好及影音類型資料,來建立機器學習模型,為用戶提供量身打造的內容推播。本篇文章將介紹AWS機器學習服務如何結合媒體應用,使影音串流內容供應商能夠達到事半功倍的效能。

AWS機器學習結合媒體的三大應用

自動分類影片檔案

影音串流內容供應商過去必須花費許多時間去維護大量的影片檔案,這些檔案通常來自不同的來源,並且透過不同的系統來管理這些檔案。透過機器學習服務,不只能夠降低標記及分類內容的時間,影音媒體資料庫也能被快速、準確的查詢。

透過AWS Elemental MediaConvert,可以從影片每五秒鐘的片段中抓出靜止圖像。這些靜止圖像提供給Amazon  Rekognition進行圖像分析。Amazon Rekognition可以根據對象、名人和特定場景的其他細節來標記影片,並產生可被搜尋的項目,例如:中繼資料目錄、編輯者和製作人等,使企業能快速、輕鬆地取得影音素材等內容。以下為在AWS上建構自動分類影片檔案之流程圖: (圖片來源)

自動上字幕及翻譯

不同語系的翻譯字幕內容在過去的影片或直播產業,一直都是仰賴費時的人工操作。機器學習問世之後,除了能簡化上述流程,還能進一步來進行語意分析和語法標記,使翻譯出來的文字更加貼近我們日常使用的語意。此功能可以應用於直播或網路研討會時,透過Media Convert進行內容擷取編碼後再轉譯成為文字,並可翻譯為多種語言,省去過去人工字幕聽打與翻譯的過程。

AWS Media Convert如何進行內容轉譯

  • MediaConvert使用正確的ABR套件對影片進行編碼,儲存到S3
  • 檔案觸發AWS Lambda函數使用FFmpeg或其他工具抓出聲音檔,然後使用聲音檔啟動Amazon Transcribe
  • Amazon Transcribe將翻譯(以JSON格式)儲存到S3
  • JSON檔案觸發了AWS Lambda函數,以將其轉換為WebVTT或SRT格式,以便可以與VOD資產一起使用。Lambda函數將SRT或WebVTT檔案與VOD資產存在相同的S3和目錄中

AWS Media Convert如何翻譯多種語言

  • S3中JSON檔案會觸發AWS Lambda函數來啟動Amazon Translate(必須預先選擇翻譯語言)
  • 轉換後的JSON檔案會觸發AWS Lambda函數,將其轉換為WebVTT或SRT格式,以便它可以與VOD資產一起用作適當的語言文件。Lambda函數將SRT或WebVTT檔案與VOD資產存在相同的S3和目錄中

以下為在AWS上建構自動上字幕及翻譯服務之流程圖:(圖片來源)

Automatic Transcription and Translation
插入個人化廣告

為了優化影音串流的收入流程,內容供應商必須客製內容及提高正向觀看體驗的方式進行廣告投放。根據研究指出,78%的消費者表示他們更能接受個人化廣告。

透過增強式的影音工作流程,內容供應商可以根據多種因素,例如:觀眾使用的設備類型、觀眾的人口統計,甚至是正在撥放的影片內容,來插入個人化廣告,這也被稱為內容感知(Content aware)廣告。

透過使用Amazon Rekognition影片分析和Amazon Transcribe語音識別,OTT平台可以使用機器學習的方式來使用影片內容的關鍵字資料庫。透過使用Amazon Sagemaker所構建的機器學習模型,建立智慧廣告推薦平台,最後再搭配AWS Elemental Media Tailor 完成個人化廣告插入。

以下為在AWS上建構個人化廣告之流程圖:(圖片來源)

Amazon Rekognition

雲端運算問世以來,在網路上執行影音串流已經變得相當簡單,媒體業者不只能將影片發布並傳遞到世界各地,還能進一步搭配機器學習達到自動化內容管理、個人化推薦等應用,使媒體服務更加完善。透過AWS媒體業者不只能省下購買硬體設備的成本還省下維運的心力,使業者更能專注於影音內容的創作。

博弘雲端為大中華區AWS核心級諮詢合作夥伴,並於2014年積極建置雲端影音服務,透過深厚的產業服務經驗,為全球媒體及娛樂產業提供全方位的影音技術支援!您的影音服務也想跟上機器學習的媒體新潮流嗎?馬上撥打免費電話 0800-500-960 #620,將由專人為您服務!