AWS re:Invent 2024技術年會於美西時間12月1日開幕。在當晚的首場主題演講中，AWS公用運算部門（Utility Computing）資深副總裁Peter DeSantis揭示了全託管AI平台Amazon Bedrock的AI推論加速新功能，該功能旨在降低延遲並提升效能。例如，利用自家AI加速晶片Trainium 2驅動的Trn 2處理Llama 3.1 405B模型推論，只需3.9秒即可處理1萬個Token的輸入並產生100個Token。
除了Llama 3.1模型，AI新創Anthropic的共同創辦人暨運算長Tom Brown也現身說明，他們與AWS合作設計Bedrock推論加速功能，這項技術能將Anthropic最新模型Claude 3.5 Haiku的推論時間縮短60%，並且超越其他平台的速度。此功能自即日起，使用者可透過API進行操作。此外，Tom Brown還透露，將利用數十萬顆Trainium 2晶片訓練下一代Claude模型。
目錄
目錄
晶片數量大增3倍！全新UltraServer Trainium2
AWS 宣布 Trainium2 驅動的 EC2 Trn2 實例正式上市，專為高效能深度學習與生成式 AI 工作負載（如大型語言模型與潛變分模型）設計。Trn2 實例相較於 GPU 驅動的 EC2 實例，提供 30-40% 更佳的性價比，搭載 16 顆 Trainium2 晶片，並通過 NeuronLink 技術連接，實現 20.8 個峰值 Petaflops 的計算能力。此外，AWS 推出了 Trn2 UltraServers，可將生成式 AI 工作負載擴展至 64 顆 Trainium2 晶片，顯著提升大型模型的訓練與推論效能。AWS 與 Anthropic 合作建設 Project Rainier，這將成為全球最大的 AI 計算集群。
AWS 同時發布了下一代 AI 晶片 Trainium3，採用 3 奈米製程節點，性能預計是 Trn2 UltraServers 的四倍。Trainium3 將加速模型訓練，並提升生成式 AI 應用的即時效能，首批基於 Trainium3 的實例預計於 2025 年底推出。
Amazon S3 Tables新功能！減少數據儲存複雜性
AWS 在 re:Invent 大會上宣布了 Amazon S3 的新創新功能，為更快速的分析和更簡單的表格數據管理引入了完全托管的 Apache Iceberg 支援。這些改進還透過自動生成可查詢的元數據，簡化了數據發現，消除了客戶在 S3 上組織表格和元數據存儲的複雜性。
Amazon S3 Tables 提供內建的 Apache Iceberg 表格支援，相較於一般 S3 儲存桶，可實現多達 3 倍的查詢效能提升和 10 倍的每秒交易數量增長。S3 Tables 專為分析工作負載設計，能優化查詢效能和存儲成本，並支援表格級別的存取控制。
Amazon S3 Metadata 可即時生成可查詢的物件元數據，減少對複雜且昂貴的元數據系統的需求，幫助客戶高效發現、組織和利用數據，應用於分析和即時推論等場景。Amazon S3 Tables 現已全面上市，Amazon S3 Metadata 則處於預覽階段。
Amazon Aurora & Amazon DynamoDB：全新資料庫功能
AWS CEO Matt Garman 在 re:Invent 2024 上宣布了 Amazon Aurora 和 Amazon DynamoDB 的全新資料庫功能，旨在支援需要跨多區域執行、強一致性、低延遲及高可用性的最苛刻工作負載。這些更新同時適用於基於 SQL 的關聯式資料庫和 NoSQL 系統。
Amazon Aurora DSQL：AWS 推出了速度最快的分散式 SQL 資料庫，這是一款伺服器無需管理的 PostgreSQL 相容解決方案，提供 99.999% 的多區域可用性、強一致性、幾乎無限的可擴展性，以及零基礎設施管理。Aurora DSQL 的讀寫效能比其他分散式 SQL 資料庫快四倍，克服了分散式資料庫歷史上的挑戰，如低延遲強一致性和微秒級全球伺服器同步。
Amazon DynamoDB 功能增強：DynamoDB 全球表現已整合 Aurora DSQL 的技術，新增強一致性選項。這項功能確保多區域應用程式始終能讀取最新資料，無需修改應用程式程式碼，同時保持 DynamoDB 全球表現的高可用性、可擴展性及一致的低延遲效能。
Aurora DSQL 和改良的 DynamoDB 全球表現已進入預覽階段。
AWS推出由自家晶片運算的新AI模型Nova
AWS推出了 Amazon Nova，這是新一代基礎模型（FMs），專為進階生成式 AI 應用設計，支援文字、圖片及影片輸入，能執行影片分析、內容創建及多媒體生成等任務。同時遵循負責任 AI 原則，內建安全功能並提供透明的使用指南。
Amazon Nova 包括多種專用模型：
• Nova Micro：專注於低延遲和低成本的文字模型。
• Nova Lite：低成本多模態模型，支援文字、圖片與影片。
• Nova Pro：高效能多模態模型，兼顧速度、準確性與成本。
• Nova Premier：專為複雜任務設計的進階多模態模型，將於 2025 年推出。
• Nova Canvas 和 Nova Reel：分別用於圖像生成和影片生成的尖端模型。
這些模型整合於 Amazon Bedrock 平台，簡化實驗、微調與部署流程，同時提供高性價比（比同類模型便宜 75%）及支援 200 種語言。客戶可使用專有數據進行模型微調，並採用 蒸餾技術 提升運行效率。模型在檢索增強生成（RAG）方面表現出色，並適用於需要與專有系統互動的任務。
Amazon Nova 亦助力創意內容創建，如 Amazon Ads 使用 Nova Reel 協助品牌生成高品質廣告內容。未來計劃推出 語音轉語音模型 和 任意模態模型，可處理並生成多種模態輸入和輸出。
Amazon Q Developer全新功能
AWS 宣布了 Amazon Q Developer 的全新功能，這是一款由生成式 AI 驅動的開發助手，專為簡化複雜的應用程式遷移與現代化項目而設計。這些更新透過自動化程式碼分析、生成、新程式碼測試與執行，幫助企業節省大量時間與成本。
Amazon Q Developer 已成功協助將數千個生產應用從舊版 Java 遷移到 Java 17，節省約 4,500 年的開發工時，並每年降低成本 2.6 億美元。
此次擴展功能進一步支援大規模的舊系統轉型，包括：
• Windows .NET 遷移至 Linux：遷移速度提升 4 倍，並將授權成本降低多達 40%。
• VMware 工作負載轉型：在數小時內將本地 VMware 網路配置轉換為 AWS 雲端原生架構，而非數周。
• 大型主機現代化：簡化程式碼分析、文件編制和重構等繁瑣過程，加速大型主機工作負載的遷移。
這些功能透過全新的 Amazon Q Developer 網頁應用 提供，為大型轉型項目打造高效協作平台。VMware 和大型主機現代化僅可通過此應用使用，而 Windows .NET 遷移亦可在開發人員的 IDE 中執行。所有新功能現已進入預覽階段。
Amazon Q Developer重構AI使用
AWS 宣布了 Amazon Q Developer 的全新功能強化，這是一款由生成式 AI 驅動的開發助手，旨在加速軟體開發和運營流程。新功能自動化繁瑣任務，幫助開發者專注於策略性工作並提升生產力，並提供前所未有的能力快速解決運營問題。
主要功能包括：
• 自動化單元測試：自動識別並生成單元測試，提高測試覆蓋率並減少開發者工作量，快速交付更可靠的代碼。
• 自動化文檔：自動創建並更新精確的項目文檔，簡化新開發者的入門過程，同時確保項目成員清楚了解代碼邏輯。
• 自動化代碼審查：執行初步代碼審查，檢測質量、風格和安全問題，簡化審查流程，減少修改時間。
• 快速解決運營問題：利用 AWS 專業知識分析海量數據，快速識別異常，提出根本原因假設並引導修復。Amazon Q 還將發現和行動記錄整合到 Amazon CloudWatch 中，供團隊協作和預防未來問題。
Amazon Q Developer 集成於 AWS 管理控制台、GitLab 和 IDE，為開發者提供靈活的使用體驗。新代理功能現已在 IDE 中全面上市，並在 GitLab 上進入預覽階段，而運營功能則處於預覽中。
Amazon Q Business 即將改變工作模式！
AWS 宣布了 Amazon Q Business 的全新功能，幫助員工高效獲取資訊、深入洞察並執行任務。這些更新簡化了工作流程，提升了生產力，並整合了多個應用中的企業數據，讓員工能專注於更具影響力的工作。
主要創新包括：
• 跨數據來源的統一洞察：Amazon Q Business 與 Amazon QuickSight 集成，將結構化數據（如資料庫、數據湖）和非結構化數據（如文件、電子郵件）整合到一處，讓員工快速做出基於視覺化數據的決策。
• 跨應用索引增強體驗：新的跨應用索引讓獨立軟體供應商（ISVs）透過單一 API 存取組織統一的數據，增強 Zoom、Asana、PagerDuty 等應用中的生成式 AI 體驗。精細的權限控制確保數據安全。
• 50 多種新操作庫：員工可直接在熱門第三方應用中執行任務，例如創建 Asana 任務或發送 Microsoft Teams 消息，無需在工具之間切換。
• 複雜工作流程的自動化：生成式 AI 代理現在可以自動化如處理發票、管理客戶支持票據和員工入職等複雜任務，大幅減少人工操作。
Amazon Q Business 的功能，如跨應用索引和 50 多種新操作現已推出，QuickSight 洞察功能處於預覽階段，而新的自動化功能將於 2025 年推出。
新Amazon SageMaker： 整合SQL 分析、大數據處理、與機器學習
AWS 發布了新一代 Amazon SageMaker，提供統一的平台來整合 SQL 分析、大數據處理、機器學習（ML）開發與生成式 AI。此平台整合工具和數據，簡化團隊協作，提升洞察行動效率。
主要功能包括：
• SageMaker Unified Studio：單一開發環境，整合分析、ML 和 AI 工具，提供跨組織的數據存取與協作。
• SageMaker Catalog：提供治理框架，確保數據、模型和資產的安全存取。內建數據分類、毒性檢測及負責任的 AI 政策等安全防護措施。
• SageMaker Lakehouse：統一存取分佈於數據湖、數據倉庫及聯邦數據來源的數據，支援 Apache Iceberg 標準來簡化數據處理。整合式存取控制支持安全的數據共享。
• 零 ETL 整合：消除手動 ETL 過程的需求，讓用戶直接存取 Zendesk、SAP 等 SaaS 應用中的數據，用於分析與 AI。
這些功能簡化工作流程、減少數據孤島，並增強數據與 AI 項目的協作能力。SageMaker Unified Studio 現已進入預覽階段，其他功能則已全面上市。
2024年度的Monday Night Live 議程，以全新UltraServer Trainium2最為亮眼，只需3.9秒即可處理1萬個Token的輸入並產生100個Token，大大加速處理速度，幫助企業創造更多的商業價值。想知道更多AWS的新服務與最新的雲端技術？博弘雲端將持續為您更新最新的雲端科技資訊，千萬別錯過！
