亞馬遜 (AMZN-US) 旗下 AWS 今 (2) 日舉行 2024 re:Invent，公用運算 (Utility Computing) 資深副總裁 Peter DeSantis 宣布推出全新「Trainium2 UltraServer」，共搭載 64 顆 Trainium2，相較先前最多僅能搭載 16 顆 Trainium2 大增 3 倍，整體 HBM 容量高達 6TB，並採用自家 NeuronLink 進行連接。
業界指出，Trainium2 由 AWS 與邁威爾 (Marvell)(MRVL-US) 合作設計，並委由台積電 (2330-TW)(TSM-US) 製造，採用 5 奈米與 CoWoS 先進封裝技術，後段封測夥伴則包括旺矽 (6223-TW)、京元電 (2449-TW) 等，且由於 Trainium2 需求強勁，業界也傳出，Marvell 上調其對台積電明年 CoWoS 的需求量，相關供應鏈可望同步受惠。
AWS 2024 re:Invent 今日照慣例由資深副總裁 Peter DeSantis 打頭陣舉行演講，此次重點圍繞在 Trainium2，一連推出 Trainium2 Server 以及 Trainium2 Ultra Server，並釋出最新連接技術 Fiber optical trunk cable 與 Firefly Optic Plug。
Peter DeSantis 指出，封裝體尺寸越來越大，目前已是晶片尺寸的 3 倍左右，Trainium2 將 2 顆運算晶片與 4 顆 HBM 透過中介層 (Interposer) 連結，並進行先進封裝，晶片與中介層間凸塊連結僅約 100 微米，比最小的鹽粒還細，且與前一代相比，穩壓器也從平行並列轉移至封裝體下方，可有效降低電壓。
AWS 也以 Trainium2 為基礎推出 Trainium2 UltraServer，以兩座機櫃、四個伺服器與 64 顆 Trainium2 組合而成，透過自家 NeuronLink 相互連接，每秒執行的浮點運算次數 (PFLOPS) 高達 83.2，HBM 容量達 6TB，HBM 頻寬達每秒 185TB，是自家推出最強的 AI 運算伺服器。
此外，由 AWS 投資的 Anthropic 共同創辦人 Tom Brown 也現身站台，同時宣布最新計畫 Project Rainier 將採用 AWS 最新的 Trn2，由數十萬顆 Trainium2 晶片所組成，可進一步強化 AI 運算功能。
