AI芯片歷經了一年多的熱潮，現在市場對于AI模型和芯片算力之間的關聯有更多的理解，，有兩個新市場被視為是云端生成式AI的關鍵瓶頸，近期正吸引更多廠商加速開發(fā)新產品并推進到市場，其一是HBM，其二則是高速傳輸技術。

       這兩項技術被視為是讓AI芯片及云端運算系統達到更高運作效率的關鍵，值得注意的是即將開展的2024年國際半導體展（SEMICON 2024）各類論壇的講者當中，不像往年都是NVIDIA、AMD等運算芯片大廠掛帥，2024年探討的話題更多圍繞在存儲器和高速傳輸技術上，可以看出業(yè)界關注的焦點愈來愈多元化。

      HBM的重要性對于云端AI的討論來說不算陌生，多數人都知道大型語言模型的AI運算，最缺的其實不是算力，而是存儲器的容量。

      存儲器不足，GPU或AI加速芯片的算力再強，也沒辦法在模型訓練的過程中發(fā)揮出最強效能。

      三星電子、SK海力士和美光都急忙調配產能，加速量產HBM來滿足市場需求，可是存儲器并不是唯一提升算力效率的關鍵技術，各種高速傳輸介面的升級，最近也掀起討論與重視。