小丹尼的不專業分享

LPU( Language Processing Unit )

https://www.inside.com.tw/article/34256-groq-lpu
節錄自這篇文章

Groq 是在 2016 年由 Jonathan Ross 創立而成，他過去研發出 Google 第一款 TPU，在 Groq 他和團隊打造出一種新 AI 晶片「LPU」（Language Processing Unit），是專門用於 AI 推論的晶片，據稱速度更勝 NVIDIA 的 GPU。
根據知名電子報作者 Ben Thompson 說明，Groq 晶片採用的是靜態隨機存取記憶體（SRAM），而不是 GPU 上常見的 HBM 或電腦常用的 DRAM 記憶體，後兩者都需要時常刷新，導致資料儲存位置有不確定性，反觀 SRAM 資料可以恆常狀態儲存，Groq 因此能掌握每份資料的位置，加快運算速度。
Thompson 進一步指出，在 Transformer 模型上跑推論相當合適，其運算方式也是採確定性的，像 GPT-4 就適合在 Groq 編譯器上運行。
Groq 的優勢在於速度夠快，這讓 AI 對話再向人類溝通靠近一步，Ross 在 CNN 的採訪中讓主持人與 Groq 用語音對話，展現其速度是可以在新聞直播中溝通。


https://news.cnyes.com/news/id/5457929
 

https://technews.tw/2024/02/23/groq-is-the-new-ai-platform-to-beat-with-blistering-computation-speed/

https://www.ithome.com.tw/news/161388

https://www.youtube.com/watch?v=WQDMKTEgQnY