當 AI 從雲端走向裝置端，市場需求發生了本質改變：追求低功耗、低延遲、即時互動與本地隱私。目前 AMD 與 Intel 全面主攻 AI PC 推論市場，無論是 Windows、Copilot 或 Edge AI，全部皆圍繞 Inference 打造。
LLM 的發展趨勢也開始「縮小模型、提高反應速度」。NVIDIA 雖然清楚 GPU 在「訓練」領域仍是王者，但推論市場不一定非 GPU 不可。這也是為什麼像 Groq 這樣的公司，以 LPU 架構（Chip + SRAM）展現出領先的高速推論能力，試圖與 NVIDIA GPU 並行發展。
技術瓶頸的突破
GPU： 依賴 HBM（高頻寬記憶體）。為了訓練大模型，它追求極致的吞吐量 (Throughput)，適合一次處理海量數據，但在單次生成的延遲上較難妥協。
LPU ： 針對 LLM 的特性設計。由於 LLM 是「一個字猜一個字」的循序輸出，記憶體存取速度才是瓶頸。LPU 透過內建 SRAM 消除記憶體牆 (Memory Wall)，在即時對話的速度上，表現遠超傳統 GPU。
未來的晶片格局將是「雙軌並行」： 是用 GPU 在雲端訓練出更聰明的大腦，再用 LPU 在你的裝置上實現秒回的互動。AI 硬體的下半場，才正要開始。
Related
Google TPU步步進逼 黃仁勳出手收購Groq LPU技術反制？