NPU 到底適合拿來做什麼？Techno Tim 用 Frigate 實測

實際跑 Frigate 時，CPU 的平均推論延遲是 30.4 毫秒，每秒約處理 32.9 個偵測畫面，整台機器耗電約 51.4 W。GPU 將延遲降至 9.7 毫秒、提升到 53.5 fps，耗電也降到 24.8 W；NPU 同樣是 9.7 毫秒與 53.3 fps，速度幾乎和 GPU 相同，但整機耗電只有 18.3 W。

差別不只在省下幾瓦電。由 NPU 接手偵測後，GPU 不必同時處理影片解碼與 AI 推論，可以保留大部分資源做其他工作。獨立的 OpenVINO 跑分雖然顯示 NPU 比 GPU 更快，放進完整的 Frigate 流程後兩者卻幾乎打平，也說明單一跑分不一定能反映實際應用裡的資料搬移與其他處理成本。

NPU 因此比較不像一張縮小版 GPU，而是另一個可以安置長時間背景 AI 工作的位置。即時物件偵測是一個例子，視訊會議的背景模糊、自動取景與持續語音轉錄也是同類用途。影片剛發表不久，目前只有少量早期留言；除了肯定這種真實使用情境的測法，也有人提到效能較低的 Google Coral EdgeTPU，仍足以支撐自己的 Frigate 監視系統。