https://blog.my-techcore.com/categories/ai-%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88/Recent content in AI 系統設計 on GuanLin's Latent SpaceHugo -- gohugo.iozh-TW© 2026 GuanLin's Latent Space. All rights reserved.Sat, 11 Jul 2026 20:00:00 +0800https://blog.my-techcore.com/posts/vllm-inference-framework-selection-methodology/Sat, 11 Jul 2026 20:00:00 +0800https://blog.my-techcore.com/posts/vllm-inference-framework-selection-methodology/<p>2026 年如果要部署 LLM，大部分人最後都會碰到同一個問題：到底該選什麼推論引擎是 vLLM、SGLang 還是 TensorRT-LLM？</p> <p>在實際部署 OCR、VLM、Agent 與多模型服務之後，我發現真正困難的不是「哪個引擎最快」，而是當模型數量增加、需求改變、團隊需要維護時，這套 Serving Stack 是否能穩定運作。真正的 Production AI 早就不是「單一推論引擎」的選擇，而是一整個 Serving Stack——從底層的推論引擎，到分散式編排，再到最上面的 AI Gateway，每一層都會影響最終的效能、成本與可維運性。</p> <p>這篇先把整個 Stack 的骨架跟選型方法論建起來——KV Cache 管理、Benchmark 細節、Orchestration 深入比較不會在這篇展開，這篇先彙整需要的骨架跟判斷順序。</p> <h2 class="relative group">TL;DR(Too Long; Didn&rsquo;t Read)：懶人包 <div id="tldrtoo-long-didnt-read懶人包" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#tldrtoo-long-didnt-read%e6%87%b6%e4%ba%ba%e5%8c%85" aria-label="">#</a> </span> </h2> <p>先給結論，層級怎麼分下面會有：</p> <table> <thead> <tr> <th>情境</th> <th>選項</th> </tr> </thead> <tbody> <tr> <td>CPU／Apple Silicon／邊緣</td> <td>llama.cpp</td> </tr> <tr> <td>快速驗證、Demo、個人使用</td> <td>Ollama</td> </tr> <tr> <td>通用高併發 Production 服務</td> <td>vLLM</td> </tr> <tr> <td>Agent／高 Prefix 重複率</td> <td>SGLang</td> </tr> <tr> <td>固定模型、極致 NVIDIA 效能</td> <td>TensorRT-LLM</td> </tr> <tr> <td>多節點編排、Autoscaling 需求</td> <td>Dynamo／Ray Serve</td> </tr> <tr> <td>多供應商路由、金鑰治理</td> <td>LiteLLM／Kong</td> </tr> </tbody> </table> <p>這張表能先縮小範圍，但實際要不要選它，建議還是要經過邏輯判斷與測試。</p>