LLM服務部署與最佳化實戰｜從系統建構到高效運行 (1版)

⭐⭐業界專家推薦⭐⭐ 隨著LLM成為現代AI平台的核心，本書提供一份實用的藍圖，教你如何在大規模環境中部署與最佳化LLM服務，以可靠且兼顧成本效益的方式處理龐大的工作負載。 ── Bhavesh Doshi，Salesforce AI 雲端事業群副總裁 大型語言模型（large language models，LLM）是現代AI的推理引擎。如今，一個重大的轉捩點已經到來：當全世界競相大規模部署AI，模型推論已移到整個技術堆疊的核心 ── 進入推論時代。 然而，少了適當的最佳化，LLM服務起來可能既昂貴又緩慢。本書深入解析大規模部署與最佳化LLM的種種複雜之處。 在這本以動手實作、工程實務為導向的書中，作者結合實際範例、程式碼與最佳策略，教你打造兼具穩定性、高效能與成本效益的AI Token工廠。無論你是在建構LLM推論的基礎設施，還是在開發運用它的AI應用程式，深入理解LLM服務的核心原理，都將讓你成為更具效率、更能因應未來AI發展的工程師。 本書精彩內容： • 掌握模型服務的基礎知識，從核心概念、設計典範到業界最佳實務一次學會。 • 理解大規模運行LLM的常見挑戰。 • 平衡延遲與吞吐量，滿足AI應用程式與業務需求。 • 運用結合程式碼範例的實務技巧，以符合成本效益的方式架設LLM。

第一章　模型服務與最佳化導論 　模型剖析 模型生命週期：從訓練到服務 什麼是模型的服務供應？ 為什麼要研究模型服務？ 為什麼要最佳化模型服務（尤其是LLM）？ 模型服務典範 結語 第二章　大型語言模型服務 　走進 Transformer 的內心世界 　執行LLM 生成：逐步演練 　LLM 串流服務基礎 　LLM 批次服務基礎 　結語 第三章　模型服務系統設計：深入剖析 　從零打造線上 LLM 服務 　單模型 LLM 服務的通用設計 　從零打造多模型服務 　多模型服務設計的取捨 　結語 第四章　模型服務的最佳實務 　代理式世界中的模型服務 　企業系統中的 LLM 服務：總覽 　用開源技術堆疊建構 　透過雲端供應商建構 自建還是採購？認識各種策略 衡量 LLM 服務的效能 結語 第五章　提供 LLM 服務時的挑戰 　為什麼最佳化 LLM 服務很重要？ 加速器晶片在 LLM 服務裡的角色 LLM 模型載入的瓶頸 LLM 模型執行的瓶頸 其他 AI 加速器與趨勢 結語 第六章　基本的 LLM 最佳化技術 　請求批次處理與排程層級的最佳化 擴展注意力與 Kernel 最佳化 　模型壓縮 　前綴快取 　結語 第七章　進階的 LLM 最佳化技術 推測式解碼 多 GPU 與多節點推論 預填—解碼分離 進階 KV 快取 結語 第八章　LLM 服務框架 　為什麼我們需要專門的 LLM 服務框架？ 　vLLM TensorRT-LLM 　SGLang 　Llama.cpp 選擇合適的框架 結語 第九章　LLM 最佳化實戰 　LLM 服務最佳化計畫 　以 vLLM 最佳化 Qwen3-14B 的服務 　常見的最佳化取捨 　總結 第十章　LLM 服務的最新進展 　語意快取 　效能評測策略 　多模態服務 邊緣 AI：驅動力與推手 多 LoRA 服務 強化學習中的模型服務 　結語 索引