LLM：困難部分｜以開源AI方案解決開發難題 (1版)

「本書由兩位頂尖實踐者執筆，無論讀者程度如何，皆能從這一本必備指南中取得駕馭 LLM 的實用工具。」 Sudheer Chava，喬治亞理工學院金融服務創新實驗室主任、Alton M. Costley 講座教授 「本書深入探討現實 LLM 系統的棘手挑戰，並提供周全且務實的見解。」 Tomaso Aste，倫敦大學學院複雜科學教授 大型語言模型（LLM）徹底改變了自然語言處理流程，然而，當你在應用程式中部署它們時，也會面臨許多技術挑戰。本書清楚且務實地剖析了開發者與 AI 工程師建構 LLM 應用程式時面臨的難關。本書聚焦於實作陷阱，而非僅談論功能，並透過可重現的 Python 程式碼與開源工具來提供立即可用的策略。 本指南專為開發者與技術產品主管而寫，提供解決現實問題的方法，幫助讀者理解 LLM 的限制與取捨，進而突破應用程式評估、輸入管理、測試、安全…等關鍵障礙。 • 為非確定性系統設計測試策略與評估策略 • 管理脈絡、RAG 與長脈絡檢索 • 處理輸出不一致與結構不可靠的問題 • 建構安全與內容審核框架 • 探討校準挑戰與緩解方法 • 在本機上運用開源模型

第一章　第一原理：在開始打造LLM應用程式之前該考慮哪些事情 為什麼選擇開源方案？ 策略考量 組織的AI架構 資料的重要性 模型類型 模型特性 成本與速度 授權條款 客製化 小型語言模型 結語 第二章　評估落差 LLM的不確定性 評估挑戰 設計LLMBA評估框架 評估方法 LLM效能評測簡介 ARC-AGI與ARC Prize 結語 第三章　LLM應用程式的評估工具 LangSmith Promptfoo LightEval 結語 第四章　從資料到脈絡 文件前處理 RAG 長脈絡模型是 RAG 的終結者嗎？ LCM案例研究：產生附有來源的考題 結語 第五章　輸出結構化的資料 結構化輸出為何重要 約束為何如此困難？Transformer架構 訓練期約束技術 推論期約束技術 結語 第六章　LLM安全考量 一般AI安全風險 LLM特有的安全風險 因應LLMBA安全風險 AI實驗室與政策中心的指引 讓LLM更安全的兩種具體方法 結語 第七章　評估LLM的安全性 利用評測資料集來評估安全 執行期護欄與內容審核 採用LLM-as-a-Judge的自訂審核 案例研究：建構K-12學生安全篩選器 結語 第八章　LLM校準：案例研究 為什麼需要校準？ RLHF：讓LLM值得信賴的關鍵突破 案例研究：讓LLM符合政策要求 設計安全與校準計畫 結語 第九章　結語：在成本持續下降的時代中的LLM應用 附錄 幫助你在本機部署LLM的工具 索引