| 書名: | LLM 工程師開發手冊 (1版) | |||
| 作者: | Paul Iusztin、Maxime Labonne | |||
| 譯者: | 黃駿 | |||
| 版次: | 1 | |||
| ISBN: | 9789863128465 | |||
| 出版社: | 旗標科技 | |||
| 出版日期: | 2025/12 | |||
| 書籍開數、尺寸: | 18開 | |||
| 頁數: | 608 | |||
|
#資訊
#編程與軟體開發 #AI人工智慧與機器學習 |
||||
【簡介】 ▋人工智慧正以驚人的速度演進， 而大型語言模型已成為這場革命的核心關鍵▋ 本書不只是介紹理論；它帶你走進真實工程場景，教你如何設計、訓練、優化與部署 LLM，並結合 MLOps 的專業流程，打造真正能落地的端到端解決方案。透過完整的 LLM Twin 實戰案例，你將學會建構具成本效益、可擴展、模組化的系統架構，跳脫 Notebook 和 Colab 實驗的限制，把模型真正推向生產環境。 在學習過程中，你將掌握資料流程設計、RAG、監督式微調、偏好對齊、即時資料處理、推論最佳化等關鍵技術，並能將 CI/CD、監控、版本管理 等 MLOps 元件靈活融入自己的專案。這不僅讓你理解 LLM 的運作，更讓你具備「打造專業級 AI 系統」的實戰能力。 讀完本書，你將能從 0 到 1 建立自己的 LLM、能處理真實世界的資料、能在生產環境長期穩定運作、能持續優化並快速迭代。 無論你是 AI 新手或已有多年經驗的工程師，本書都能帶來全新的理解、視野與技術深度，讓你真正跨入 LLM 工程師的境界。 ✦✦✦ ◤全球好評指標◢ ★ Amazon 4.6 顆星好評，榮登人工智慧相關類別 #1 暢銷榜 ★ 作者在 Github 儲存庫上提供的本書學習資源，累計已獲 4,400+ stars 關注 ◤技術領袖一致推薦!◢ ★ 「本書讓更多人能夠進一步調整、微調、量化模型，並使其足夠高效以應用於真實世界。」 ─ Julien Chaumond｜Hugging Face 共同創辦人暨技術長 ★ 「以具體範例與明確指導，說明如何最佳化推論流程與有效部署 LLM，使其成為研究人員與實務工程師皆能受益的重要參考書。」 ─ Antonio Gulli｜Google 技術長辦公室資深總監暨傑出工程師 ★ 「在 AI 以前所未有的速度重塑各行各業的當下，《LLM 工程師開發手冊》是帶領讀者掌握大型語言模型複雜性的關鍵指南。」 ─ Hamza Tahir｜ZenML 共同創辦人暨技術長 ★ 「提供一套精良的框架，協助讀者掌握 LLM 工程，並成功銜接機器學習研究、AI 工程與 LLMOps 之間的落差。」 ─ Gideon Mendels｜CometML 共同創辦人暨執行長 ★ 「這本書全面涵蓋了從 LLM 設計、部署到優化的實務指南...。若你對 LLM 充滿熱情，這絕對是一本必讀之作。」 ─ Akshit Bhalla｜Tesla 資料科學家 ★ 「這是目前少數兼具深度與實務性的 LLMOps 著作之一...。讀完之後，我迫不及待想用自己的工具實作一個 LLM Twin！」 ─ Maria Vechtomova｜Databricks MVP 本書特色: ▋從架構、資料、訓練到部署， 打造能真正落地的 LLM 系統▋ ✦✦✦ ◤從零打造 LLM 系統的實戰流程◢ ● 每一章都有循序圖解、完整程式碼範例，不怕學不會 ● 提供完整LLM 端到端工作流程教學：資料流程 → 特徵流程 → 訓練流程 → 推論流程 → 部署流程 ● 全書程式皆由小編親自測試，並穿插實務心得，確保你真的學得到、做得出來 ◤你將掌握的關鍵能力◢ ✔ 從真實資料開始打造 LLM 的第一步！ 從爬蟲、清洗、分段到去重複，一步步完成真實世界 LLM 需要的資料前處理。 ✔ 用 FTI 架構建立你的 AI 系統思維！ 建立 Feature／Training／Inference 全流程思維，看懂 LLM 系統的真實樣貌。 ✔ RAG 深度解析：打造不會亂講話的 LLM！ 深入掌握 RAG 的設計、最佳化與進階技巧，提升模型可信度與資訊鮮度。 ✔ 把模型調到最好：微調 + 偏好對齊一次學會！ 從 SFT 到 LoRA/QLoRA，再到 DPO，讓模型真正「理解人類的思考行為」。 ✔ 推論加速全攻略，速度與成本 win-win！ KV cache、連續批次、推測式解碼、量化與平行化，全套最佳化方法一次收錄。 ✔ 無痛掌握最全面的 AI 工具鏈！ 涵蓋 Hugging Face、ZenML、CometML、Opik、MongoDB、Qdrant 等主流技術。 ✔ 真正生產級的 MLOps／LLMOps 能力剖析與實踐！ 從 CI/CD/CT、監控、版本控管到雲端部署，打造可擴展、可維護的 LLM 系統。 【目錄】 ▌第 1 章 掌握 LLM 分身的概念與架構 1.1 認識 LLM 分身 1.2 規劃 LLM 分身的最簡可行產品 1.3 依循特徵/訓練/推論架構建立 ML 系統 1.4 設計 LLM 分身的系統架構 1.5 FTI 設計與 LLM 分身架構的回顧與反思 1.6 總結 1.7 參考資料 ▌第 2 章 工具介紹與安裝 2.1 Python 開發環境的建置與專案安裝 2.2 MLOps 與 LLMOps 工具 2.3 儲存非結構化與向量資料的資料庫 2.4 準備使用 AWS 2.5 總結 2.6 參考資料 ▌第 3 章 資料工程 3.1 設計 LLM Twin 資料搜集流程 3.2 資料搜集流程實作：ETL 架構 3.3 資料搜集流程實作：網路爬蟲 3.4 資料搜集流程實作：NoSQL 文檔類別 3.5 將原始資料搜集至資料倉儲中 3.6 總結 3.7 參考資料 ▌第 4 章 RAG 特徵流程 4.1 認識 RAG 4.2 進階 RAG 概觀 4.3 探索 LLM Twin 的 RAG 特徵流程架構 4.4 實作 LLM Twin 的 RAG 特徵流程 4.5 總結 4.6 參考資料 ▌第 5 章 監督式微調 5.1 建立指令資料集 5.2 認識 SFT 技術 5.3 實作微調程式 5.4 總結 5.5 參考資料 ▌第 6 章 偏好對齊微調 6.1 認識偏好資料集 6.2 建立偏好資料集 6.3 偏好對齊 6.4 實作 DPO 6.5 總結 6.6 參考資料 ▌第 7 章 評估 LLM 7.1 何謂模型評估 7.2 何謂 RAG 評估 7.3 實作模型評估程式 7.4 總結 7.5 參考資料 ▌第 8 章 推論優化 8.1 模型優化策略 8.2 模型平行處理 8.3 模型量化 8.4 總結 8.5 參考資料 ▌第 9 章 RAG 推論流程 9.1 了解 LLM Twin 的 RAG 推論流程 9.2 探索 LLM Twin 的進階 RAG 技術 9.3 實作 LLM Twin 的 RAG 推論流程 9.4 總結 9.5 參考資料 ▌第 10 章 部署推論流程 10.1 選擇部署形式的標準 10.2 認識推論部署的形式 10.3 比較單體式與微服務架構 10.4 探索 LLM Twin 推論流程的部署策略 10.5 部署 LLM Twin 服務 10.6 以自動擴展應付使用高峰 10.7 總結 10.8 參考資料 ▌第 11 章 MLOps 與 LLMOps 11.1 認識 LLMOps：從 DevOps 與 MLOps 的基礎開始 11.2 將 LLM Twin 的 Pipeline 部署至雲端 11.3 在 LLM Twin 專案中加入 LLMOps 11.4 總結 11.5 參考資料 ▌附錄A MLOps 原則 A.1 自動化與系統化 A.2 版本管理 A.3 實驗追蹤 A.4 測試 A.5 監控 A.6 可重現性
還沒有人留下心得，快來搶頭香！
為您推薦
類似書籍推薦給您
【簡介】 Albert 和 John 是史上最成功的生成式 AI 產品之一 GitHub Copilot 的幕後推手，也因此成為值得學習的典範。本書讓每個人都能輕鬆邁入提示工程這個領域。 —— Hamel Husain，獨立 AI 研究員與顧問 大型語言模型（LLM）正在徹底改變世界，期許能自動化各種任務並解決複雜問題。新一代的軟體應用紛紛把這些模型作為基礎元件來釋放幾乎所有領域中的驚人潛力，但同時也需要全新的技能才能穩定運用這些能力。本書將帶領你學習提示工程的藝術與科學 — 這正是釋放 LLM 真正潛能的關鍵。 產業專家 John Berryman 和 Albert Ziegler 將分享如何與 AI 有效溝通，將你的想法轉化為適合語言模型理解的格式。學會理論基礎與實用技巧之後，你將具備充分的知識與信心來打造新一代的 LLM 應用程式。 本書精彩內容： ? 理解 LLM 的架構，並學會與其互動的最佳方式 ? 針對你的應用程式設計完整的提示撰寫策略 ? 收集、篩選並呈現高效提示所需的上下文資訊 ? 精通特定提示技巧，例如少樣本學習、思維鏈提示設計與 RAG（檢索增強生成）【目錄】 【第一篇 基礎】 第一章 淺談提示工程 LLM 好神奇 語言模型：如何發展到今天這一步？ 提示工程 總結 第二章 認識 LLM 什麼是大型語言模型？ LLM 如何看待這個世界？ 一次只有一個標記 溫度與機率 Transformer 架構 總結 第三章 轉向聊天模式 人類回饋強化學習 從指令轉向聊天 不斷變化的 API 提示工程，就像在寫劇本 總結 第四章 設計 LLM 應用 解析 LLM 應用迴圈 深入解析前饋傳遞 評估 LLM 應用的品質 總結 【第二篇 核心技術】 第五章 提示內容 內容來源 靜態內容 動態內容 總結 第六章 組裝提示 理想提示的剖析 文件類型有哪些？ 格式化文字片段 彈性文字片段 提示元素之間的關係 整合起來 總結 第七章 駕馭模型 解析理想的補全 文字之外：對數機率 選擇模型 總結 【第三篇 手藝大師】 第八章 對話代理 工具使用 推理 以任務為基礎的互動之上下文 建立對話代理 總結 第九章 LLM 工作流程 對話代理夠用嗎？ LLM 基本工作流程 LLM 進階工作流程 總結 第十章 評估 LLM 應用程式 到底在測試什麼？ 離線評估 線上評估 總結 第十一章 展望未來 多模態 總結 索引
類似書籍推薦給您
【簡介】 【掌握生成式 AI 與 LLM 的發展與應用】近年來，AI 已經成為社會關注的焦點，幾乎所有人都在討論它的強大影響力！生成式 AI、LLM、ChatGPT、OpenAI、Copilot、Gemini、DeepSeek… 這些科技術語鋪天蓋地而來，甚至美國各大企業相繼大規模裁員，顯然大事發生了，但究竟怎麼一回事？又是如何改變我們的世界？在這場生成式 AI 熱潮與搶購 NVIDIA（輝達） GPU 的 AI 軍備競賽中，我們亟需一本能夠深入淺出解釋複雜概念的書籍，幫助讀者理性認識這場技術革命的全貌。本書不需要數學基礎，也不用具備程式設計或人工智慧的知識。只要你對生成式 AI 如何影響世界感興趣，本書就是你進入這個領域的最佳指引。我們將解析大型語言模型（LLM）的運作原理，探索 LLM 如何塑造科技產業的未來，並剖析生成式 AI 在社會、經濟、法律與政治各領域帶來的機遇與風險。【全方位認清楚生成式 AI 的問題與爭議】你將學習如何在日常生活與工作中有效應用生成式 AI，同時也會了解其安全性與倫理挑戰，例如資料安全與隱私問題、合成媒體與著作權爭議、LLM 的偏見來源、人機關係帶起的孤獨流行病等當前重要議題。此外，還會談到即將到來的 AI Agent，以及將通用人工智慧（AGI）、優生學及超人類主義連結，藉由科技將人類進化為後人類的未來議題（雖然看起來科幻，但確實是有計畫地進行中）。生成式 AI 在認知作戰與惡意應用方面，包括深偽技術濫用以及詐騙成本降低，也對社會帶來重大的影響。此外，將藝術家、設計師、漫畫家、攝影師作品，以及程式碼與書籍內容等，在未經授權之下被用於訓練生成式模型，這一連串訴訟以及 "合理使用" 的範圍到底包括哪些的爭議，我們都會依據最新發展做分析。對於 LLM 與生成式 AI，許多人往往一開始就一頭栽進技術細節。而本書希望讓你站在制高點俯視這一切，幫助你建立對生成式 AI 的全面性理解，成為宏觀的理性思考者。因為，生成式 AI 不僅是一場技術革命，更是一場深刻影響未來的變革，而我們正參與其中。 本書特色: ●解析大型語言模型 LLM 的運作原理 ●AI 軍備競賽下的大型語言模型發展 ●將生成式 AI 融入工作與日常生活中 ●在創新應用中兼顧安全性與倫理責任 ●資料安全與隱私保護的政策與法規 ●生成式媒體的應用範圍與著作權爭議 ●聊天機器人偏見、群眾外包的心理創傷 ●探索與聊天機器人良性互動之道 ●北美、歐盟、中國對 AI 的監管狀況 ●AGI、AI 的感知與意識、超人類主義、後人類 ●LLM 生命週期對環境帶來的影響以及碳權問題 ●LLM 開源或權重開源對社群帶來的影響 【目錄】 第 1 章 大型語言模型：展現 AI 實力 1.1 ChatGPT 與大型語言模型的崛起 1.2 自然語言處理的起源與演進 1.2.1 統計模型與機器學習的引入 1.2.2 神經網路與深度學習的崛起 1.3 大型語言模型（LLM）的誕生 1.3.1 注意力機制的誕生與應用 1.3.2 Transformer 架構帶來突破 1.3.3 從 Transformer 到 GPT 1.3.4 NLP 發展的重要時間點 1.4 LLMs 有哪些應用？ 1.4.1 語言建模 1.4.2 程式碼生成 1.4.3 內容生成 1.4.4 邏輯推理 1.4.5 其它各種應用 1.5 LLMs 有哪些不足之處？ 1.5.1 訓練資料與偏見 1.5.2 控制 LLMs 輸出正確性的困難 1.5.3 LLMs 的永續性 1.6 重要 LLM 的發展歷程 1.6.1 OpenAI 的 ChatGPT 1.6.2 Google 的 Bard / LaMDA / PaLM / Gemini 1.6.3 微軟的 Bing AI / Copilot 1.6.4 Meta 的 LLaMA 與史丹佛的 Alpaca 1.6.5 橫空出世的 DeepSeek 1.7 總結第 2 章 訓練大型語言模型（LLMs） 2.1 如何訓練 LLMs 2.1.1 從開放網路搜集資料 2.1.2 認識自迴歸模型與雙向模型 2.1.3 微調 LLMs 2.2 出人意料的 LLMs 突現特性 2.2.1 LLMs 的零樣本與少樣本學習能力 2.2.2 突現現象：是錯覺還是新能力？ 2.3 大量訓練資料背後的難題 2.3.1 把偏見編碼進模型中 2.3.2 敏感資料 2.4 總結第 3 章 LLMs 的隱私風險與法規應對 3.1 改善 LLMs 生成結果安全性的方法 3.1.1 後處理偵測 3.1.2 內容過濾、條件式預訓練 3.1.3 基於人類回饋的強化式學習（RLHF） 3.1.4 基於 AI 回饋的強化式學習（RLAIF） 3.2 使用者隱私與商用風險 3.2.1 無意間造成的資訊洩漏 3.2.2 與聊天機器人互動的建議 3.3 資料保護的政策與法規 3.3.1 國際標準與資料保護法 3.3.2 聊天機器人符合 GDPR 嗎？ 3.3.3 美國校園中的隱私權管制 3.3.4 企業政策 3.4 總結第 4 章 合成媒體創作與著作權爭議 4.1 深偽技術與合成媒體的崛起 4.1.1 創造合成媒體的常用技術 4.1.2 合成媒體的功與過 4.1.3 合成媒體的偵測技術與應對策略 4.2 以生成式 AI 翻轉創作過程 4.2.1 行銷上的應用 4.2.2 藝術創作 4.3 LLM 時代的著作權與訴訟案件 4.3.1 合理使用的概念與四大要素 4.3.2 LLM 企業面臨的法律訴訟 4.3.3 網路資料的使用與授權 4.4 總結第5 章 LLMs 的濫用與對抗式攻擊 5.1 資訊安全與社交工程 5.1.1 生成式 AI 的雙面性 5.1.2 魚叉式釣魚攻擊的進化 5.1.3 ChatGPT 對釣魚與惡意程式的影響 5.1.4 程式碼即服務的資安威脅 5.1.5 資料下毒：模型訓練的隱藏威脅 5.1.6 提示詞注入與越獄攻擊 5.1.7 面對生成式 AI 威脅的解決之道 5.2 資訊失序：對抗性敘事 5.2.1 認知作戰的範疇與定義 5.2.2 生成式AI 的潛在濫用 5.2.3 深偽技術與政治戰 5.2.4 對抗性敘事的監管挑戰 5.2.5 建立全球性對策機構 5.3 政治偏見與競選活動 5.3.1 聊天機器人的政治立場 5.3.2 偏見的來源與中立挑戰 5.3.3 LLMs 對選舉的潛在影響 5.3.4 馬斯克對 AI 的批評與探索 5.4 AI 幻覺的成因與改善方法 5.4.1 LLMs 的運作方法所導致 5.4.2 知識圖譜與 LLMs 內隱知識 5.4.3 改善幻覺的策略 5.5 專業領域中的濫用 5.5.1 律師濫用的案例 5.5.2 賺錢建議的魅力與濫用隱憂 5.5.3 醫療領域的成就與局限 5.5.4 投資顧問的挑戰與監管問題 5.5.5 生成式 AI 的倫理與責任 5.5.6 使用者與開發者的共同責任 5.6 總結第 6 章 善用 AI 工具提高生產力 6.1 在醫療、法律、金融等專業領域中運用 6.1.1 協助醫師處理行政作業、提高與病人互動品質 6.1.2 在法律案件研究、證據開示和文書上的應用 6.1.3 為金融投資與銀行客服加持 6.1.4 與 LLMs 共同創作 6.2 AI 程式設計輔助工具 6.2.1 自動撰寫程式碼說明 6.2.2 自動撰寫正規表達式 6.2.3 AI 程式助手 vs. 程式討論平台 6.3 工作與生活中的應用 6.3.1 學習方式的改變 6.3.2 重新定義購物體驗 6.3.3 AI 代理能與環境互動並靈活調整 6.3.4 代理化 LLMs：拓展 AI 的應用潛力 6.3.5 善用聊天機器人設計個人化計畫 6.3.6 從行政工作到未來內容生態的變革 6.4 生成式 AI 在教育中的足跡 6.4.1 教育工作者對 ChatGPT 的正反面態度 6.4.2 引入 AI 科技對學習的好處 6.5 偵測 AI 生成文本 6.5.1 離群值偵測技術 6.5.2 用 DetectGPT 檢測機率曲率 6.5.3 分類器偵測技術 6.5.4 文字浮水印技術 6.6 LLM 對工作和經濟的影響 6.6.1 正面的觀點 6.6.2 負面的觀點 6.6.3 生成式 AI 對就業的影響 6.7 總結第 7 章 與聊天機器人建立人機連結 7.1 以社交互動為目的的聊天機器人 7.1.1 從情感陪伴到倫理爭議 7.1.2 人機情感連結的商業化應用 7.2 向聊天機器人尋求陪伴的原因 7.2.1 孤獨流行病 7.2.2 情感依附理論與聊天機器人 7.3 人機關係的好與壞 7.3.1 基於規則 AI 聊天機器人的優勢 7.3.2 從社會滲透論看人機關係 7.3.3 人機關係的商業化與社會影響 7.3.4 性別觀念影響對話式 AI 技術開發 7.4 探索與聊天機器人良性互動之道 7.4.1 避免一味追求互動的榨取式科技、欺騙性設計 7.4.2 朝負責任科技方向轉型 7.4.3 Character.AI 平台的用戶行為 7.4.4 開發商的道德責任與技術手段 7.5 總結第 8 章 生成式 AI 的未來發展與監管方向 8.1 自然語言成為與電腦溝通的介面 8.2 AI Agents（代理）將解鎖更多可能性 8.3 客製化個人助理 8.4 從倫理角度看 AI 監管 8.4.1 北美的監管狀況 8.4.2 歐盟的監管狀況 8.4.3 中國的監管狀況 8.4.4 企業自律 8.5 邁向全球 AI 治理架構 8.6 總結第 9 章 拓展視野：AGI、AI 意識、環境影響、開源 LLM 9.1 通用人工智慧 AGI 9.1.1 AGI 是什麼？ 9.1.2 山姆．阿特曼對 AGI 的願景 9.1.3 優生學、超人類主義、後人類 9.1.4 長期主義對 AGI 的憂慮 9.2 AI 的感知與意識 9.2.1 感知與意識是什麼？ 9.2.2 意識從哪裡產生？ 9.2.3 意識思考與後設認知 9.2.4 AI 意識的研究持續進行 9.3 LLM 對環境的影響 9.3.1 從硬體生產到運算需求的全面影響 9.3.2 生成式 AI 的環境成本與碳足跡報告 9.4 改變 LLM 生態的開源社群 9.4.1 LlaMA 洩漏權重，促進開源 LLM 快速發展 9.4.2 DeepSeek-R1 權重開源，打破美國技術壟斷 9.4.3 開源與封閉 LLM 的優缺點 9.4.4 如何為開源社群盡一份心力 9.5 總結
類似書籍推薦給您
【簡介】 本書共分30章，涵蓋30個實用的大語言模型應用專案。 第一章介紹美食推薦系統，實作隨機推薦功能；第二章為語言學習平台，結合大模型進行語言對話；第三章為戲文生成工具，自動產出劇情內容；第四章為智慧電影推薦，整合演算法與GUI介面；第五章為影像處理應用，包含影像增強與生成；第六章設計職業匹配系統，分析履歷並提供建議；第七章實作簡歷生成工具，自動填寫履歷內容；第八章為產品推薦系統，根據輸入條件推薦商品；第九章開發文字互動小說專案；第十章為小說創作平台，自動續寫故事內容；第十一章為情緒分析工具，可解析用戶情緒傾向；第十二章實作文字轉影像工具；第十三章提供足球賽事資訊；第十四章為圖書館檢索系統；第十五章為音色轉換工具；第十六章實作智慧換臉應用；第十七章協助撰寫留學文書；第十八章開發寵物照護小幫手；第十九章分析使用者評價內容；第二十章為旅遊地點圖鑑查詢；第二十一章為文案生成助手；第二十二章為菜譜推薦平台；第二十三章為文字校正工具；第二十四章提供網球運動員資訊；第二十五章設計職業推薦系統；第二十六章建構職場知識問答平台；第二十七章為手繪圖像辨識；第二十八章為文獻閱讀助手；第二十九章開發法律諮詢小程式；第三十章實作文風模擬應用。 本書特色 ★美食推薦與商品推薦系統整合 ★多輪語言學習與語音互動應用 ★戲文生成與小說創作自動化 ★智慧電影推薦與職業媒合系統 ★履歷生成與留學文書產出流程 ★職涯推薦與工作技能對應模型 ★圖片處理、影像生成與換臉技術 ★情緒分析與使用者評價介面建構 ★文字轉影像與手繪圖辨識系統 ★足球與網球運動員資訊查詢模組 ★菜譜推薦與旅遊圖鑑呈現介面 ★文案生成與文字校正整合應用 ★法律諮詢與知識問答服務實作 ★文風模擬與語體轉換工具開發 ★前端介面設計與Node.js整合流程 ★大模型API串接與多語系應用部署 【目錄】 ▌第1 章 美食推薦 1.1 整體設計 1.1.1 整體框架 1.1.2 系統流程 1.2 開發環境 1.2.1 安裝PyCharm 1.2.2 環境配置 1.2.3 建立專案 1.2.4 大模型API 申請 1.3 系統實現 1.3.1 頭部 1.3.2 背景樣式 1.3.3 主體 1.3.4 App.py 指令稿 1.3.5 random_food.py 指令稿 1.4 功能測試 1.4.1 執行專案 1.4.2 發送問題及回應 1.4.3 美食軟體網頁版跳躍 ▌第2 章 語言學習 2.1 整體設計 2.1.1 整體框架 2.1.2 系統流程 2.2 開發環境 2.2.1 安裝VS Code 2.2.2 安裝Node.js 2.2.3 安裝pnpm 2.2.4 環境配置 2.2.5 建立專案 2.2.6 大模型API 申請 2.3 系統實現 2.3.1 頭部 2.3.2 樣式 2.3.3 主體 2.3.4 main.js 指令稿 2.4 功能測試 2.4.1 執行專案 2.4.2 發送問題及回應 ▌第3 章 生成戲文 3.1 整體設計 3.1.1 整體框架 3.1.2 系統流程 3.2 開發環境 3.2.1 安裝VS Code 3.2.2 安裝Node.js 3.2.3 環境配置 3.2.4 大模型API 申請 3.3 系統實現 3.3.1 頭部 3.3.2 樣式 3.3.3 主體 3.3.4 主體 指令稿 3.3.5 其他介面設計 3.4 功能測試 3.4.1 執行專案 3.4.2 發送問題及回應 ▌第4 章 智慧電影 4.1 整體設計 4.1.1 整體框架 4.1.2 系統流程 4.2 開發環境 4.2.1 安裝PyCharm 4.2.2 安裝Python 4.2.3 軟體套件 4.2.4 建立專案 4.2.5 大模型API 申請 4.3 系統實現 4.3.1 主函式Main 4.3.2 推薦演算法 4.3.3 呼叫大模型 4.3.4 主體及GUI 介面 4.4 功能測試 4.4.1 執行專案 4.4.2 發送問題及回應 ▌第5 章 影像處理 5.1 整體設計 5.1.1 整體框架 5.1.2 系統流程 5.2 開發環境 5.2.1 安裝PyQt5 5.2.2 環境配置 5.2.3 大模型API 申請 5.3 系統實現 5.3.1 PyQt5 組件初始化與綁定機制 5.3.2 PyQt5 槽函式的定義 5.3.3 主函式 5.4 功能測試 5.4.1 影像處理功能測試 5.4.2 影像生成功能測試 ▌第6 章 職業匹配 6.1 整體設計 6.1.1 整體框架 6.1.2 系統流程 6.2 開發環境 6.2.1 安裝Anaconda 6.2.2 建立Git 6.2.3 安裝Streamlit 6.2.4 LangChain 的安裝與使用 6.2.5 環境配置 6.2.6 建立專案 6.2.7 大模型API 申請 6.3 系統實現 6.3.1 PDF 讀取剩餘區塊 6.3.2 樣式 6.3.3 模型互動 6.3.4 主程式邏輯 6.4 功能測試 6.4.1 執行專案 6.4.2 發送問題及回應 ▌第7 章 生成履歷 7.1 整體設計 7.1.1 整體框架 7.1.2 系統流程 7.2 開發環境 7.2.1 安裝Node.js 7.2.2 安裝pnpm 7.2.3 環境配置 7.2.4 建立專案 7.2.5 大模型API 申請 7.3 系統實現 7.3.1 頭部 7.3.2 樣式 7.3.3 主體 7.3.4 main.js 指令稿 7.4 功能測試 7.4.1 執行專案 7.4.2 發送問題及回應 ▌第8 章 產品推薦 8.1 整體設計 8.1.1 整體框架 8.1.2 系統流程 8.2 開發環境 8.2.1 安裝PyCharm 8.2.2 環境配置 8.2.3 大模型API 申請 8.3 系統實現 8.3.1 頭部 8.3.2 樣式 8.3.3 主體 8.3.4 App.py 8.4 功能測試 8.4.1 執行專案 8.4.2 發送問題及回應 ▌第9 章 重生之水滸穿越 9.1 整體設計 9.1.1 整體框架 9.1.2 系統流程 9.2 開發環境 9.2.1 安裝Python 9.2.2 安裝Anaconda 9.2.3 環境配置 9.2.4 大模型API 申請 9.3 系統實現 9.3.1 main.py 9.3.2 utils.py 9.4 功能測試 9.4.1 執行專案 9.4.2 發送問題及回應 ▌第10 章 小說創作 10.1 整體設計 10.1.1 整體框架 10.1.2 系統流程 10.2 開發環境 10.2.1 安裝Python 10.2.2 安裝PyCharm 10.2.3 環境配置 10.2.4 建立專案 10.2.5 大模型API 申請 10.3 系統實現 10.3.1 頭部引入 10.3.2 關鍵函式 10.3.3 視窗實現 10.3.4 Spark API 10.4 功能測試 10.4.1 執行專案 10.4.2 發送問題及回應 ▌第11 章 情緒分析 11.1 整體設計 11.1.1 整體框架 11.1.2 系統流程 11.2 開發環境 11.2.1 安裝Anaconda 11.2.2 安裝Tkinter 和OpenAI 函式庫 11.2.3 編輯器環境配置 11.2.4 大模型API 申請 11.3 系統實現 11.3.1 guitest.ipynb 11.3.2 omgtest.ipynb 11.3.3 omgloop.ipynb 11.3.4 main.py 11.4 功能測試 11.4.1 執行專案 11.4.2 發送問題及回應 ▌第12 章 文字轉影像 12.1 整體設計 12.1.1 整體框架 12.1.2 系統流程 12.2 開發環境 12.2.1 安裝Python 12.2.2 安裝PyCharm 12.2.3 安裝PyWebIO 函式庫 12.2.4 大模型API 申請 12.3 系統實現 12.3.1 獲得驗證參數 12.3.2 主程式 12.4 功能測試 12.4.1 執行專案 12.4.2 發送問題及回應 ▌第13 章 足球資訊 13.1 整體設計 13.1.1 整體框架 13.1.2 系統流程 13.2 開發環境 13.2.1 安裝Python 函式庫 13.2.2 大模型API 申請 13.3 系統實現 13.3.1 soccerhelper.py 13.3.2 mainWindow.py 13.3.3 SparkAPI.py 13.4 功能測試 13.4.1 執行專案 13.4.2 發送問題及回應 ▌第14 章 圖書館檢索 14.1 整體設計 14.1.1 整體框架 14.1.2 系統流程 14.2 開發環境 14.2.1 安裝PyCharm 14.2.2 建立Python 虛擬環境 14.2.3 安裝資料庫 14.2.4 建立專案 14.2.5 大模型API 申請 14.3 系統實現 14.3.1 前端HTML 檔案 14.3.2 視圖檔案views.py 14.4 功能測試 14.4.1 成果展示 14.4.2 後端日誌監控 14.4.3 大模型API 呼叫情況 ▌第15 章 音色轉換 15.1 整體設計 15.1.1 整體框架 15.1.2 系統流程 15.2 開發環境 15.2.1 配置PyCharm 解譯器 15.2.2 安裝Python 套件 15.2.3 環境配置 15.2.4 大模型API 申請 15.3 系統實現 15.3.1 視窗設計 15.3.2 呼叫音色轉換 15.3.3 檔案格式轉換 15.3.4 視窗前端和後端業務邏輯連接 15.4 功能測試 15.4.1 執行專案 15.4.2 專案輸出 ▌第16 章 智慧換臉 16.1 整體設計 16.1.1 整體框架 16.1.2 系統流程 16.2 開發環境 16.2.1 安裝Python 函式庫 16.2.2 建立專案 16.2.3 大模型API 申請 16.3 系統實現 16.3.1 主介面類別DisplayWindow 16.3.2 子介面SecondWindow 16.3.3 子介面ThirdWindow 16.3.4 子介面ForthWindow 類別 16.3.5 執行緒類別VideoThread 16.3.6 執行緒類別APICaller 16.3.7 執行緒類別MonitorThread 16.3.8 其他類別FolderHandler 16.3.9 requests.py 檔案 16.4 功能測試 16.4.1 執行專案 16.4.2 拍照 16.4.3 選擇本地影像 16.4.4 搜尋目標人臉 16.4.5 換臉 ▌第17 章 留學文書 17.1 整體設計 17.1.1 整體框架 17.1.2 系統流程 17.2 開發環境 17.2.1 安裝Node.js 17.2.2 安裝Vue.js 17.2.3 大模型API 申請 17.3 系統實現 17.3.1 API.js 17.3.2 headBar.vue 17.3.3 index.vue 17.3.4 App.vue 17.4 功能測試 17.4.1 執行專案 17.4.2 發送問題及回應 ▌第18 章 寵物幫手 18.1 整體設計 18.1.1 整體框架 18.1.2 系統流程 18.2 開發環境 18.2.1 安裝Node.js 18.2.2 安裝pnpm 18.2.3 環境配置 18.2.4 建立專案 18.2.5 大模型API 申請 18.3 系統實現 18.3.1 頭部 18.3.2 樣式style.css 18.3.3 樣式one.css 18.3.4 主體 18.3.5 其餘檔案的主體 18.3.6 main.js 指令稿 18.4 功能測試 18.4.1 執行專案 18.4.2 發送問題及回應 ▌第19 章 使用者評價 19.1 整體設計 19.1.1 整體框架 19.1.2 系統流程 19.2 開發環境 19.2.1 安裝PyCharm 19.2.2 安裝urllib 19.2.3 環境配置 19.2.4 建立專案 19.3 系統實現 19.3.1 匯入執行函式庫 19.3.2 獲得Stoken 19.3.3 獲得回答 19.3.4 主函式 19.4 功能測試 19.4.1 執行專案 19.4.2 發送問題及回應 ▌第20 章 旅遊圖鑑 20.1 整體設計 20.1.1 整體框架 20.1.2 系統流程 20.2 開發環境 20.2.1 安裝Node.js 20.2.2 安裝pnpm 20.2.3 環境配置 20.2.4 建立專案 20.2.5 大模型API 申請 20.3 系統實現 20.3.1 頭部 20.3.2 樣式 20.3.3 主體 20.3.4 main.js 指令稿 20.4 功能測試 20.4.1 執行專案 20.4.2 發送問題及回應 ▌第21 章 文案助手 21.1 整體設計 21.1.1 整體框架 21.1.2 系統流程 21.2 開發環境 21.2.1 安裝Python 21.2.2 安裝PyCharm 21.2.3 安裝PyWebIO 函式庫 21.2.4 大模型API 申請 21.3 系統實現 21.3.1 主程式 21.3.2 API 通訊 21.4 功能測試 21.4.1 執行專案 21.4.2 發送問題及回應 ▌第22 章 食譜推薦 22.1 整體設計 22.1.1 整體框架 22.1.2 系統流程 22.2 開發環境 22.2.1 安裝Node.js 22.2.2 安裝pnpm 22.2.3 環境配置 22.2.4 建立專案 22.2.5 大模型API 申請 22.3 系統實現 22.3.1 頭部 22.3.2 樣式 22.3.3 主體 22.3.4 main.js 指令稿 22.4 功能測試 22.4.1 執行專案 22.4.2 發送問題及回應 ▌第23 章 文字糾錯 23.1 整體設計 23.1.1 整體框架 23.1.2 系統流程 23.2 開發環境 23.2.1 安裝Node.js 23.2.2 安裝pnpm 23.2.3 環境配置 23.2.4 建立專案 23.2.5 大模型API 申請 23.3 系統實現 23.3.1 頭部 23.3.2 樣式 23.3.3 主體 23.3.4 main.js 指令稿 23.4 功能測試 23.4.1 執行專案 23.4.2 發送問題及回應 ▌第24 章 網球運動員 24.1 整體設計 24.1.1 整體框架 24.1.2 系統流程 24.2 開發環境 24.2.1 安裝Python 24.2.2 安裝PyCharm 24.2.3 環境配置 24.2.4 大模型API 申請 24.3 系統實現 24.3.1 頭部 24.3.2 樣式 24.3.3 主體 24.3.4 main.py 指令稿 24.4 功能測試 24.4.1 執行專案 24.4.2 發送問題及回應 ▌第25 章 職業推薦 25.1 整體設計 25.1.1 整體框架 25.1.2 系統流程 25.2 開發環境 25.2.1 安裝PyCharm 25.2.2 大模型API 申請 25.3 系統實現 25.3.1 頭部 25.3.2 樣式 25.3.3 主體 25.3.4 App.py 25.4 功能測試 25.4.1 執行專案 25.4.2 發送問題及回應 ▌第26 章 職場助手 26.1 整體設計 26.1.1 整體框架 26.1.2 系統流程 26.2 開發環境 26.2.1 安裝微信開發者工具 26.2.2 安裝MySQL 26.2.3 安裝Navicat 26.2.4 環境配置 26.2.5 專案啟動 26.2.6 大模型API 申請 26.3 系統實現 26.3.1 小程式全域配置 26.3.2 spark 26.3.3 user 26.3.4 後端伺服器 26.4 功能測試 26.4.1 發送問題及回應 26.4.2 查詢歷史記錄 ▌第27 章 手繪圖像辨識 27.1 整體設計 27.1.1 整體框架 27.1.2 系統流程 27.2 開發環境 27.2.1 安裝微信開發者工具 27.2.2 安裝偵錯基礎函式庫 27.2.3 大模型API 申請 27.3 系統實現 27.3.1 畫板組件 27.3.2 主介面的.js 檔案 27.3.3 .wxml 檔案和.wxss 檔案 27.4 功能測試 27.4.1 執行專案 27.4.2 繪製影像獲得回答 ▌第28 章 文獻閱讀 28.1 整體設計 28.1.1 整體框架 28.1.2 系統流程 28.2 開發環境 28.2.1 配置伺服器端 28.2.2 環境配置 28.2.3 大模型API 申請 28.3 系統實現 28.3.1 前端程式 28.3.2 後端程式 28.4 功能測試 ▌第29 章 法律諮詢 29.1 整體設計 29.1.1 整體框架 29.1.2 系統流程 29.2 開發環境 29.2.1 安裝微信開發者工具 29.2.2 大模型API 申請 29.3 系統實現 29.3.1 index.js 29.3.2 index.wxml 29.3.3 index.wxss 29.3.4 hotline.wxml 29.3.5 hotline.wxss 29.3.6 consult.js 29.3.7 consult.wxml 29.3.8 consult.wxss 29.3.9 lawfirm.js 29.3.10 lawfirm.wxml 29.3.11 lawfirm.wxss 29.3.12 App.js 29.3.13 App.json 29.3.14 App.wxss 29.3.15 Project.config.json 29.4 功能測試 29.4.1 執行專案 29.4.2 發送問題及回應 ▌第30 章 文風模擬 30.1 整體設計 30.1.1 整體框架 30.1.2 系統流程 30.2 開發環境 30.2.1 安裝Python 30.2.2 安裝函式庫和模組 30.2.3 建立專案 30.2.4 大模型API 申請 30.3 系統實現 30.3.1 匯入模組和初始化 30.3.2 建立文字標籤及文風選擇 30.3.3 設置按鈕樣式及模型版本 30.3.4 執行Tkinter 主迴圈 30.4 功能測試 30.4.1 執行專案 30.4.2 發送問題及回應
類似書籍推薦給您
【簡介】 【內容特點】 ★大語言模型推薦系統技術架構 ★Transformer與注意力機制應用 ★嵌入生成與人物誌建模模組 ★大規模向量檢索與Faiss整合 ★生成式推薦與RLHF最佳化 ★預訓練模型應用於冷啟動推薦 ★微調技術與LoRA參數調整 ★Prompt工程與上下文學習技術 ★多模態嵌入與CLIP特徵整合 ★多工學習架構與互動式推薦系統 ★排序演算法與Learning-to-Rank應用 ★高併發推薦服務與快取策略設計 ★分散式推理與ONNX模型部署 ★電子商務平台推薦系統專案實作 【內容簡介】 本書針對大語言模型於推薦系統中的應用進行完整拆解，涵蓋從基礎架構設計、嵌入建構、排序演算法到冷啟動處理與互動式推薦等核心模組。內容不僅包括主流技術如Transformer、Faiss、T5與GPT模型，亦涵蓋LoRA、RLHF與Few-shot推薦等進階主題。技術實作部分詳細說明了如何處理人物誌建構、多模態資料整合、向量檢索與模型微調，同時結合分散式推理與高併發部署方式，提供了可落地的工程指引。實務案例涵蓋LangChain對話推薦、電子商務場景應用與推薦效能監控設計，並搭配程式碼範例與框架工具，讓開發者能從需求分析一路實作至部署。此書適合資料工程師、推薦系統開發者與希望導入LLM能力的AI實作者閱讀，能作為系統化構建智慧推薦系統的技術參考資料。 【目錄】 ▌第一部分 理論基礎與技術框架 ►第1 章 大語言模型推薦系統的技術框架 1.1 基本技術詳解 1.1.1 Transformer 架構基礎 1.1.2 注意力機制 1.1.3 大規模向量檢索技術 1.1.4 Prompt 工程與上下文學習技術 1.1.5 計算性能最佳化與並行訓練技術 1.2 大語言模型推薦系統的核心模組 1.2.1 嵌入生成與人物誌建模 1.2.2 嵌入生成模組 1.2.3 召回模組 1.2.4 排序模組 1.2.5 即時推薦與上下文處理模組 1.3 推薦系統的關鍵挑戰與解決技術 1.3.1 資料稀疏性問題 1.3.2 高併發環境詳解 1.4 本章小結 1.5 思考題 ►第2 章 資料處理與特徵工程 2.1 資料清洗與標準化 2.1.1 異質資料格式標準化處理 2.1.2 資料雜訊過濾與異常檢測 2.2 人物誌與物品畫像的建構 2.2.1 使用者興趣特徵生成 2.2.2 基於嵌入向量的物品特徵提取 2.3 特徵互動與場景特徵生成 2.3.1 特徵交叉組合實現 2.3.2 領域知識的上下文特徵增強 2.4 本章小結 2.5 思考題 ▌第二部分 核心技術解析 ►第3 章 嵌入技術在推薦系統中的應用 3.1 使用者行為嵌入生成技術 3.1.1 基於大語言模型的使用者行為編碼 3.1.2 時間序列特徵的嵌入最佳化 3.2 多模態資料嵌入技術 3.2.1 文字、影像與影片嵌入的融合方法 3.2.2 基於CLIP 模型的多模態特徵聯合嵌入 3.3 嵌入向量的儲存與檢索最佳化 3.3.1 使用Faiss 進行高效向量檢索 3.3.2 向量檢索最佳化 3.3.3 文字嵌入向量生成 3.4 自監督嵌入學習方法 3.4.1 自監督學習基本原理 3.4.2 基於對比學習的嵌入生成 3.5 本章小結 3.6 思考題 ►第4 章 生成式推薦：從特徵到內容 4.1 大語言模型生成特徵的技術方法 4.1.1 GPT 生成使用者興趣特徵與物品特徵 4.1.2 T5 模型與文字生成 4.2 大語言模型生成推薦內容 4.2.1 個性化商品描述與廣告文案生成 4.2.2 基於使用者歷史行為生成推薦 4.3 生成式推薦系統的最佳化與評估 4.3.1 推薦生成結果過濾 4.3.2 評估：生成內容與使用者點擊率 4.4 生成約束與RLHF 4.4.1 生成約束在推薦任務中的實現 4.4.2 基於RLHF 的生成品質最佳化技術 4.5 本章小結 4.6 思考題 ►第5 章 預訓練語言模型在推薦系統中的應用 5.1 預訓練語言模型的架構設計 5.1.1 使用PLM 進行使用者與物品的聯合建模 5.1.2 Transformer 架構對推薦效果的提升 5.2 預訓練語言模型在冷啟動推薦中的應用 5.2.1 使用者冷啟動與物品冷啟動的特徵生成 5.2.2 基於上下文學習的冷啟動推薦 5.2.3 利用生成模型建立冷啟動資料 5.3 程式實戰：基於MIND 資料集建構預訓練推薦系統 5.3.1 資料集載入與前置處理 5.3.2 使用者與物品特徵的嵌入生成 5.3.3 預訓練模型的建構與最佳化 5.3.4 推薦結果的推理與評估 5.3.5 模型改進與迭代開發 5.4 本章小結 5.5 思考題 ▌第三部分 模型最佳化與進階技術 ►第6 章 微調技術與個性化推薦 6.1 微調推薦模型的關鍵技術 6.1.1 PEFT 6.1.2 RLHF 6.2 個性化推薦系統的實現 6.2.1 針對長尾使用者的微調策略 6.2.2 微調後推薦系統的效果提升 6.3 案例分析：TALLRec 框架在個性化推薦中的應用 6.3.1 微調模型的訓練與部署 6.3.2 基於使用者行為的個性化推薦實現 6.3.3 TALLRec 的多工學習在推薦中的應用 6.4 參數高效微調（LoRA）的實現與應用 6.4.1 LoRA 技術的具體實現與程式分析 6.4.2 LoRA 最佳化推薦系統的實際案例 6.5 本章小結 6.6 思考題 ►第7 章 上下文學習與直接推薦技術 7.1 大語言模型上下文學習的技術實現 7.1.1 提示詞工程 7.1.2 動態上下文學習與即時推薦 7.2 Prompt 最佳化與自我調整推薦系統 7.2.1 連續Prompt 生成 7.2.2 使用者意圖檢測與自我調整推薦演算法 7.3 基於Few-shot 和Zero-shot 的推薦任務 7.3.1 Few-shot 推薦任務的案例與技術解析 7.3.2 Zero-shot 推薦任務案例分析 7.4 本章小結 7.5 思考題 ►第8 章 多工學習與互動式推薦系統 8.1 多工學習模型的架構設計 8.1.1 多工學習模型在推薦中的應用 8.1.2 多工最佳化 8.2 互動式推薦系統的代理架構 8.2.1 互動式推薦中的Agent 系統簡單實現 8.2.2 使用者即時回饋對推薦模型的動態更新 8.3 實戰案例：基於LangChain 實現對話式推薦 8.3.1 使用者對話驅動的推薦生成 8.3.2 多輪對話中的上下文管理問題 8.3.3 對話與推薦融合 8.3.4 雲端部署LangChain 系統 8.4 本章小結 8.5 思考題 ▌第四部分 實戰與部署 ►第9 章 排序演算法與推薦結果最佳化 9.1 排序演算法的核心技術 9.1.1 Transformer 生成排序特徵的方法 9.1.2 CTR 預測模型 9.2 排序最佳化的程式實現 9.2.1 Wide&Deep 模型排序案例 9.2.2 使用GBDT 進行特徵排序與評分 9.3 基於Learning-to-Rank 的排序最佳化 9.3.1 Pointwise、Pairwise 和Listwise 方法解析 9.3.2 使用Learning-to-Rank 最佳化推薦系統排序的案例 9.4 本章小結 9.5 思考題 ►第10 章 冷啟動問題與長尾問題詳解 10.1 冷啟動問題的技術解決方案 10.1.1 利用大語言模型生成初始使用者行為樣本 10.1.2 新品與冷門內容的長尾推薦 10.2 長尾使用者的動態興趣建模 10.2.1 興趣遷移 10.2.2 基於行為序列的動態特徵生成 10.3 冷啟動推薦的案例分析 10.3.1 冷啟動推薦系統的程式實現 10.3.2 基於大語言模型的物品冷啟動解決方案 10.3.3 長尾內容的推薦最佳化 10.3.4 案例實戰：公眾號冷啟動推薦 10.4 本章小結 10.5 思考題 ►第11 章 推薦系統開發基礎 11.1 推薦系統的分散式架構設計 11.1.1 微服務框架下的推薦模組部署 11.1.2 ONNX 模型轉換與TensorRT 推理加速 11.1.3 分散式向量檢索服務的負載平衡 11.1.4 高可用推薦服務容錯與恢復機制 11.2 推薦服務的高併發最佳化 11.2.1 即時推薦服務的快取機制設計 11.2.2 非同步處理與批次推理的性能提升 11.2.3 動態負載平衡在推薦服務中的應用 11.2.4 使用分散式訊息佇列最佳化高併發推薦串流 11.3 推薦系統的日誌與監控模組 11.3.1 即時監控系統性能與使用者行為資料 11.3.2 日誌擷取與分散式儲存架構 11.3.3 異常檢測與告警系統 11.3.4 推薦效果評估回饋 11.4 本章小結 11.5 思考題 ►第12 章 基於大模型的電子商務平臺推薦系統開發 12.1 專案規劃與系統設計 12.1.1 基於大語言模型的推薦系統整體架構設計 12.1.2 需求分析與功能模組劃分 12.2 資料管理模組 12.2.1 資料獲取、清洗與規範化 12.2.2 使用者與物品特徵生成 12.3 嵌入生成與召回模組開發 12.3.1 基於大模型的嵌入生成 12.3.2 向量檢索與召回 12.4 排序與最佳化模組 12.4.1 CTR 生成式排序模型 12.4.2 使用LTR 最佳化推薦效果 12.5 系統部署與即時服務 12.5.1 模型轉換與ONNX 最佳化 12.5.2 分散式推理服務與API 介面開發 12.5.3 模型微調與部署 12.6 性能監控與日誌分析 12.7 本章小結 12.8 思考題
類似書籍推薦給您
【簡介】 【內容特點】 ★Transformer與MoE架構計算特性 ★模型壓縮技術：量化、剪枝、蒸餾 ★混合精度訓練與分散式訓練架構 ★ONNX與TensorRT格式轉換流程 ★運算圖最佳化：融合、重寫、記憶體配置 ★端側學習與聯邦學習通訊機制 ★IR中介表示與計算圖優化策略 ★動態Batch與記憶體排程機制 ★cuDNN與MKLDNN運算元庫應用 ★CUDA核心函數與GPU記憶體管理 ★Vulkan推理加速與圖形並行整合 ★OpenCL與AVX跨平台加速 ★DeepSeek-V3訓練與推理結構 ★FP8精度訓練與Sigmoid路由演算法 【內容簡介】 本書從工程實作與架構設計的角度出發，系統地整理了大模型在實際部署中的資源瓶頸與解決方案。從Transformer與MoE架構切入，解析其帶來的計算與儲存壓力，並延伸至量化、剪枝、知識蒸餾等主流模型壓縮技術的原理與實作要點。書中不僅整理了各類加速方法，如混合精度訓練、分散式架構與推理引擎建構，還提供跨框架的模型格式轉換範例，涵蓋ONNX、TensorRT等工具鏈整合流程。進一步深入端側學習、IR最佳化與動態Batch記憶體管理等核心技術，並透過cuDNN、MKLDNN、CUDA與Vulkan等元件展示運算元優化的具體實作。本書最大特點是涵蓋理論與部署細節，並以DeepSeek-V3為案例展現整體技術鏈條如何協同降本增效。對於實際從事大模型研發、推理部署或系統最佳化的工程人員而言，是一本兼顧理論深度與實務操作的實用指南。 【目錄】 ▌第一部分 大模型概述與核心最佳化技術 ►第1章 大模型基本概念 1.1 大模型的興起與發展 1.1.1 大規模神經網路 1.1.2 Transformer 編碼器－解碼器 1.1.3 MoE 架構 1.2 運算資源與性能瓶頸 1.2.1 GPU 簡介 1.2.2 TPU 簡介 1.2.3 網路頻寬約束與分散式訓練 1.2.4 大模型的訓練時間與運算資源消耗問題 1.3 資料與隱私問題 1.3.1 急劇增加的資料量 1.3.2 資料隱私保護與符合規範性 1.4 模型部署與運行維護 1.4.1 模型部署基本概念 1.4.2 雲端運算與邊緣計算 1.4.3 端側部署 1.4.4 大模型執行與維護 1.5 本章小結 1.6 思考題 ►第2 章 模型壓縮、訓練與推理 2.1 模型壓縮概述 2.1.1 模型壓縮簡介 2.1.2 常見的模型壓縮方法分類 2.2 訓練加速基礎 2.2.1 資料並行與模型並行 2.2.2 混合精度訓練 2.2.3 分散式訓練框架：Horovod 2.3 推理加速基礎 2.3.1 硬體加速與推理引擎 2.3.2 低延遲與高輸送量平衡 2.3.3 推理最佳化實戰：批次推理 2.4 性能評估指標 2.4.1 計算複雜度與性能指標 2.4.2 延遲、輸送量與精度之間的權衡 2.4.3 評估工具與基準測試 2.5 本章小結 2.6 思考題 ►第3 章 模型格式轉換 3.1 模型格式的定義與轉換 3.1.1 常見的模型格式：ONNX、TensorFlow 的SavedModel 3.1.2 模型格式轉換實現 3.1.3 模型的相容性問題 3.2 跨框架模型轉換 3.2.1 TensorFlow 到PyTorch 的模型轉換 3.2.2 ONNX 與TensorFlow、PyTorch 的相容性 3.2.3 轉換時的精度損失問題 3.3 硬體相關的格式轉換 3.3.1 從PyTorch 到TensorRT 3.3.2 ONNX 模型與NVIDIA TensorRT 的相容性 3.3.3 模型格式與硬體加速的關係 3.4 模型格式轉換的工具與函式庫 3.4.1 使用ONNX 進行跨平臺轉換 3.4.2 TensorFlow Lite 與Edge 模型最佳化 3.5 本章小結 3.6 思考題 ►第4 章 圖最佳化 4.1 運算子融合技術 4.1.1 運算子融合的原理 4.1.2 典型運算子融合演算法的實現 4.1.3 實驗：運算子融合對推理性能的提升 4.2 布局轉換與最佳化 4.2.1 張量布局的原理 4.2.2 記憶體存取最佳化與布局選擇 4.3 運算子替換技術 4.3.1 用低消耗運算子替換高消耗運算子 4.3.2 常見的運算子替換策略 4.4 顯示記憶體最佳化 4.4.1 顯示記憶體佔用分析與最佳化 4.4.2 梯度檢查點與顯示記憶體共用 4.4.3 動態顯示記憶體分配與記憶體池管理 4.5 本章小結 4.6 思考題 ►第5 章 模型壓縮 5.1 量化 5.1.1 定點量化與浮點量化的區別 5.1.2 量化演算法與工具：TensorFlow Lite 5.1.3 量化帶來的精度損失問題 5.2 知識蒸餾 5.2.1 知識蒸餾的基本概念與應用場景 5.2.2 知識蒸餾的損失函式與訓練過程 5.2.3 如何選擇蒸餾－教師網路模型 5.3 剪枝 5.3.1 網路剪枝基本原理 5.3.2 基於權重剪枝與結構化剪枝 5.3.3 剪枝後的精度恢復方案 5.4 二值化與極端壓縮 5.4.1 二值化網路的建構與訓練 5.4.2 二值化對計算與儲存的影響 5.5 本章小結 5.6 思考題 ▌第二部分 端側學習與高效計算引擎最佳化 ►第6 章 端側學習、端側推理及計算引擎最佳化 6.1 聯邦學習概述 6.1.1 聯邦學習的基本概念與應用 6.1.2 聯邦學習中的隱私保護機制、通訊與聚合演算法 6.2 資料處理與前置處理 6.2.1 資料清洗與增廣技術 6.2.2 資料均衡與過採樣策略 6.2.3 端側資料處理的資源限制 6.3 Trainer 與最佳化器設計 6.3.1 端側訓練的挑戰與策略 6.3.2 高效最佳化器（如SGD、Adam）的選擇 6.3.3 動態調整學習率與訓練過程監控 6.4 損失函式的設計與選擇 6.4.1 常見的損失函式與應用場景 6.4.2 多工學習中的損失函式設計 6.4.3 損失函式的數值穩定性 6.5 Benchmark 設計與性能評估 6.5.1 經典Benchmark 與訂製Benchmark 6.5.2 推理與訓練性能的綜合評估 6.5.3 性能瓶頸的辨識與最佳化 6.6 IR 的作用與最佳化 6.6.1 IR 的定義及作用 6.6.2 IR 轉換與最佳化策略 6.7 Schema 的設計與規範 6.7.1 資料格式與模型介面的設計 6.7.2 資料流程與計算圖的規範化 6.8 動態Batch 與記憶體排程 6.8.1 動態Batch 的選擇與調整 6.8.2 記憶體排程與性能最佳化 6.8.3 最佳化記憶體使用率與減少記憶體溢位 6.9 異質執行與最佳化 6.9.1 GPU 與CPU 的異質計算模式原理 6.9.2 多核心與多節點並行最佳化 6.9.3 異質計算中的任務排程 6.10 裝箱操作與計算圖最佳化 6.10.1 透過裝箱減少計算消耗 6.10.2 裝箱最佳化對計算圖的影響 6.11 本章小結 6.12 思考題 ►第7 章 高性能運算子函式庫簡介 7.1 cuDNN 運算子函式庫概述 7.1.1 cuDNN 的主要功能 7.1.2 常用運算子（卷積、池化等）的實現 7.1.3 運算子加速實戰：cuDNN 在深度學習中的應用 7.2 MKLDNN 運算子函式庫概述 7.2.1 MKLDNN 與Intel 硬體的最佳化 7.2.2 MKLDNN 中的高效運算子實現 7.2.3 多核心支援與平行計算最佳化 7.3 運算子函式庫的選擇與性能比較 7.3.1 cuDNN 與MKLDNN 的應用場景對比 7.3.2 在不同硬體平臺上的表現 7.4 運算子函式庫的高效利用 7.4.1 如何選擇合適的運算子函式庫 7.4.2 最佳化運算子函式庫介面與記憶體管理 7.4.3 演算法重構：提高運算子性能 7.5 本章小結 7.6 思考題 ▌第三部分 高性能運算子與深度學習框架應用 ►第8 章 常用高性能運算子開發實戰 8.1 NEON 與ARM 架構最佳化 8.1.1 NEON 指令集與深度學習加速 8.1.2 ARM 架構上的平行計算最佳化 8.1.3 使用NEON 實現卷積等運算子加速 8.2 CUDA 與GPU 最佳化 8.2.1 CUDA 程式設計模型與記憶體管理 8.2.2 CUDA 串流與核心函式最佳化 8.2.3 高效利用GPU 平行計算資源 8.3 Vulkan 與圖形加速 8.3.1 Vulkan 的低階控制與最佳化 8.3.2 使用Vulkan 進行推理加速 8.3.3 圖形與計算並行加速的結合 8.4 AVX 與OpenCL 的最佳化 8.4.1 AVX 與CPU 最佳化的基本原理 8.4.2 OpenCL 與跨平臺加速 8.5 本章小結 8.6 思考題 ►第9 章 TIK、YVM 運算子原理及其應用 9.1 TIK 運算子函式庫的應用 9.1.1 TIK 運算子函式庫與TensorFlow Lite 的整合 9.1.2 使用TIK 進行卷積與矩陣乘法加速 9.2 YVM 運算子函式庫的應用 9.2.1 YVM 在深度學習推理中的高效應用 9.2.2 YVM 的硬體調配與最佳化 9.3 本章小結 9.4 思考題 ►第10 章 基於DeepSeek-V3 分析大模型訓練降本增效技術 10.1 DeepSeek-V3 架構概述 10.1.1 DeepSeek-V3 的架構設計與創新 10.1.2 模型參數共用與層次結構最佳化 10.2 DeepSeek-V3 的訓練降本技術分析 10.2.1 FP8 精度訓練、混合精度訓練與分散式訓練 10.2.2 動態計算圖 10.2.3 自我調整批次處理與梯度累積技術 10.2.4 Sigmoid 路由機制 10.2.5 無輔助損失負載平衡演算法 10.2.6 DualPipe 演算法 10.2.7 All-to-All 跨節點通訊 10.3 DeepSeek-V3 的推理加速技術 10.3.1 量化與蒸餾在DeepSeek-V3 中的應用 10.3.2 模型壓縮與推理速度提升 10.4 本章小結 10.5 思考題
資訊
工程
數學與統計學
機率與統計
自然科學
健康科學
地球與環境
建築、設計與藝術
人文與社會科學
教育
語言學習與考試
法律
會計與財務
大眾傳播
觀光與休閒餐旅
考試用書
研究方法
商業與管理
經濟學
心理學
生活
生活風格商品
參考書/測驗卷/輔材
