| 書名: | 更少GPU卻更強 - LLM輕量化壓縮及加速訓練 (1版) | |||
| 作者: | 梁志遠 | |||
| 版次: | 1 | |||
| ISBN: | 9786267757604 | |||
| 出版社: | 深智數位 | |||
| 出版日期: | 2025/12 | |||
| 頁數: | 552 | |||
|
#資訊
#AI人工智慧與機器學習 |
||||
【簡介】 【內容特點】 ★Transformer與MoE架構計算特性 ★模型壓縮技術：量化、剪枝、蒸餾 ★混合精度訓練與分散式訓練架構 ★ONNX與TensorRT格式轉換流程 ★運算圖最佳化：融合、重寫、記憶體配置 ★端側學習與聯邦學習通訊機制 ★IR中介表示與計算圖優化策略 ★動態Batch與記憶體排程機制 ★cuDNN與MKLDNN運算元庫應用 ★CUDA核心函數與GPU記憶體管理 ★Vulkan推理加速與圖形並行整合 ★OpenCL與AVX跨平台加速 ★DeepSeek-V3訓練與推理結構 ★FP8精度訓練與Sigmoid路由演算法 【內容簡介】 本書從工程實作與架構設計的角度出發，系統地整理了大模型在實際部署中的資源瓶頸與解決方案。從Transformer與MoE架構切入，解析其帶來的計算與儲存壓力，並延伸至量化、剪枝、知識蒸餾等主流模型壓縮技術的原理與實作要點。書中不僅整理了各類加速方法，如混合精度訓練、分散式架構與推理引擎建構，還提供跨框架的模型格式轉換範例，涵蓋ONNX、TensorRT等工具鏈整合流程。進一步深入端側學習、IR最佳化與動態Batch記憶體管理等核心技術，並透過cuDNN、MKLDNN、CUDA與Vulkan等元件展示運算元優化的具體實作。本書最大特點是涵蓋理論與部署細節，並以DeepSeek-V3為案例展現整體技術鏈條如何協同降本增效。對於實際從事大模型研發、推理部署或系統最佳化的工程人員而言，是一本兼顧理論深度與實務操作的實用指南。 【目錄】 ▌第一部分 大模型概述與核心最佳化技術 ►第1章 大模型基本概念 1.1 大模型的興起與發展 1.1.1 大規模神經網路 1.1.2 Transformer 編碼器－解碼器 1.1.3 MoE 架構 1.2 運算資源與性能瓶頸 1.2.1 GPU 簡介 1.2.2 TPU 簡介 1.2.3 網路頻寬約束與分散式訓練 1.2.4 大模型的訓練時間與運算資源消耗問題 1.3 資料與隱私問題 1.3.1 急劇增加的資料量 1.3.2 資料隱私保護與符合規範性 1.4 模型部署與運行維護 1.4.1 模型部署基本概念 1.4.2 雲端運算與邊緣計算 1.4.3 端側部署 1.4.4 大模型執行與維護 1.5 本章小結 1.6 思考題 ►第2 章 模型壓縮、訓練與推理 2.1 模型壓縮概述 2.1.1 模型壓縮簡介 2.1.2 常見的模型壓縮方法分類 2.2 訓練加速基礎 2.2.1 資料並行與模型並行 2.2.2 混合精度訓練 2.2.3 分散式訓練框架：Horovod 2.3 推理加速基礎 2.3.1 硬體加速與推理引擎 2.3.2 低延遲與高輸送量平衡 2.3.3 推理最佳化實戰：批次推理 2.4 性能評估指標 2.4.1 計算複雜度與性能指標 2.4.2 延遲、輸送量與精度之間的權衡 2.4.3 評估工具與基準測試 2.5 本章小結 2.6 思考題 ►第3 章 模型格式轉換 3.1 模型格式的定義與轉換 3.1.1 常見的模型格式：ONNX、TensorFlow 的SavedModel 3.1.2 模型格式轉換實現 3.1.3 模型的相容性問題 3.2 跨框架模型轉換 3.2.1 TensorFlow 到PyTorch 的模型轉換 3.2.2 ONNX 與TensorFlow、PyTorch 的相容性 3.2.3 轉換時的精度損失問題 3.3 硬體相關的格式轉換 3.3.1 從PyTorch 到TensorRT 3.3.2 ONNX 模型與NVIDIA TensorRT 的相容性 3.3.3 模型格式與硬體加速的關係 3.4 模型格式轉換的工具與函式庫 3.4.1 使用ONNX 進行跨平臺轉換 3.4.2 TensorFlow Lite 與Edge 模型最佳化 3.5 本章小結 3.6 思考題 ►第4 章 圖最佳化 4.1 運算子融合技術 4.1.1 運算子融合的原理 4.1.2 典型運算子融合演算法的實現 4.1.3 實驗：運算子融合對推理性能的提升 4.2 布局轉換與最佳化 4.2.1 張量布局的原理 4.2.2 記憶體存取最佳化與布局選擇 4.3 運算子替換技術 4.3.1 用低消耗運算子替換高消耗運算子 4.3.2 常見的運算子替換策略 4.4 顯示記憶體最佳化 4.4.1 顯示記憶體佔用分析與最佳化 4.4.2 梯度檢查點與顯示記憶體共用 4.4.3 動態顯示記憶體分配與記憶體池管理 4.5 本章小結 4.6 思考題 ►第5 章 模型壓縮 5.1 量化 5.1.1 定點量化與浮點量化的區別 5.1.2 量化演算法與工具：TensorFlow Lite 5.1.3 量化帶來的精度損失問題 5.2 知識蒸餾 5.2.1 知識蒸餾的基本概念與應用場景 5.2.2 知識蒸餾的損失函式與訓練過程 5.2.3 如何選擇蒸餾－教師網路模型 5.3 剪枝 5.3.1 網路剪枝基本原理 5.3.2 基於權重剪枝與結構化剪枝 5.3.3 剪枝後的精度恢復方案 5.4 二值化與極端壓縮 5.4.1 二值化網路的建構與訓練 5.4.2 二值化對計算與儲存的影響 5.5 本章小結 5.6 思考題 ▌第二部分 端側學習與高效計算引擎最佳化 ►第6 章 端側學習、端側推理及計算引擎最佳化 6.1 聯邦學習概述 6.1.1 聯邦學習的基本概念與應用 6.1.2 聯邦學習中的隱私保護機制、通訊與聚合演算法 6.2 資料處理與前置處理 6.2.1 資料清洗與增廣技術 6.2.2 資料均衡與過採樣策略 6.2.3 端側資料處理的資源限制 6.3 Trainer 與最佳化器設計 6.3.1 端側訓練的挑戰與策略 6.3.2 高效最佳化器（如SGD、Adam）的選擇 6.3.3 動態調整學習率與訓練過程監控 6.4 損失函式的設計與選擇 6.4.1 常見的損失函式與應用場景 6.4.2 多工學習中的損失函式設計 6.4.3 損失函式的數值穩定性 6.5 Benchmark 設計與性能評估 6.5.1 經典Benchmark 與訂製Benchmark 6.5.2 推理與訓練性能的綜合評估 6.5.3 性能瓶頸的辨識與最佳化 6.6 IR 的作用與最佳化 6.6.1 IR 的定義及作用 6.6.2 IR 轉換與最佳化策略 6.7 Schema 的設計與規範 6.7.1 資料格式與模型介面的設計 6.7.2 資料流程與計算圖的規範化 6.8 動態Batch 與記憶體排程 6.8.1 動態Batch 的選擇與調整 6.8.2 記憶體排程與性能最佳化 6.8.3 最佳化記憶體使用率與減少記憶體溢位 6.9 異質執行與最佳化 6.9.1 GPU 與CPU 的異質計算模式原理 6.9.2 多核心與多節點並行最佳化 6.9.3 異質計算中的任務排程 6.10 裝箱操作與計算圖最佳化 6.10.1 透過裝箱減少計算消耗 6.10.2 裝箱最佳化對計算圖的影響 6.11 本章小結 6.12 思考題 ►第7 章 高性能運算子函式庫簡介 7.1 cuDNN 運算子函式庫概述 7.1.1 cuDNN 的主要功能 7.1.2 常用運算子（卷積、池化等）的實現 7.1.3 運算子加速實戰：cuDNN 在深度學習中的應用 7.2 MKLDNN 運算子函式庫概述 7.2.1 MKLDNN 與Intel 硬體的最佳化 7.2.2 MKLDNN 中的高效運算子實現 7.2.3 多核心支援與平行計算最佳化 7.3 運算子函式庫的選擇與性能比較 7.3.1 cuDNN 與MKLDNN 的應用場景對比 7.3.2 在不同硬體平臺上的表現 7.4 運算子函式庫的高效利用 7.4.1 如何選擇合適的運算子函式庫 7.4.2 最佳化運算子函式庫介面與記憶體管理 7.4.3 演算法重構：提高運算子性能 7.5 本章小結 7.6 思考題 ▌第三部分 高性能運算子與深度學習框架應用 ►第8 章 常用高性能運算子開發實戰 8.1 NEON 與ARM 架構最佳化 8.1.1 NEON 指令集與深度學習加速 8.1.2 ARM 架構上的平行計算最佳化 8.1.3 使用NEON 實現卷積等運算子加速 8.2 CUDA 與GPU 最佳化 8.2.1 CUDA 程式設計模型與記憶體管理 8.2.2 CUDA 串流與核心函式最佳化 8.2.3 高效利用GPU 平行計算資源 8.3 Vulkan 與圖形加速 8.3.1 Vulkan 的低階控制與最佳化 8.3.2 使用Vulkan 進行推理加速 8.3.3 圖形與計算並行加速的結合 8.4 AVX 與OpenCL 的最佳化 8.4.1 AVX 與CPU 最佳化的基本原理 8.4.2 OpenCL 與跨平臺加速 8.5 本章小結 8.6 思考題 ►第9 章 TIK、YVM 運算子原理及其應用 9.1 TIK 運算子函式庫的應用 9.1.1 TIK 運算子函式庫與TensorFlow Lite 的整合 9.1.2 使用TIK 進行卷積與矩陣乘法加速 9.2 YVM 運算子函式庫的應用 9.2.1 YVM 在深度學習推理中的高效應用 9.2.2 YVM 的硬體調配與最佳化 9.3 本章小結 9.4 思考題 ►第10 章 基於DeepSeek-V3 分析大模型訓練降本增效技術 10.1 DeepSeek-V3 架構概述 10.1.1 DeepSeek-V3 的架構設計與創新 10.1.2 模型參數共用與層次結構最佳化 10.2 DeepSeek-V3 的訓練降本技術分析 10.2.1 FP8 精度訓練、混合精度訓練與分散式訓練 10.2.2 動態計算圖 10.2.3 自我調整批次處理與梯度累積技術 10.2.4 Sigmoid 路由機制 10.2.5 無輔助損失負載平衡演算法 10.2.6 DualPipe 演算法 10.2.7 All-to-All 跨節點通訊 10.3 DeepSeek-V3 的推理加速技術 10.3.1 量化與蒸餾在DeepSeek-V3 中的應用 10.3.2 模型壓縮與推理速度提升 10.4 本章小結 10.5 思考題
還沒有人留下心得，快來搶頭香！
為您推薦
相關熱銷的書籍推薦給您
書名：人工智慧：智慧型系統導論(第三版) 作者：李聯旺 出版社：全華 ISBN：9789862800959
相關熱銷的書籍推薦給您
書名：機器學習：類神經網路、模糊系統以及基因演算法則(第四版) 作者：蘇木春、張孝德 出版社：全華 出版日期：2016/05/00 ISBN：9789864632060 內容簡介 ■ 本書優點特色 1.將三種與機械學習相關的技術-類神經網路、模糊系統及基因演繹法作一通盤介紹。 2.以深入淺出的方式建立類神經網路與生物神經網路的關聯性，以便讓讀者更能發揮想像力。 3.每一種理論都儘可能配合書中範例及圖表加以說明。 ■ 內容簡介 本書將三種與機械學習相關的技術-類神經網路、模糊系統及基因演繹法作一通盤介紹。此外，作者以深入淺出的方式建立類神經網路與生物神經網路的關聯性，以便讓讀者更能發揮想像力。 目錄 第1章 類神經網路之簡介 第2章 感知機 第3章 多層感知機 第4章 非監督式類神經網路 第5章 聯想記憶 第6章 增強式學習 第7章 模糊集合 第8章 模糊關係及推論 第9章 模糊系統 第10章 基因演算法則
類似書籍推薦給您
【簡介】 ★ 破解「跳出舒適圈」的迷思 ★ 舒適圈並非危險的地方！這本改變典範的指南要告訴你如何利用快樂、創造力和輕鬆自在的力量，為打造最美好的生活奠定基礎。 內附線上別冊【留在舒適圈更成功的27個簡單練習】，一步步讓你邁向真正熱愛的人生 ＊打開本書前，請準備好忘掉大家告訴你關於「舒適圈」的一切！ 1. 舒適圈是你懶得採取行動而自滿待著的地方。（x） 2. 舒適圈會阻礙你實現夢想生活。（x） 3. 你處於舒適的狀態，就不會成長。（x） 4. 「跳脫舒適圈」，得用奮力、痛苦、堅忍去生活，才能成功。（x） 5. 沒有痛苦就沒有收穫，沒有踏出舒適圈的成功是可恥的。（x） 6. 你待在舒適圈裡就不可能做到高生產力。（x） 7. 你要先跨出舒適圈，才會意識到自己的潛力。（x） 8. 如果你感到舒適，表示你是在欺騙自己。（x） 9. 待在舒適圈裡，你的夢想就會死去。（x） 10. 如果你想擁有美好人生，就一定要跨出舒適圈。（x） ＊上述的說法若是錯的，那舒適圈的真面目是什麼呢？ 作者克莉絲汀認為，舒適圈是成長、可能性與喜悅的真正源頭，而且待在舒適圈的心態，是健康、自信、快樂、信念、放鬆、成功……。 →只要透過3個步驟、27個練習，我們就可以運用舒適圈所獲得的能量，取得巨大的成功。 ＊大家都說，待在舒適圈就是不知長進，為何要待在舒適圈裡？ 作者要告訴你，「沒有什麼地方會比在舒適圈時更快、更省力的取得成功。」她寫道：「我在舒適圈內生活，因此取得比想像中更多的成功，而且我沒有因此感到過於勞累或因此妥協，你也可以。」 →待在舒適圈，你會充滿安全感、信心、愉悅，且自然地展現自己，這時的你力量最大，嘗試新事物成功的動力最滿，能順利取得更多的成功。 ＊用「舒適圈流程」3步驟，更快成功！ 步驟1：定義你所在的地方 我們的人生狀態有三種圈子，依序是舒適圈、生存圈和自滿圈。作者認為，我們待在舒適圈，才能將自己的力量發揮到最大。首先，要找出自己現居在哪一個圈子，再找到自己的舒適圈，逐漸往舒適圈移動。 在這步驟，一旦進入舒適圈，你會感受到「安全感」「展現力（充分展現自己）」「愉快感」「勇氣」。 步驟2：擬定你前往的地方 居處「舒適圈」，你將會獲得上述四種感受。那你要怎麼前往「自己想去的地方/夢想」（擴展舒適圈）。作者認為，先想像「擴展的自我」，然後製作「舒適圈願景板」去一步步實現。 在這步驟，要善用「言詞」與引導「內心的情緒」，才能幫助自己實現夢想或擴展舒適圈。 步驟3：指引抵達的方式 就空間看來，步驟3其實不在最後，它是連結步驟1和2的橋梁，因為指引抵達的地方，需要先知道出發點和終點。當你清楚自己的所在地與前往地，步驟3就會出現有成效的行動，把你帶到內心真正渴望的目的地。 在這步驟，要特別關注自己的「心理習慣」！它會影響你的念頭與現實。 特別注意：依循這三大步驟，做練習的時候，請千萬注意，不要指責自己！ ＊知道留在舒適圈更快成功的步驟後，你需要更多練習 作者用自身的經驗出發，在每章節後附上練習，共27個，從信念、目標、畫下界線、對焦習慣、養成良好思維等，無一缺漏。跟著這27個練習，你將會迎來自己真正熱愛的美好人生。 ＊隨時檢驗你的狀態：總有痛苦、恐懼的時候，這時我離開了舒適圈嗎？ 有五種情緒可以用來判斷我們是否離開舒適圈，如果你感受到其中一種情緒，就該知道你的鏡頭要向內轉，審視內在狀態，好讓自己返回舒適圈。 這五種情緒分別是：困惑、嫉妒、身體的疼痛或損傷、不堪負荷和焦慮。 你若想成為「過著快樂又圓滿生活的成功人士」，這本書將會是你的人生指南。 【目錄】 序言 Part I為什麼舒適感很重要？ 第 1 章 「一定要跨出舒適圈」是錯的 第 2 章 你的信念讓你感到不適 第 3 章 人生狀態有三種圈子 第 4 章 跨出舒適圈的後果 第 5 章 夠舒適才能邁向成功 Part II 用「舒適圈流程」來創造人生 步驟1：定義你所在的地方 第 6 章 找到舒適圈，就能找回自我 第 7 章 舒適圈裡有安全感 第 8 章 舒適圈裡可展現真實樣貌 第 9 章 舒適圈裡充滿愉快感 第10章 舒適圈裡蓄滿勇氣 步驟2：擬定你前往的地方 第11章 你希望自己成為什麼樣貌？ 第12章 製作舒適圈版本的願景板 第13章 利用言詞的力量打造美好人生 第14章 微調內心情緒以留在舒適圈內 步驟3：指引「抵達的方式」 第15章 適應新事物、擴展舒適圈的方式 第16章 利用「身分認同」改變習慣 第17章 善用「心理習慣」前往你想去的地方 第18章 發揮「關係」的力量續留舒適圈 Part III 成為舒適圈專家 第19章 兩方法加強愈來愈舒適的動力流 第20章 用「內在的確知」在舒適圈中站穩 第21章 掌握舒適圈兩區域就掌握成功的祕訣 第22章 待在舒適圈裡活出美好人生 參考資料 致謝
類似書籍推薦給您
【簡介】 30 個人事管理最常遇到的問題，超白話釐清勞動法規紅線 解決中小企業、新創團隊、小型工作室經營者難自理的勞資爭議 老闆要求員工打疫苗、快篩合法嗎？ 居家工作期間能在員工電腦上裝監視程式嗎？颱風假也要照放嗎？ 員工每天早到晚退留在公司處理私事，老闆還必須給加班費？ 美髮店員工每天遲到，可以用扣薪處罰她嗎？ 老闆應徵「廚房阿姨」、「保全大叔」居然就觸法？ 這樣管理居然會出事？ 過去沒問題的管理方式，現在卻可能出大事。 老闆每天拚業績還要管人事，哪有時間研究這麼多？ 一本讀懂人事管理的法令紅線，老闆不犯錯，員工更懂自保。 ★《勞動事件法》實施後，最符合簡明實務的解說，不懂法律、新手人資也能快速掌握勞資雙方權益與權力 2020 年 1 月 1 日，《勞動事件法》（以下簡稱《勞事法》）正式上路，加上新冠疫情衝擊，工作環境面臨前所未有的改變，勞資雙方都面臨全新挑戰，許多規範與傳統管理模式相牴觸，而且舉證責任落在資方身上，若雇主、人資或主管對此毫無認識誤觸紅線，很有可能使公司人財兩失；而作為勞方，也該多瞭解這部特別的勞動法令，遇到「職場惡霸」就不用擔心權益受損。 本書作者陳業鑫是台灣唯一同時具有法官、勞動局長、訴願審議委員會主委、金控公司董事、公司治理委員會委員經驗的律師。他運用扎實的勞資背景與經驗，透過勞動事件法上路一年後，最接近勞動現場的案例分享，幫助勞資雙方了解自己的權益，共創雙贏局面。 本書特色 ●不用懂法律、缺乏人資背景也能快速掌握勞資權益：透過 30 個實務案例，從招募、工時與薪資管理、懲戒獎勵到解僱，幫助雇主避開勞資爭議，更能保護公司權益。 ●蒐集經營者最頭痛的管理問題，一一提供安全合法的處理方法：遠距工作如何製作出勤紀錄、管理營業祕密？能以受疫情衝擊為由資遣員工嗎？等，中小型企業，老闆、老闆娘兼人資的經營者最常遇到的管理難題，並於每篇最後提供安全實用的行動建議。 ●法條圖表化，一眼掌握重點，秒懂基礎勞動法令：將複雜難懂的法條表格化，幫助老闆省下爬梳法條的時間，更快、更妥善處理勞資問題，避免不必要的資源損耗。 組織發展不容易，留住人才更困難。 透過30個職場常見勞資糾紛加上行動指南， 讓老闆守住錢財留下人才，員工守護權益不吃虧。 專文推薦 勞動部長 許銘春 全國律師聯合會理事長 陳彥希 社團法人中華人力資源管理協會理事長 薛光揚 遵守勞動法，健全公司勞動規範，就是企業經營成功的不二法門。感謝陳律師的分享與努力，相信此書將能協助企業落實勞動法，正面看待勞動法，進而增進勞工權益，提升企業實力。——勞動部長 許銘春 陳律師把寶貴的經驗收入本書，讓原來對於勞資問題陌生的讀者，可以很快掌握爭議的精髓，對於已有處理勞資問題經驗的讀者，也可以在本書中發現不同的解決方式，獲得啟發。——全國律師聯合會理事長 陳彥希 本書可做為企業經營者、管理者及人力資源工作者的隨身寶典。透過陳律師難能可貴的實務分享，可學習如何免除勞資的爭議，也可以提升企業管理的層次，增加經營的效能，可謂一舉數得。——社團法人中華人力資源管理協會理事長 薛光揚【目錄】 推薦序一 建立勞動法規意識，勞資關係雙贏共榮 推薦序二 勞資關係的簡明實用指引 推薦序三 讓法律從「限制」變「助力」，勞資雙方都獲益 作者序 預防重於治療，勞資糾紛皆可避 寫於書前 強化企業體質、勞資關係重開機的最佳契機 第一章 從招聘到面試——漏財又容易觸法的魔鬼細節 做智力測驗、問犯罪紀錄錯了嗎？ 壓力測試沒做成，反引發歧視糾紛？ 可以雇用外籍生或外籍配偶嗎？ 遇到惡意求職者，不必自認倒楣 別拿試用期當藉口「拗」員工 第二章 差勤與工資的計算——勞資最敏感的神經 工資跟你想得不一樣 遲到扣薪，小心違法！ 早到遲退，難道都算加班嗎？ 在家上班，工時怎麼計算？ 颱風假其實不是「假」 在同屬家族事業的不同企業工作，年資可合併嗎？ 調動員工，須符合五大原則 小型工作室也要應開勞資會議嗎？ 第三章 人資地雷區——懂一點法律，員工利益與公司權益可兩全 別讓「愛之深，責之切」演變為職場霸凌 過度追求，到底算不算職場性騷擾？ 上網爆料有風險，丟飯碗外還可能吃上官司 Line 上提離職，結果無法回收 可以要求員工打疫苗或做特定篩檢嗎？ 斜槓兼職，要看老闆准不准 解僱有身孕的勞工，可能導致更大損失 可以限制員帶槍投靠敵營嗎？ 慫恿同事離職，小心下個打包的是你 第四章 結束僱傭關係——好聚好散的方法 員工做不好，就可以直接炒了他嗎？ 搞「狼性」競爭，小心誤踩紅線 黑天鵝出現，就能要求員工「共體時艱」？ 紅線畫清楚，開鍘犯規員工才有底氣
資訊
工程
數學與統計學
機率與統計
自然科學
健康科學
地球與環境
建築、設計與藝術
人文與社會科學
教育
語言學習與考試
法律
會計與財務
大眾傳播
觀光與休閒餐旅
考試用書
研究方法
商業與管理
經濟學
心理學
生活
生活風格商品
參考書/測驗卷/輔材
