【簡介】 台灣大學電機工程學系 李宏毅教授 ～專文推薦～ 很高興看到Datawhale的王琦、楊毅遠、江季等同學將我的線上錄影轉化為可閱讀的教材，他們的努力使我的教學內容能接觸更多學子。希望這本書能幫助更多人探索深度學習領域，激發更多學子對這個領域的興趣和熱情。 ■ 名師授課精華，一本掌握深度學習核心觀念 台灣大學電機工程學系李宏毅教授開設的「機器學習」與「生成式AI」課程在YouTube上廣受歡迎，累積超過30萬訂閱，影響力橫跨學界與業界。 本書依據李宏毅教授「機器學習」課程中與深度學習相關的內容編寫，並融合近年課程更新重點，為AI學習者提供最完整、最系統化的深度學習知識架構。 ■ 從基礎到進階，完整呈現深度學習關鍵知識 內容包括了深度學習的基礎知識、類神經網路的訓練技巧、生成模型、自監督學習（包括 BERT 和 GPT）、擴散模型、元學習、神經網路壓縮等。此外，還探討了如何解決類神經網路訓練中的常見問題，如局部最小值、鞍點、批次與動量、自動調整學習速率等。 ■ 理論實務兼具，打造易懂又實用的學習體驗 在理論嚴謹的基礎上，本書保留了課程中大量生動有趣的例子，幫助讀者從生活化的角度瞭解深度學習的概念、建模過程與核心演算法細節。適合對深度學習感興趣，想要入門深度學習的讀者閱讀，更可作為深度學習相關課程的教材。 王琦 上海交通大學人工智能教育部重點實驗室博士研究生，碩士畢業於中國科學院大學。Datawhale成員，《Easy RL：強化學習教程》作者，英特爾邊緣計算創新大使，Hugging Face社區志願者，AI TIME成員。主要研究方向為強化學習、計算機視覺、深度學習。曾獲「中國光谷．華為杯」第十九屆中國研究生數學建模競賽二等獎、中國大學生計算機設計大賽二等獎、亞太地區大學生數學建模競賽（APMCM）二等獎，並發表多篇SCI/EI論文。 楊毅遠 牛津大學計算機系博士研究生，碩士畢業於清華大學。Datawhale成員，《Easy RL：強化學習教程》作者。主要研究方向為時間序列、資料探勘、智能傳感系統及深度學習。曾獲中國國家獎學金、北京市優秀畢業生、清華大學優秀碩士學位論文及中國大學生智能汽車競賽總冠軍等榮譽，並發表多篇SCI/EI論文。 江季 網易高級算法工程師，碩士畢業於北京大學。Datawhale成員，《Easy RL：強化學習教程》作者。主要研究方向為強化學習、深度學習、大模型及機器人等。曾獲中國國家獎學金、上海市優秀畢業生等榮譽，並取得多項強化學習與遊戲AI相關專利。 【目錄】 chapter 1 機器學習基礎 1.1 案例學習 1.2 線性模型 chapter 2 實踐方法論 2.1 模型偏差 2.2 最佳化問題 2.3 過擬合 2.4 交叉驗證 2.5 不匹配 chapter 3 深度學習基礎 3.1 局部最小值與鞍點 3.2 批次和動量 3.3 自適化學習率 3.4 學習率排程 3.5 最佳化總結 3.6 分類 3.7 批次正規化 chapter 4 卷積神經網路 4.1 觀察 1：檢測模式不需要整幅圖片 4.2 簡化 1：感知域 4.3 觀察 2：同樣的模式可能出現在圖片的不同區域 4.4 簡化 2：共用參數 4.5 簡化 1 和簡化 2 的總結 4.6 觀察 3：降取樣不影響模式檢測 4.7 簡化 3：池化 4.8 卷積神經網路的應用：下圍棋 chapter 5 遞迴神經網路 5.1 獨熱編碼 5.2 什麼是 RNN 5.3 RNN 架構 5.4 其他 RNN 5.5 LSTM 網路原理 5.6 RNN 的學習方式 5.7 如何解決 RNN 的梯度消失或梯度爆炸問題 5.8 RNN 的其他應用 chapter 6 自注意力機制 6.1 輸入是向量序列的情況 6.2 自注意力機制的運作原理 6.3 多頭自注意力 6.4 位置編碼 6.5 截斷自注意力 6.6 對比自注意力與卷積神經網路 6.7 對比自注意力與遞迴神經網路 chapter 7 Transformer 7.1 序列到序列模型 7.2 Transformer 結構 7.3 Transformer 編碼器 7.4 Transformer 解碼器 7.5 編碼器—解碼器注意力 7.6 Transformer 的訓練過程 7.7 序列到序列模型訓練常用技巧 chapter 8 生成模型 8.1 生成對抗網路 8.2 生成器與判別器的訓練過程 8.3 GAN 的應用案例 8.4 GAN 的理論介紹 8.5 WGAN 演算法 8.6 GAN 訓練的困難點與技巧 8.7 GAN 的效能評估方法 8.8 條件型生成 8.9 CycleGAN chapter 9 擴散模型 9.1 擴散模型產生圖片的過程 9.2 降噪模組 9.3 訓練雜訊預測器 chapter 10 自監督學習 10.1 BERT 10.2 GPT chapter 11 自動編碼器 11.1 自動編碼器的概念 11.2 為什麼需要自動編碼器 11.3 降噪自動編碼器 11.4 自動編碼器應用之特徵解離 11.5 自動編碼器應用之離散隱性表徵 11.6 自動編碼器的其他應用 chapter 12 對抗式攻擊 12.1 對抗式攻擊簡介 12.2 如何進行網路攻擊 12.3 快速梯度符號法 12.4 白箱攻擊與黑箱攻擊 12.5 其他模態資料被攻擊案例 12.6 現實世界中的攻擊 12.7 防禦方式中的被動防禦 12.8 防禦方式中的主動防禦 chapter 13 轉移學習 13.1 領域偏移 13.2 領域自適應 13.3 領域概化 chapter 14 增強式學習 14.1 增強式學習的應用 14.2 增強式學習框架 14.3 評價動作的標準 chapter 15 元學習 15.1 元學習的概念 15.2 元學習的三個步驟 15.3 元學習與機器學習 15.4 元學習的實例演算法 15.5 元學習的應用 chapter 16 終身學習 16.1 災難性遺忘 16.2 終身學習的評估方法 16.3 終身學習問題的主要解法 1chapter 17 網路壓縮 17.1 網路修剪 17.2 知識蒸餾 17.3 參數量化 17.4 網路架構設計 17.5 動態計算 chapter 18 可解釋性機器學習 18.1 可解釋性人工智慧的重要性 18.2 決策樹模型的可解釋性 18.3 可解釋性機器學習的目標 18.4 可解釋性機器學習中的局部解釋 18.5 可解釋性機器學習中的全局解釋 18.6 擴充與小結 chapter 19 ChatGPT 19.1 ChatGPT 簡介和功能 19.2 對 ChatGPT 的誤解 19.3 ChatGPT 背後的關鍵技術—預訓練 19.4 ChatGPT 帶來的研究問題