Deep Learning 4｜用Python進行強化學習的開發實作 (1版)

類似書籍推薦給您

本暢銷系列作品的第4本書，這次的主題是強化學習。書中延續此系列的一貫風格，顯示實際的程式碼，讓讀者邊執行邊學習，不依賴外部程式庫，從零開始建置、學習支撐強化學習的基本技術與概念。 從「理論」與「實踐」兩方面著手，仔細解說強化學習這個複雜主題的構成要素，讓讀者確實掌握強化學習的獨特理論。有別於只用公式說明理論的書籍，讀者可以從書中的程式碼，獲得許多意想不到的領悟。 回頁首 斎藤康毅 1984年生於長崎縣對馬，畢業於東京工業大學工學院，東京大學研究所學際情報學府學士課程修畢。現在於企業內從事與電腦視覺、機器學習有關的研究開發工作。1984年生於長崎縣對馬，畢業於東京工業大學工學院，東京大學研究所學際情報學府學士課程修畢。現在於企業內從事與電腦視覺、機器學習有關的研究開發工作。 目錄 第 1 章 吃角子老虎機問題 第 2 章 馬可夫決策過程 第 3 章 貝爾曼方程式 第 4 章 動態規劃法 第 5 章 蒙地卡羅法 第 6 章 TD 法 第 7 章 類神經網路與 Q 學習 第 8 章 DQN 第 9 章 策略梯度法 第 10 章 進階內容 附錄 A 離線策略蒙地卡羅法 附錄 B n 步 TD 法 附錄 C 理解 Double DQN 附錄 D 驗證策略梯度法

從統計思維出發：用Python實作的機器學習範例 (1版)

類似書籍推薦給您

【簡介】 　●機器學習的靈魂：以統計數學為核心說明 　　●全書圖解及歷史來龍去脈完整說明 　　●從步入監督學習之旅開始 　　●最精要的線性迴歸模型 　　●完整講解K近鄰及貝氏推論 　　●邏輯迴歸模型及最大熵模型 　　●決策樹，感知機及支援向量機 　　●EM演算法及Boosting提升方法 　　統計機器學習之旅，從監督學習開始，透過分析已標記的資料集訓練模型，使預測未知資料。最基礎的就是線性迴歸。進一步深入，K近鄰（K-NN）演算法和貝氏推論是統計機器學習中的兩大核心技術。 　　之後則說明邏輯迴歸模型和最大熵模型，兩者專注於分類問題。決策樹、感知機和支援向量機（SVM）則代表了更進階的機器學習模型。決策樹通過構建樹狀結構來進行決策，其直觀性和易於理解的特點使其在解釋性要求較高的場景中非常受歡迎。感知機是一種二分類線性分類器，支援向量機則是一種強大的分類器，透過在特徵空間中找到一個最優分割平面來分離不同類別的數據。 　　最後，EM（期望最大化）演算法和Boosting方法是提升模型性能的高級技術。EM算法通過迭代最佳化來處理。 【目錄】 緒論 0.1本書講什麼，初衷是什麼 0.2貫穿本書的兩大思維模式 0.3這本書決定它還想要這樣 0.4如何使用本書 第 1 章 步入監督學習之旅 1.1機器學習從資料開始 1.2監督學習是什麼 1.3如何評價模型的好壞 1.4損失最小化思想 1.5怎樣理解模型的性能：方差 偏差折中思想 1.6如何選擇最佳模型 1.7本章小結 1.8 習題 第 2 章 線性迴歸模型 2.1探尋線性迴歸模型 2.2最小平方法 2.3線性迴歸模型的預測 2.4擴充部分：嶺迴歸與套索迴歸 2.5案例分析——共用單車資料集 2.6本章小結 2.7 習題 第 3 章 K 近鄰模型 3.1鄰友思想 3.2K 近鄰演算法 3.3最近鄰分類器的誤差率 3.4k 維樹 3.5擴充部分：距離度量學習的 K 近鄰分類器 3.6案例分析——鶯尾花資料集 3.7本章小結 3.8 習題 第 4 章 貝氏推斷 4.1貝氏思想 4.2貝氏分類器 4.3如何訓練貝氏分類器 4.4常用的單純貝氏分類器 4.5擴充部分 4.6案例分析——蘑菇資料集 4.7本章小結 4.8 習題 4.9 閱讀時間：貝氏思想的起源 第 5 章 邏輯迴歸模型 5.1一切始於邏輯函式 5.2邏輯迴歸模型的學習 5.3邏輯迴歸模型的學習演算法 5.4擴充部分 5.5案例分析——離職資料集 5.6本章小結 5.7 習題 5.8 閱讀時間：牛頓法是牛頓提出的嗎 第 6 章 最大熵模型 6.1問世間熵為何物 6.2最大熵思想 6.3最大熵模型的學習問題 6.4模型學習的最最佳化演算法 6.5案例分析——湯圓小例子 6.6本章小結 6.7 習題 6.8 閱讀時間：奇妙的對數 第 7 章 決策樹模型 7.1決策樹中蘊含的基本思想 7.2決策樹的特徵選擇 7.3決策樹的生成演算法 7.4決策樹的剪枝過程 7.5擴充部分：隨機森林 7.6案例分析——帕爾默企鵝資料集 7.7本章小結 7.8 習題 7.9 閱讀時間：經濟學中的基尼指數 第 8 章 感知機模型 8.1感知機制——從邏輯迴歸到感知機 8.2感知機的學習 8.3感知機的最佳化演算法 8.4案例分析——鶯尾花資料集 8.5本章小結 8.6 習題 第 9 章 支援向量機 9.1從感知機到支援向量機 9.2線性可分支援向量機 9.3線性支援向量機 9.4非線性支援向量機 9.5SMO 最佳化方法 9.6案例分析——電離層資料集 9.7本章小結 9.8 習題 第 10 章 EM 演算法 10.1極大似然法與 EM 演算法 10.2EM 演算法的迭代過程 10.3EM 演算法的應用 10.4本章小結 10.5 習題 第 11 章 提升方法 11.1提升方法（Boosting）是一種整合學習方法 11.2起步於 AdaBoost 演算法 11.3提升樹和 GBDT 演算法 11.4擴充部分：XGBoost 演算法 11.5案例分析——波士頓房價資料集 11.6本章小結 11.7 習題 參考文獻 附錄-小冊子 第 1 章 微積分小工具 1.1 凸函式與凹函式 1.2 幾個重要的不等式 1.3 常見的求導公式與求導法則 1.4 泰勒公式 1.5 費馬原理 第 2 章 線性代數小工具 2.1 幾類特殊的矩陣 2.2 矩陣的基本運算 2.3 二次型的矩陣表示 第 3 章 機率統計小工具 3.1 隨機變數 3.2 機率分佈 3.3 數學期望和方差 3.4 常用的幾種分佈 3.5 小技巧—從二項分佈到正態分佈的連續修正 第 4 章 最佳化小工具 4.1 梯度下降法 4.2 牛頓法 4.3 擬牛頓法 4.4 座標下降法 4.5 拉格朗日對偶思想

深度學習的數學地圖: 用Python實作神經網路的數學模型 (1版)

類似書籍推薦給您

【簡介】 『數學 ╳ 深度學習 ╳ Python 三效合一』 深度學習用一句話就可以講完：『用訓練的方式找出一個數學函數，將輸入的資料映射到正確的答案』。重點就在於你如何找出那個對的數學函數！本書將深度學習的數學模型與運算式推導出來之後，還能實際執行 Python 程式幫助瞭解整個運算的過程。 『打開機器學習的黑箱，才發現裏面全都是數學！』 我們常在機器學習 / 深度學習的文章或書中看到線性迴歸、二元分類、多類別分類、和深度學習等名詞，好像要學很多東西！當然，對不懂數學的人確實如此。不過，一旦您理解深度學習底層的數學原理，就會發現原來架構稍微變一下，函數換一下，其實都是系出同門，一通百通啊。 要具備這種能力，你必須會微積分、向量/矩陣運算、多變數函數偏微分、指數/對數函數、以及機率/統計。這些在學校都要花很長的時間學習，然而本書考量到您並非想成為數學家或統計學家，因此從中摘取對深度學習最重要的部分濃縮在前半部，幫助您用最短的時間快速掌握數學能力。 本書是由施威銘研究室監修，適時加上「編註」補充內容幫助理解。如果您行有餘力，還可以繼續閱讀《機器學習的數學基礎：AI、深度學習打底必讀》一書，裏面有更詳細的數學公式推導。 『真正循序漸進，不會一下跳太快』 本書的一大特色就是每一步只增加一點差異，不會跳得太快。從線性迴歸模型開始，加入 Sigmoid 激活函數 (啟動函數) 就變成二元分類模型，然後將 Sigmoid 換成 Softmax 函數就擴展到多類別分類模型。然後在深度學習，先從一層隱藏層開始推導與實作，並因應需要調整學習率、改用 ReLU 函數等方法改善準確率。並進而擴展到兩層隱藏層，讓模型更加準確。小編真心認為，這樣的編排方式，讓讀者從既有的基礎逐步墊高實力，相當有利於學習，等您跟著本書走過一遍，自然就能心領神會。 本書隨附『數學快查學習地圖』彩色拉頁，將書中用到的各項數學基礎之間的關係整理成表，幫助您用一張圖看懂本書架構，甚至可裁剪下來隨時參考。作者在 Github 提供 Jupyter Notebook 格式的範例程式，另外您也可以從旗標官網下載 Python 範例程式。 【目錄】 [導入篇 機器學習快速指引] 第 1 章 機器學習入門 1.1 何謂機器學習 1.1.1 何謂機器學習模型 1.1.2 機器學習的訓練方法 1.1.3 監督式學習的迴歸、分類模型 1.1.4 訓練階段與預測階段 1.1.5 損失函數與梯度下降法 1.2 第一個機器學習模型：簡單線性迴歸模型 1.3 本書討論的機器學習模型 1.4 數學是深度學習的核心 1.5 本書架構 [理論篇 數學速學課程] 第 2 章 微分、積分 2.1 函數 2.1.1 函數運作行為 2.1.2 函數的圖形 2.2 合成函數與反函數 2.2.1 合成函數 專欄 合成函數的表示法 2.2.2 反函數 2.3 微分與極限 2.3.1 微分的定義 2.3.2 函數值增量與微分的關係 2.3.3 切線方程式 專欄 切線方程式與訓練階段、預測階段的關係 2.4 極大值與極小值 2.5 多項式的微分 2.5.1 x^n 的微分（n 是正整數） 2.5.2 微分計算的線性關係與多項式的微分 2.5.3 x^r 的微分（r 是實數） 專欄 組合（Combination）與二項式定理 2.6 兩個函數相乘的微分 2.7 合成函數的微分 2.7.1 用鏈鎖法則做合成函數微分 2.7.2 反函數的微分 2.8 兩個函數相除的微分 2.9 積分 專欄 積分符號的意思 第 3 章 向量、矩陣 3.1 向量入門 3.1.1 何謂向量 3.1.2 向量的標記法 3.1.3 向量的分量 3.1.4 往多維擴展 3.1.5 分量的符號 3.2 向量和、向量差、純量乘積 3.2.1 向量和 3.2.2 向量差 3.2.3 向量與純量的乘積 3.3 向量的長度（絕對值）與距離 3.3.1 向量的長度（絕對值） 3.3.2 Σ 可整合冗長的加法算式 3.3.3 向量間的距離 3.4 三角函數 3.4.1 三角比 : 三角函數的基本定義 3.4.2 單位圓上的座標 3.4.3 三角函數的圖形 3.4.4 用三角函數表示直角三角形的邊長 3.5 向量內積 3.5.1 向量內積的幾何定義 3.5.2 用分量來表示內積公式 3.6 餘弦相似性 3.6.1 兩個二維向量的夾角 3.6.2 n 維向量的餘弦相似性 專欄 餘弦相似性的應用範例 3.7 矩陣運算 3.7.1 一個輸出節點的內積表示法 3.7.2 三個輸出節點的矩陣相乘 第 4 章 多變數函數的微分 4.1 多變數函數 4.2 偏微分 4.3 全微分 4.4 全微分與合成函數 4.5 梯度下降法（GD） 專欄 梯度下降法與局部最佳解 第 5 章 指數函數、對數函數 5.1 指數函數 5.1.1 連乘的定義與公式 5.1.2 連乘觀念的推廣 5.1.3 將連乘寫成指數函數形式 5.2 對數函數 專欄 對數函數的意義 5.3 對數函數的微分 專欄 用 Python 來計算尤拉數 e 5.4 指數函數的微分 專欄 以 e 為底的指數函數也可用 exp 表示 5.5 Sigmoid 函數 5.6 Softmax 函數 專欄 Sigmoid 和 Softmax 函數的關係 第 6 章 機率、統計 6.1 隨機變數與機率分佈 6.2 機率密度函數與累積分佈函數 專欄 Sigmoid 函數的機率密度函數 6.3 概似函數與最大概似估計法 專欄 為何概似函數的極值是求最大值，而不是最小值？ [實踐篇 機器學習、深度學習實作] 第 7 章 線性迴歸模型（迴歸） 7.1 損失函數的偏微分與梯度下降法 7.2 範例問題設定 7.3 訓練資料與預測值的數學符號標示法 7.4 梯度下降法的概念 7.5 建立預測模型 7.6 建立損失函數 7.7 損失函數的微分 7.8 梯度下降法之運用 7.9 程式實作 專欄 使用 NumPy 7.10 推廣到多元線性迴歸模型 專欄 學習率與迭代運算次數的調整方法 第 8 章 邏輯斯迴歸模型（二元分類） 8.1 範例問題設定 8.2 線性迴歸模型與分類模型的差異 8.3 針對預測模型之討論 專欄 將預測值轉換成機率的意義 8.4 損失函數（交叉熵 Cross entropy） 8.5 損失函數的微分計算 8.6 梯度下降法的運用 8.7 程式實作 專欄 scikit-learn 三種模型的比較 專欄 交叉熵以及熱愛足球的國王們的煩惱 第 9 章 邏輯斯迴歸模型（多類別分類） 9.1 範例問題設定 9.2 建立模型的基本概念 9.3 權重矩陣 9.4 Softmax 函數 9.5 損失函數 9.6 損失函數的微分計算 9.7 梯度下降法的運用 9.8 程式實作 專欄 聚合函數 axis 參數的作用 第 10 章 深度學習 10.1 範例問題設定 10.2 模型的架構與預測函數 10.3 損失函數 10.4 損失函數的微分 10.5 反向傳播 10.6 梯度下降法的運用 10.7 程式實作一：原始版本 10.8 程式實作二：調整權重矩陣初始值的版本 10.9 程式實作三：更換激活函數為 ReLU 的版本 10.10 程式實作四：隱藏層增加為 2 層的版本 [發展篇 實務上的解決方法] 第11 章 以實用的深度學習為目標 11.1 善用開發框架 11.2 卷積神經網路（CNN） 11.3 循環神經網路（RNN）與長短期記憶（LSTM） 11.4 數值微分 11.5 優化的學習法 11.6 過度配適解決方法 11.7 每次訓練的資料量（批量） 11.8 權重矩陣的初始化 11.9 目標下一座山頭 附錄 Jupyter Notebook 開發工具 A.1 啟動 Jupyter Notebook A.2 試寫一個程式 A.3 將檔案輸出成單純的 Python 檔

用Python學AI理論與程式實作(涵蓋Certiport ITS AI國際認證模擬試題) (1版)

類似書籍推薦給您

【簡介】 📌 涵蓋Certiport ITS AI 人工智慧核心能力國際認證範圍，並收錄相關模擬試題。 ．本書適合想要學習人工智慧知識與技能的讀者，章節安排由淺入深，以循序漸進的方式介紹人工智慧的核心概念。 ．特別強調實踐中學習的重要性，除了介紹AI理論之外，還提供相對應的程式實作，有效提升學習樂趣並降低學習障礙，適合教師進行教學或讀者自主學習。 ．介紹了人工智慧的數學基礎，以簡潔扼要的方式解釋在人工智慧理論中，所需應用的數學概念。 ．為了兼顧不同Python程式設計能力的讀者，設計了機器學習的Python基礎章節，幫助較不熟悉Python語法的讀者能夠上手。 ．本書特別納入符合產業趨勢的「Certiport ITS 資訊科技專家」系列認證考科－ITS Artificial Intelligence 人工智慧核心能力國際認證考試重點，並於書末納入認證模擬試題，讓您掌握考試關鍵，順利考取證照。 【目錄】 第一章 人工智慧簡介 1.1 人工智慧簡介 1.2 人工智慧的數學基礎 1.3 建置開發環境 1.4 習題 補充：libiomp5md.dll相關問題 第二章 機器學習的Python基礎 2.1 Python語法練習 2.2 習題 第三章 知識發現 3.1 知識發現 3.2 關聯規則探勘 3.3 序列樣式探勘 3.4 聚類 3.5 習題 第四章 分類問題 4.1 分類問題的形式和目標 4.2 決策樹 4.3 支持向量機 4.4 KNN 4.5 神經網路 4.6 習題 第五章 強化學習 5.1 心理學與強化學習 5.2 Q-Learning與貝爾曼方程式 5.3 運用OpenAI遊戲模組實作Q-Learning 演算法 5.4 習題 補充：AlphaGo Movie 第六章 深度神經網路理論 6.1 全連接神經網路 6.2 模型的量化、修正與優化 6.3 習題 補充：損失函數、梯度優化 第七章 深度神經網路實作 7.1 運用torch.nn類別實作MNIST手寫數字辨識 7.2 運用Dropout函數減緩過擬合問題 7.3 習題 第八章 卷積神經網路理論 8.1 卷積運算 8.2 卷積與影像處理練習 8.3 卷積神經網路 8.4 習題 補充：卷積核與池化核的常用參數 第九章 卷積神經網路實作 9.1 運用CIFAR-10資料集實作CNN 9.2 神經網路的優化實作 9.3 習題 第十章 物件偵測理論 10.1 ResNet 10.2 RCNN 10.3 YOLO 10.4 習題 第十一章 物件偵測實作 11.1 YOLOv7自定義資料集物件偵測 11.2 習題 補充：使用labelImg軟體建構YOLO自定義資料集 第十二章 自然語言處理 12.1 自然語言與機器學習 12.2 斷詞和關鍵字查找 12.3 詞向量 12.4 習題 第十三章 循環神經網路 13.1 RNN 13.2 LSTM 13.3 Transformer與ChatGPT 13.4 習題 第十四章 生成對抗網路 14.1 生成對抗網路 14.2 各類生成對抗網路 14.3 運用DCGAN實現字型風格創作 14.4 習題 附錄A ITS AI國際認證模擬試題