萬顆GPU的訓練：分散式機器學習 — 系統工程與實戰 (1版)

類似書籍推薦給您

【簡介】 ＊分散式機器學習機礎，包括資料、模型、管線的並行 　　＊集合通訊的重要性、參數伺服器PS-Lite 　　＊PyTorch DataParalle、PyTorch DDP的基礎及動態邏輯 　　＊Uber Horovod的原理及實作 　　＊GPipe、PyTorch的管線並行及PipeDream基礎架構及實作 　　＊Megatron原理及實作、PyTorch的模型並行原理實作 　　＊分散式運算的最佳化器 　　＊TensorFlow的分散式環境，靜態架構、動態邏輯 　　＊分散式架構的策略基礎、MirroredStrategy、ParameterServerStrategy 　　本書書以PyTorch為主體講解，從系統和實踐的角度對分散式機器學習進行整理。 　　包括了第1篇分散式基礎，介紹了分散式機器學習的基本概念、基礎設施，以及機器學習並行化的技術、框架和軟體系統，然後對集合通訊和參數伺服器PS-Lite進行了介紹。 　　第2篇介紹資料並行，將計算負載切分到多張卡上，實作為PyTorch及Horovod。 　　第3篇介紹模型並行，主要說明了張量模型並行及管線模弄並行，讓模型可以放入多節點上。 　　第4篇NVIDIA Megatron進行分析，講解如何進行層內分割模型並行，然後學習PyTorch如何支援模型並行。 　　第5篇則是將全書的內容用TensorFlow實作，讓已經熟悉TensorFlow的使用者不必重新學習新的框架。 【目錄】 第1篇 分散式基礎 第1章 分散式機器學習 1.1 機器學習概念 1.2 機器學習的特點 1.3 分散式訓練的必要性 1.4 分散式機器學習研究領域 1.5 從模型角度看如何並行 1.6 從訓練併發角度看如何並行 1.7 分散式機器學習程式設計介面 1.8 PyTorch分散式 1.9 總結 第2章 集合通訊 2.1 通訊模式 2.2 點對點通訊 2.3 集合通訊 2.4 MPI_AllReduce 2.5 Ring All-Reduce 第3章 參數伺服器之PS-Lite 3.1 參數伺服器 3.2 基礎模組Postoffice 3.3 通訊模組Van 3.4 代理人Customer 3.5 應用節點實現 第2篇 資料並行 第4章 PyTorch DataParallel 4.1 整體說明 4.2 範例 4.3 定義 4.4 前向傳播 4.5 計算損失 4.6 反向傳播 4.7 總結 第5章 PyTorch DDP的基礎架構 5.1 DDP總述 5.2 設計理念 5.3 基礎概念 5.4 架構和初始化 第6章 PyTorch DDP的動態邏輯 6.1 Reducer類別 6.2 前向/反向傳播 第7章 Horovod 7.1 從使用者角度切入 7.2 horovodrun 7.3 網路基礎和Driver 7.4 DistributedOptimizer 7.5 融合框架 7.6 背景執行緒架構 第3篇 管線並行 第8章 GPipe 8.1 管線基本實現 8.2 梯度累積 8.3 Checkpointing 第9章 PyTorch管線並行 9.1 如何劃分模型 9.2 切分資料和Runtime系統 9.3 前向計算 9.4 計算依賴 9.5 平行計算 第10章 PipeDream之基礎架構 10.1 整體想法 10.2 profile階段 10.3 計算分區階段 10.4 轉換模型階段 第11章 PipeDream之動態邏輯 11.1 Runtime引擎 11.2 通訊模組 11.3 1F1B策略 第4篇 模型並行 第12章 Megatron 12.1 設計想法 12.2 模型並行實現 12.3 如何設置各種並行 12.4 Pipedream的管線刷新 第13章 PyTorch如何實現模型並行 13.1 PyTorch模型並行 13.2 分散式自動求導之設計 13.3 RPC基礎 13.4 上下文相關 13.5 如何切入引擎 13.6 自動求導引擎 第14章 分散式最佳化器 14.1 原生最佳化器 14.2 DP的最佳化器 14.3 DDP的最佳化器 14.4 Horovod的最佳化器 14.5 模型並行的分散式問題 14.6 PyTorch分散式最佳化器 14.7 PipeDream分散式最佳化器 第5篇 TensorFlow分散式 第15章 分散式運行環境之靜態架構 15.1 整體架構 15.2 Server 15.3 Master的靜態邏輯 15.4 Worker的靜態邏輯 第16章 分散式運行環境之動態邏輯 16.1 Session機制 16.2 Master動態邏輯 16.3 Worker動態邏輯 16.4 通訊機制 第17章 分散式策略基礎 17.1 使用TensorFlow進行分散式訓練 17.2 DistributedStrategy基礎 17.3 分散式變數 第18章 MirroredStrategy 18.1 MirroredStrategy集合通訊 18.2 MirroredStrategy分發計算 第19章 ParameterServerStrategy 19.1 ParameterServerStrategyV1 19.2 ParameterServerStrategyV2 19.3 ClusterCoordinator

Python 資料科學實戰教本 - 爬蟲、清理、資料庫、視覺化、探索式分析、機器學習建模，數據工程一次搞定！ (1版)

類似書籍推薦給您

Python 資料科學實戰教本 - 爬蟲、清理、資料庫、視覺化、探索式分析、機器學習建模，數據工程一次搞定！ ISBN13：9789863127246 出版社：旗標出版社 作者：陳會安 裝訂／頁數：平裝／616頁 規格：23cm*17cm*2.8cm (高/寬/厚) 重量：946克 出版日：2022/08/22 中國圖書分類：電腦科學 內容簡介 【題材涵蓋最全面！一本書掌握資料科學 / 數據工程必學 know-how！】   從大數據到人工智慧世代，其背後蘊含的關鍵技術與理論不脫資料科學、機器學習的範疇。基本上，資料科學需要的背景知識與技能相當的多，通常要會 Python 程式設計基礎、熟悉相關 Python 套件和模組的使用；再加上機器學習的基礎就是機率和統計，因此也免不了得學機率和統計知識，可說有一拖拉庫的主題等著你去學，也難怪市面上各主題 (程式基礎、統計、套件、機器學習建模...) 的專書滿坑滿谷，一時間實在讓人難以消化...   為了降低讀者初學資料科學面對的負擔以及混亂感，我們精心設計了這本入門實戰教本，秉持讓讀者「買一本抵多本」的精神，本書一次涵蓋所有入門必須熟悉的重要題材，同時也將初學資料科學的脈絡梳理清楚。   在章節的安排上，本書從資料取得的網路爬蟲開始，提供一個標準 SOP 來幫助讀者從網路取得資料；接著說明資料科學必學的 Python 重量級套件，再接著介紹機率、統計和探索式資料分析的基礎知識，最後進入最熱門的機器學習、深度學習建模主題。   這一連串「取得資料 → 探索資料 → 預測分析」是一套完整的資料科學 / 數據工程實戰訓練，跟著本書掌握這些重要 know-how 後，就不難看懂網路上眾多資料科學、機器學習專案的 Python 程式碼和線上教材，甚至參與資料科學、機器學習的網路競賽；希望本書能協助讀者開啟資料科學家 / 數據工程師的成功之路！   本書特色   □ 資料科學三部曲：取得資料 → 探索資料 → 預測分析 □ 一次補足最入門的統計和機率基礎 □ Python 開發環境與基礎語法快速上手 □ 從網頁爬蟲、資料清理到資料視覺化，快速完成資料探索的預處理程序 □ 將清理後的資料存入 SQL 資料庫，便於日後存取利用 □ 實踐資料科學的四大套件：NumPy、Pandas、Matplotlib、Seaborn 一次掌握 □ 用 Scikit-learn、tensorflow.Keras 套件實作最熱門的 AI 機器學習應用 目錄 第一篇 資料科學和 Python 基礎 第 1 章 資料科學概論與開發環境建立 – Anaconda 第 2 章 Python 程式語言   第二篇 網路爬蟲和 Open Data (取得、清理與儲存資料) 第 3 章 取得網路資料 第 4 章 資料擷取 第 5 章 資料清理與資料儲存 第 6 章 網路爬蟲實作案例   第三篇 Python資料科學套件 – 探索資料（資料視覺化與大數據分析） 第 7 章 向量與矩陣運算 – NumPy 套件 第 8 章 資料處理與分析 – Pandas 套件 第 9 章 大數據分析 (一) – Matplotlib 和 Pandas 資料視覺化 第 10 章 大數據分析 (二) – Seaborn 統計資料視覺化 第 11 章 機率與統計 第 12 章 估計與檢定 第 13 章 探索性資料分析實作案例   第四篇 人工智慧、機器學習與深度學習 – 預測資料 第 14 章 人工智慧與機器學習概論 – 認識深度學習 第 15 章 機器學習演算法實作案例 – 迴歸 第 16 章 機器學習演算法實作案例 – 分類與分群 第 17 章 深度學習神經網路實作案例   附錄 A：HTML 網頁結構與 CSS 附錄 B：Python 文字檔案存取與字串處理 附錄 C：下載與安裝 MongoDB 和 MySQL 資料庫