線性代數學習要訣 (7版)

其他會員也一起購買

線性代數學習要訣 ISBN13：9789862972397 出版社：文笙 作者：劉明昌-編 裝訂／頁數：平裝／631頁 規格：23cm*17cm*3.5cm (高/寬/厚) 版次：修訂7版 出版日：2022/11/01 中文圖書分類：線性代數 內容簡介 本書作者以在業界及學界十餘年的設計與研發經驗，寫出最適合理工科系學生之線性代數內容，包括實例應用、結合電腦軟體的應用、研究所考題解說、作者教學心得、精湛的幾何意義等。

萬顆GPU的訓練：分散式機器學習 — 系統工程與實戰 (1版)

類似書籍推薦給您

【簡介】 ＊分散式機器學習機礎，包括資料、模型、管線的並行 　　＊集合通訊的重要性、參數伺服器PS-Lite 　　＊PyTorch DataParalle、PyTorch DDP的基礎及動態邏輯 　　＊Uber Horovod的原理及實作 　　＊GPipe、PyTorch的管線並行及PipeDream基礎架構及實作 　　＊Megatron原理及實作、PyTorch的模型並行原理實作 　　＊分散式運算的最佳化器 　　＊TensorFlow的分散式環境，靜態架構、動態邏輯 　　＊分散式架構的策略基礎、MirroredStrategy、ParameterServerStrategy 　　本書書以PyTorch為主體講解，從系統和實踐的角度對分散式機器學習進行整理。 　　包括了第1篇分散式基礎，介紹了分散式機器學習的基本概念、基礎設施，以及機器學習並行化的技術、框架和軟體系統，然後對集合通訊和參數伺服器PS-Lite進行了介紹。 　　第2篇介紹資料並行，將計算負載切分到多張卡上，實作為PyTorch及Horovod。 　　第3篇介紹模型並行，主要說明了張量模型並行及管線模弄並行，讓模型可以放入多節點上。 　　第4篇NVIDIA Megatron進行分析，講解如何進行層內分割模型並行，然後學習PyTorch如何支援模型並行。 　　第5篇則是將全書的內容用TensorFlow實作，讓已經熟悉TensorFlow的使用者不必重新學習新的框架。 【目錄】 第1篇 分散式基礎 第1章 分散式機器學習 1.1 機器學習概念 1.2 機器學習的特點 1.3 分散式訓練的必要性 1.4 分散式機器學習研究領域 1.5 從模型角度看如何並行 1.6 從訓練併發角度看如何並行 1.7 分散式機器學習程式設計介面 1.8 PyTorch分散式 1.9 總結 第2章 集合通訊 2.1 通訊模式 2.2 點對點通訊 2.3 集合通訊 2.4 MPI_AllReduce 2.5 Ring All-Reduce 第3章 參數伺服器之PS-Lite 3.1 參數伺服器 3.2 基礎模組Postoffice 3.3 通訊模組Van 3.4 代理人Customer 3.5 應用節點實現 第2篇 資料並行 第4章 PyTorch DataParallel 4.1 整體說明 4.2 範例 4.3 定義 4.4 前向傳播 4.5 計算損失 4.6 反向傳播 4.7 總結 第5章 PyTorch DDP的基礎架構 5.1 DDP總述 5.2 設計理念 5.3 基礎概念 5.4 架構和初始化 第6章 PyTorch DDP的動態邏輯 6.1 Reducer類別 6.2 前向/反向傳播 第7章 Horovod 7.1 從使用者角度切入 7.2 horovodrun 7.3 網路基礎和Driver 7.4 DistributedOptimizer 7.5 融合框架 7.6 背景執行緒架構 第3篇 管線並行 第8章 GPipe 8.1 管線基本實現 8.2 梯度累積 8.3 Checkpointing 第9章 PyTorch管線並行 9.1 如何劃分模型 9.2 切分資料和Runtime系統 9.3 前向計算 9.4 計算依賴 9.5 平行計算 第10章 PipeDream之基礎架構 10.1 整體想法 10.2 profile階段 10.3 計算分區階段 10.4 轉換模型階段 第11章 PipeDream之動態邏輯 11.1 Runtime引擎 11.2 通訊模組 11.3 1F1B策略 第4篇 模型並行 第12章 Megatron 12.1 設計想法 12.2 模型並行實現 12.3 如何設置各種並行 12.4 Pipedream的管線刷新 第13章 PyTorch如何實現模型並行 13.1 PyTorch模型並行 13.2 分散式自動求導之設計 13.3 RPC基礎 13.4 上下文相關 13.5 如何切入引擎 13.6 自動求導引擎 第14章 分散式最佳化器 14.1 原生最佳化器 14.2 DP的最佳化器 14.3 DDP的最佳化器 14.4 Horovod的最佳化器 14.5 模型並行的分散式問題 14.6 PyTorch分散式最佳化器 14.7 PipeDream分散式最佳化器 第5篇 TensorFlow分散式 第15章 分散式運行環境之靜態架構 15.1 整體架構 15.2 Server 15.3 Master的靜態邏輯 15.4 Worker的靜態邏輯 第16章 分散式運行環境之動態邏輯 16.1 Session機制 16.2 Master動態邏輯 16.3 Worker動態邏輯 16.4 通訊機制 第17章 分散式策略基礎 17.1 使用TensorFlow進行分散式訓練 17.2 DistributedStrategy基礎 17.3 分散式變數 第18章 MirroredStrategy 18.1 MirroredStrategy集合通訊 18.2 MirroredStrategy分發計算 第19章 ParameterServerStrategy 19.1 ParameterServerStrategyV1 19.2 ParameterServerStrategyV2 19.3 ClusterCoordinator

研究所2022試題大補帖【通訊所(含工程數學、通訊系統)】(108~110年試題) (1版)

類似書籍推薦給您

2022試題大補帖：通訊所（含工程數學、通訊系統）（108～110年試題） 系列名：研究所 ISBN13：9786267004456 出版社：大碩 作者：大碩研究所師資群 裝訂／頁數：平裝／352頁 規格：23cm*17cm*1.6cm (高/寬/厚) 版次：1 出版日：2021/09/01 中國圖書分類：基礎工程學 內容簡介 【試題大補帖系列熱賣中！】 不容錯過的上榜必備好書在這裡！ 精選多間名校歷屆試題，讓你省去到處尋找考古題的煩惱！ 試題按照年度排列，迅速掌握出題方向 每道題目提供完整解析，測驗、複習一把罩 　　本書收錄國內各重點大學通訊所108~110年【工程數學、通訊系統】共三年試題含解析。 　　本書收錄學校：臺灣大學、台灣聯合大學系統、成功大學、中央大學、中正大學、中山大學、臺北大學、臺北科技大學 本書特色 　　1.補班名師解題，不用三顧茅廬立即獲得大師精準考題解析。 　　2.多年度試題一次收錄，輕鬆練習歷屆試題。 　　3.一題搭配一詳解，演練有錯立即修正，加深印象。 目錄 110 ◎工程數學 臺灣大學 電信工程研究所（乙組）、資料科學碩士學位學程 台灣聯合大學系統 電機類 成功大學 電腦與通信工程所 中央大學 通訊工程學系 中山大學 通訊所碩士班（甲組） ◎通訊系統 臺灣大學 電信工程研究所（乙組） 台灣聯合大學系統 電機類 成功大學 電腦與通信工程研究所 成功大學 工程科學系 中山大學 通訊所碩士班（電波聯合碩士班選考）、通訊所碩士班（甲組、乙組選考）、電機系碩士班（戊組選考） 109 ◎工程數學 臺灣大學 電信工程研究所（乙組）、資料科學碩士學位學程 台灣聯合大學系統 電機類 成功大學 電腦與通信工程所（通信數學） 成功大學 電腦與通信工程所（機率與線性代數） ◎通訊系統 臺灣大學 電信工程研究所（乙組） 台灣聯合大學系統 電機類 成功大學 電腦與通信工程研究所 成功大學 工程科學系 中正大學 電機工程學系（信號與媒體通訊組）、通訊工程學系（甲組） 中山大學 通訊所（電波聯合、甲、乙組、電機戊組） 臺北大學 通訊工程學系 108 ◎工程數學 臺灣大學 電信所（乙組） 台灣聯合大學系統 電機類 成功大學 電腦與通信工程所（通信數學） 成功大學 電腦與通信工程所（電磁數學） 成功大學 電腦與通信工程所（線性代數） 中央大學 通訊工程學系 ◎通訊系統 臺灣大學 電信工程（乙組） 台灣聯合大學系統 電機類 成功大學 電腦與通信工程研究所 成功大學 工程科學系 中央大學 通訊工程學系 中正大學 電機工程學系（信號與媒體通訊組）、通訊工程學系－通訊甲組 中山大學 通訊工程所（甲、乙組） 臺北大學 通訊工程學系 臺北科技大學 電機工程系（丁組）