不止量化及LORA：原生PyTorch性能及記憶體優化精解 (1版)

類似書籍推薦給您

【簡介】 不止量化及LORA - 原生PyTorch性能及記憶體優化精解 　　✴︎深入介紹深度學習硬體，包括 CPU、GPU、記憶體與分散式系統。 　　✴︎系統化學習 PyTorch 張量、運算元、自動微分與動態圖機制。 　　✴︎提供 PyTorch 性能分析工具，幫助診斷與提升執行效率。 　　✴︎優化資料載入與前處理，提升 Dataset 與 DataLoader 效能。 　　✴︎介紹單卡 GPU 訓練最佳化，如 Batch Size 調整與同步減少。 　　✴︎探討 GPU 記憶體管理，降低訓練時的記憶體佔用與浪費。 　　✴︎解析分散式訓練，涵蓋資料平行、模型平行與多機多卡技術。 　　✴︎涵蓋高級最佳化，如混合精度、自訂運算元與計算圖優化。 　　✴︎深入解析 GPT-2 訓練最佳化，提供實戰經驗與效能提升。 　　✴︎從程式碼到硬體調校，建立高效 PyTorch 訓練與開發流程。【目錄】 第 1 章 歡迎來到這場大模型競賽 1.1 模型規模帶來的挑戰 1.2 資料規模帶來的挑戰 1.3 模型規模與資料增長的應對方法   第 2 章 深度學習必備的硬體知識 2.1 CPU 與記憶體 2.1.1 記憶體 2.1.2 CPU 2.2 硬碟 2.3 GPU 2.3.1 CPU 的局限性 2.3.2 GPU 的硬體結構 2.3.3 GPU 程式設計模型及其硬體對應 2.3.4 GPU 的關鍵性能指標 2.3.5 顯示記憶體與記憶體間的資料傳輸 2.4 分散式系統 2.4.1 單機多卡的通訊 2.4.2 多機多卡的通訊 2.4.3 分散式系統的資料儲存   第 3 章 深度學習必備的 PyTorch 知識 3.1 PyTorch 的張量資料結構 3.1.1 張量的基本屬性及建立 3.1.2 存取張量的資料 3.1.3 張量的儲存方式 3.1.4 張量的視圖 3.2 PyTorch 中的運算元 3.2.1 PyTorch 的運算元函數庫 3.2.2 PyTorch 運算元的記憶體分配 3.2.3 運算元的呼叫過程 3.3 PyTorch 的動態圖機制 3.4 PyTorch 的自動微分系統 3.4.1 什麼是自動微分 3.4.2 自動微分的實現 3.4.3 Autograd 擴充自訂運算元 3.5 PyTorch 的非同步執行機制   第 4 章 定位性能瓶頸的工具和方法 4.1 配置性能分析所需的軟硬體環境 4.1.1 減少無關程式的干擾 4.1.2 提升PyTorch 程式的可重複性 4.1.3 控制GPU 頻率 4.1.4 控制CPU 的性能狀態和工作頻率 4.2 精確測量程式執行時間 4.2.1 計量CPU 程式的執行時間 4.2.2 程式預熱和多次執行取平均 4.2.3 計量GPU 程式的執行時間 4.2.4 精確計量GPU 的執行時間 4.3 PyTorch 性能分析器 4.3.1 性能分析 4.3.2 顯示記憶體分析 4.3.3 視覺化性能圖譜 4.3.4 如何定位性能瓶頸 4.4 GPU 專業分析工具 4.4.1 Nsight Systems 4.4.2 Nsight Compute 4.5 CPU 性能分析工具 4.5.1 Py-Spy 4.5.2 strace 4.6 本章小結   第 5 章 資料載入和前置處理專題 5.1 資料連線的準備階段 5.2 資料集的獲取和前置處理 5.2.1 獲取原始資料 5.2.2 原始資料的清洗 5.2.3 資料的離線前置處理 5.2.4 資料的儲存 5.2.5 PyTorch 與第三方函數庫的互動 5.3 資料集的載入和使用 5.3.1 PyTorch 的 Dataset 封裝 5.3.2 PyTorch 的 DataLoader 封裝 5.4 資料載入性能分析 5.4.1 充分利用CPU 的多核心資源 5.4.2 最佳化CPU 上的計算負載 5.4.3 減少不必要的CPU 執行緒 5.4.4 提升磁碟效率 5.5 本章小結   第 6 章 單卡性能最佳化專題 6.1 提高資料任務的平行度 6.1.1 增加資料前置處理的平行度 6.1.2 使用非同步介面提交資料傳輸任務 6.1.3 資料傳輸與GPU 計算任務平行 6.2 提高GPU 計算任務的效率 6.2.1 增大BatchSize 6.2.2 使用融合運算元 6.3 減少CPU 和GPU 間的同步 6.4 降低程式中的額外銷耗 6.4.1 避免張量的建立銷耗 6.4.2 關閉不必要的梯度計算 6.5 有代價的性能最佳化 6.5.1 使用低精度資料進行裝置間拷貝 6.5.2 使用性能特化的最佳化器實現 6.6 本章小結   第 7 章 單卡顯示記憶體最佳化專題 7.1 PyTorch 的顯示記憶體管理機制 7.2 顯示記憶體的分析方法 7.2.1 使用PyTorch API 查詢當前顯示記憶體狀態 7.2.2 使用PyTorch 的顯示記憶體分析器 7.3 訓練過程中的顯示記憶體佔用 7.4 通用顯示記憶體重複使用方法 7.4.1 使用原位操作運算元 7.4.2 使用共用儲存的操作 7.5 有代價的顯示記憶體最佳化技巧 7.5.1 跨批次梯度累加 7.5.2 即時重算前向張量 7.5.3 將GPU 顯示記憶體下放至CPU 記憶體 7.5.4 降低最佳化器的顯示記憶體佔用 7.6 最佳化Python 程式以減少顯示記憶體佔用 7.6.1 Python 垃圾回收機制 7.6.2 避免出現迴圈依賴 7.6.3 謹慎使用全域作用域 7.7 本章小結   第 8 章 分散式訓練專題 8.1 分散式策略概述 8.2 集合通訊基本操作 8.3 應對資料增長的平行策略 8.3.1 資料平行策略 8.3.2 手動實現資料平行算法 8.3.3 PyTorch 的DDP 封裝 8.3.4 資料平行的C/P 值 8.3.5 其他資料維度的切分 8.4 應對模型增長的平行策略 8.4.1 靜態顯示記憶體切分 8.4.2 動態顯示記憶體切分 8.5 本章小結   第 9 章 高級最佳化方法專題 9.1 自動混合精度訓練 9.1.1 浮點數的表示方法 9.1.2 使用低精度資料型態的優缺點 9.1.3 PyTorch 自動混合精度訓練 9.2 自訂高性能運算元 9.2.1 自訂運算元的封裝流程 9.2.2 自訂運算元的後端程式實現 9.2.3 自訂運算元匯入Python 9.2.4 自訂運算元匯入PyTorch 9.2.5 在Python 中使用自訂運算元 9.3 基於計算圖的性能最佳化 9.3.1 torch.compile 的使用方法 9.3.2 計算圖的提取 9.3.3 圖的最佳化和後端程式生成 9.4 本章小結   第 10 章 GPT-2 最佳化全流程 10.1 GPT 模型結構簡介 10.2 實驗環境與機器配置 10.3 顯示記憶體最佳化 10.3.1 基準模型 10.3.2 使用跨批次梯度累加 10.3.3 開啟即時重算前向張量 10.3.4 使用顯示記憶體友善的最佳化器模式 10.3.5 使用分散式方法降低顯示記憶體佔用—FSDP 10.3.6 顯示記憶體最佳化小結 10.4 性能最佳化 10.4.1 基準模型 10.4.2 增加 BatchSize 10.4.3 增加資料前置處理的平行度 10.4.4 使用非同步介面完成資料傳輸 10.4.5 使用計算圖最佳化 10.4.6 使用float16 混合精度訓練 10.4.7 （可選）使用自訂運算元 10.4.8 使用單機多卡加速訓練 10.4.9 使用多機多卡加速訓練 10.4.10 性能最佳化小結 結語  

視覺、性別與權力：從劉吶鷗、穆時英到張愛玲的小說想像 (1版)

類似書籍推薦給您

【簡介】 劉吶鷗的視覺化小說為何會從台灣登陸到上海租界？穆時英如何運用小說視覺化表述，表現上海貧富懸殊的半殖民地處境？ 張愛玲又如何以這種方法對傳統和現代中國做出觀察與反思？ 小說作為現代中國人想像、敘述「中國」的開端，由梁啟超提倡「新小說」起，經歷了過百年的變化。不論在形式或內容上，小說的種種改變均與現代中國社會各方面的變化息息相關。王德威在一九九三年提出關注「想像中國」的議題，思考國人怎樣通過小說這種敘事模式去想像中國的過去、現在與未來。 在《視覺、性別與權力：從劉吶鷗、穆時英到張愛玲的小說想像》一書中，作者梁慕靈以「視覺性」的角度，審視小說另一種想像中國的方法，目的在於重現當時在殖民地台灣和半殖民地上海中成長的新一代作家，他們「想像中國」的「新」角度，並重點分析劉吶鷗、穆時英和張愛玲的小說，觀察這些小說怎樣以「視覺」的方式來想像中國，這種方式又如何反映和形塑中國的現代經驗。 三○年代興起於上海的新感覺派當中，劉吶鷗和穆時英的小說具有強烈的視覺化表述特徵。這種小說表述模式並不是完全由中國本土文化場域所孕育，而是劉吶鷗這位台灣人經過迂迴的路線引入。這種新的小說表述模式帶來了新的想像方法，原因在於它是經由帝國主義、殖民主義到本土化的複雜過程而生成。《視覺、性別與權力》探討穆時英和張愛玲怎樣改造和「模擬」「殖民者凝視」，表現出新一代對「現代」中國的想像。梁慕靈認為劉吶鷗、穆時英和張愛玲三位作家的「模擬」策略，由於時代和位置的不同而顯出差異，但是這種「模擬」並不是純粹的複製，而是一種再創造，顯示的是有別於主流的「另一種」想像中國的方法。本書關注上述三位作家在小說、電影、理論和翻譯方面如何展露一種新的想像模式，他們為中國現代文學場域引入並創造了「另一種」的想像中國的方法，顯示了中國現代小說在現實主義的陳述模式和浪漫主義的抒情模式以外，尚有其他方式去構想和建築現代中國。 《視覺、性別與權力》輯一以翻譯和視覺性的角度討論劉吶鷗、穆時英和張愛玲三位作家的小說創作。第二章首先探討曾經歷日治時期的臺灣作家劉吶鷗，其富有殖民地色彩的成長背景，使這位臺灣作家的作品具備多元現代性的特質，包含了歐洲、日本、臺灣和中國大陸的語言和文化特徵。第三章討論中國三○年代興起於上海的新感覺派，當中劉吶鷗和穆時英的小說具有強烈的視覺化表述特徵。第四章討論了劉吶鷗、穆時英和張愛玲的小說怎樣以「電影視覺化表述」去想像他們心目中的中國。第五章則探討中國三、四○年代興起的現代主義思潮，如何為中國現代文學場域引入了具有殖民主義文學特質的小說，當中的視覺意識在不同程度上影響了劉吶鷗、穆時英和張愛玲的小說。 輯二以張愛玲為研究焦點，從性別、視覺、離散及地域的角度討論張愛玲的作品具有怎樣的獨特性。第六章以記憶為題，探討在張愛玲整個小說創作生涯中，具有傳承經驗作用的「講故事」敘述模式的衰亡過程，以及這種模式衰落以後，張愛玲的小說如何轉化成「小說」模式的經過，從而思考當中記憶與歷史的關係。第七章探討張愛玲的電影劇作如何一方面採納通俗劇模式，另一方面卻以不同的「技巧」去逐步改變觀眾╱讀者對這一模式的渴求。第八章關注張愛玲作品如何表現她心目中的香港。第九章以離散的角度討論張愛玲後期小說的風格。第十章則以離散及女性自傳體小說的角度，討論張愛玲後期作品的特色和意義。 【目錄】 第一章　想像中國的另一種方法輯一 第二章　混種文化翻譯者的凝視──劉吶鷗對殖民主義文學的引入和轉化 第三章　由翻譯到「模擬」──劉吶鷗、穆時英和張愛玲小說的「視覺性」 第四章　劉吶鷗、穆時英和張愛玲小說「電影視覺化表述」的確立、本土化與改造 第五章　性別觀看與殖民觀看──從穆時英到張愛玲小說的「視覺性」變化輯二 第六章　從「講故事」到「小說」──張愛玲小說中的記憶轉化 第七章　「反媚俗」──張愛玲電影劇作對通俗劇模式的超越 第八章　他者‧認同‧記憶──張愛玲的香港書寫 第九章　張愛玲的離散意識與後期小說風格 第十章　張愛玲後期作品中的女性離散者自我論述 第十一章　終章附錄 參考書目 論文初出一覽 致謝後記  

色，戒：從張愛玲到李安 (1版)

類似書籍推薦給您

【簡介】 鼎鼎大名的張愛玲，短篇小說〈色，戒〉卻一向乏人問津；區區不到三十頁的文字，如何改編成超過兩個半小時的電影？作為研究者，我們關注的是，李安為何對這個故事情有獨鍾，其影像詮釋是否「忠於」原著，其創新何在？根據與其長期合作的編劇夏慕斯 (James Schamus) 透露，對李安而言，電影想解決的問題是：女間諜為何在刺殺漢奸的關鍵時刻放走了他，連累自己及同夥丟了性命？小說僅暗示男女主角的性愛淋漓歡暢，李安為何露骨地把影片拍成三級片？排除了未成年的觀眾，事實上是不利票房收入的，更何況，後來的確飽受衛道人士及愛國主義者的攻擊。李安拍攝影片的心路歷程，是本書多篇論文的討論重點。 【目錄】 序 (彭小妍) 導言 (彭小妍) （一）改編作為翻譯、背叛或消費 （二）表演性如何展現愛慾、主體性及集體記憶 （三）認同政治及全球文化經濟 1 李安的《色｜戒》及其迴響 (李歐梵) （一）改編作為翻譯、背叛或消費 2 誘力蒙太奇：戒｜色(葉月瑜) 一、蒙太奇啟動：德國狼犬 二、德國狼犬的再度現身 三、辯證蒙太奇：並置(juxtaposition)與撞擊(collision) 四、誘力蒙太奇：真刀真槍的性？ 結論：重寫張愛玲 3 〈色，戒〉的兩個版本：評張愛玲小說兼談李安的電影(孫筑瑾) 4 雨酣暢、浮華滬上凡此種種，與愛何關？：一個「文字學家」眼中的《色｜戒》及其原著文本(寇致銘 ﹝Jon Eugene von Kowallis﹞) 5 食人，階級，背叛：張愛玲和李安(戴樂為 ﹝Darrell William Davis﹞) 一、動物的吸引力 二、與李香蘭比較 三、真實的性愛 （二）表演性如何展現愛慾、主體性及集體記憶 6 「不可能的愛欲」與「愛欲的不可能」：論《色｜戒》中的「上海寶貝╱淑女」(陳相因) 一、「色戒現象」：後殖民臺灣、香港及中國的政治、媒體與票房 二、問題意識：電影的「完整性」與故事的「未完成性」 三、從「愛欲」到「不可能的愛欲」：從原著、劇本到螢幕 四、從「不可能的愛欲」到「愛欲的不可能」：上海寶貝╱淑女的愛欲與性慾 結論 7 戰爭劇場上的演藝與背叛 (蘇文瑜 ﹝Susan Daruvala﹞) 8 「真正的」王佳芝：《色，戒》中的表演與真實(柯瑋妮 ﹝Whitney Crothers Dilley﹞) 一、巴代伊：禁忌與犯禁─強化犯禁的誘惑 二、麻將、上流社會、和西方文化的影響 三、李安其他作品中的雙重性，以及「真正的」王佳芝 （三）認同政治及全球文化經濟 9 黑色邊戒 (林建國) 一、衣裳的哲學 二、流變為黑色（電影） 三、黑色電影研究的現況：沉睡不醒 四、尼采式的轉向 五、黑色電影現狀，或曰德勒茲（與拉岡） 六、國家與娼妓 10 女人作為隱喻：《色｜戒》的歷史建構與解構(彭小妍) 前言 一、「搶救歷史」：誰的歷史？ 二、演劇與愛國主義 三、一個不合作的女人 四、漢奸形象 五、女人作為純真年代的隱喻：解構愛國主義與愛情 11 愛的不可能任務 (張小虹) 《色｜戒》中的性─政治─歷史 一、愛的召喚：臺上、臺下、樓上、樓下 二、愛的迴視：斷裂與縫合 三、性的諜對諜：肉體與國體 四、愛的皺摺：祖國之愛與情感動力