資料科學學習手冊｜Python資料處理、探索、視覺化與建模實作 (1版)

類似書籍推薦給您

【簡介】 「這本書正是我當年提出『資料科學家』這個職稱時，所希望能擁有的一本書。如果您希望投身資料科學／工程、人工智慧，或機器學習領域，就該從這裡開始。」 ── DJ Patil 博士，美國首任首席資料科學家 身為一位有志成為資料科學家的讀者，能夠理解各類組織為何仰賴資料來做出關鍵決策──無論是公司在設計網站、還是市政府在改善公共服務，或者是科學家在致力於阻止疾病擴散。而您也希望具備將雜亂資料整理為可行洞見的能力。我們將這整個過程稱為「資料科學生命週期」：也就是從資料的收集、整理、分析，到導出結論的完整流程。 本書是第一本涵蓋程式設計與統計兩大基礎技能、並貫穿整個資料科學生命週期的書籍。本書的對象包括希望成為資料科學家的人、與資料科學家共事的專業人士，以及希望跨越「技術／非技術」界線的資料分析師。只要具備基本的 Python 程式設計知識，便可學習如何透過業界標準工具（如 pandas）來處理資料： ．將感興趣的問題精煉為可透過資料探究的研究問題 ．執行資料蒐集，其中可能涉及文字處理、網頁爬蟲等技術 ．透過資料清理、探索與視覺化，萃取出有價值的洞見 ．學會使用建模來描述資料特性 ．推廣研究結果，進行超出資料本身的推論 【目錄】 前言 【第一部分　資料科學生命週期】 第一章　資料科學生命週期 生命週期的各個階段 生命週期的範例 總結 第二章　問題與資料範疇 大數據與新機會 研究母體、抽樣架構與樣本 儀器與操作程序 自然現象的量測 準確度 總結 第三章　模擬與資料設計 抽籤模型 範例：模擬選舉民調的偏誤與變異性 範例：模擬疫苗的隨機試驗 範例：空氣品質測量 總結 第四章　以摘要統計量建構模型 常數模型 最小化損失 總結 第五章　個案研究：為什麼我的公車總是拖班？ 問題與範疇 資料整理 探索公車時間 建立等車時間模型 總結 【第二部分】　矩形資料 第六章　使用pandas操作資料框架 子集合選取（Subsetting） 匯總 合併 轉換 資料框架與其他資料表達法有何不同？ 總結 第七章　使用SQL操作關係 子集合選取（Subsetting） 匯總 合併 轉換與共通表格運算式 總結 【第三部分】　理解資料 第八章　整理檔案 資料來源範例 檔案格式 檔案編碼 檔案大小 殼層與命令行工具 表格形狀與粒度 總結 第九章　整理資料框架 範例：整理冒納羅亞觀測站的CO2測量資料 品質檢查 缺漏的值與紀錄 轉換與時間戳記 修改結構 範例：處理餐廳安全違規資料 總結 第十章　探索性資料分析 特徵類型 觀察分布的重點 在關係中應注意的事項 多變數情境下的比較 探索準則 範例：房屋售價 總結 第十一章　資料視覺化 選擇合適的刻度以揭示結構 資料的平滑化與匯總 促進有意義的比較 融入資料設計 加入情境資訊 使用plotly繪製圖表 其他視覺化工具 總結 第十二章　案例研究：空氣品質測量有多準確？ 問題、設計與範疇 尋找共址感測器 整理與清洗 AQS感測器資料 整理PurpleAir感測器資料 探索PurpleAir與AQS測量值 建立校準PurpleAir測量值之模型 總結 【第四部分】　其他資料來源 第十三章　處理文字資料 文字與任務的範例 字串處理 正規表達式 文字分析 總結 第十四章　資料交換 NetCDF資料 JSON資料 HTTP REST XML、HTML與XPath 總結 【第五部分】　線性建模 第十五章　線性模型 簡單線性模型 範例：空氣品質的簡單線性模型 擬合簡單線性模型 多元線性模型 擬合多元線性模型 範例：哪裡是機會之地？ 數值型測量值之特徵工程 類別型測量值的特徵工程 總結 第十六章　模型選擇 過度擬合 訓練-測試切分 交叉驗證 正則化 模型偏誤與變異性 總結 第十七章　推論與預測的理論基礎 分布：母體、經驗、抽樣 假設檢定的基本概念 以自助法推論 信賴區間的基本概念 預測區間的基本概念 用於推論與預測的機率理論 總結 第十八章　案例研究：如何幫驢子秤體重？ 驢子研究的問題與範圍 資料整理與轉換 探索 建立驢子體重的模型 總結 【第六部分】　分類 第十九章　分類 範例：風災倒木 建模與分類 對比例（與機率）建模 邏輯斯模型的損失函數 從機率到分類 總結 第二十章　數值最佳化 梯度下降法基礎 最小化Huber損失 凸形且可微分的損失函數 梯度下降法的變體 總結 第二十一章　個案研究：偵測假新聞 問題與範疇 取得與整理資料 探索資料 建模 總結 延伸資料 資料來源 索引

Grafana Zero to Hero：從視覺化到智慧監控，打造全知視角的可觀測性平台（iThome鐵人賽系列書） (1版)

類似書籍推薦給您

【簡介】 　　從折線圖到全知視角的可觀測性平台   　　連結資料孤島，建立全知視角 　　監控進化之路，實踐開源可觀測性的全能指南   　　• 完整範例：從範例快速上手各類功能 　　• 最佳實踐：穩固儀表板設計與監控方法論基石 　　• 資訊整合：整合各類資料源全面洞察 　　• 實戰應用：實際應用案例完整解析   　　在系統越發複雜的時代，你是不是曾面臨這樣的困境：握有各種數據，卻深陷於資料四散各處的痛苦？每次做決策都要在不同系統間來回切換，重要資訊總是藏在某個角落找不到？   　　Grafana 就是你的最佳解決方案。經過十年發展，它已從單純的「折線圖繪製工具」進化為支援多種資料來源的開源可觀測性平台。透過 Grafana，你可以連結資料孤島，建立對系統的全知視角。   　　將系統內部狀態數據化並可被觀測， 　　整合後端監控、前端效能與商業數據！   　　本書改編自第 16 屆 iThome 鐵人賽 DevOps 組優選系列《Grafana Zero to Hero》，從基礎操作到進階應用，全面涵蓋 Dashboard 設計最佳實踐、Alerting 告警機制、權限管理等核心主題。 每個章節都搭配完整的 Lab 練習與實戰案例，讓你學會整合後端監控、前端效能、商業數據於一體，甚至結合 MCP（Model Context Protocol）擴展搭配 LLM 的應用場景，讓資訊真正為你所用發揮最大價值。   　　【目標讀者】 　　• 開發者：將資料轉化為能指引方向的視覺化資訊，實作儀表板設計、前後端可觀測性整合與進階應用場景。 　　• 管理者：建立穩定、高可用的 Grafana 環境，並透過權限控管與 IaC 優化管理流程。 　　• 產品決策者：理解儀表板與數據呈現方式，讓團隊能以同一套語言溝通技術與商業目標，提升協作與決策效率。   本書特色   　　• 基礎到進階：涵蓋 Dashboard 設計、資料整合、告警設定與 Plugin 應用，全面掌握核心功能。 　　• 實踐中學習：搭配 Lab 練習與實戰案例，從資料呈現到系統整合，深入理解應用場景。 　　• 完整生態系：結合多種開源專案、SaaS 服務與 LLM 串接應用，拓展整合能力與未來潛力。   專業推薦   　　我認為這本書最珍貴的價值，是它讓工程師重新理解「觀測」的意義。它不是讓你變得更忙，而是幫助你更聰明地工作；不是讓你被數據淹沒，而是讓你透過數據看見秩序；不是追求恆定不變的「穩定」，而是建立在雲原生時代從容面對變動的韌性與自信。——董淳吉 Marcus Tung（可觀測性推廣者）   　　你正準備開始學習 Grafana 嗎？或者，你希望為團隊打造更清晰、更有洞見的監控儀表板？那麼，就讓義瑋的這本書成為一位引路人，帶領你踏上屬於自己的 Grafana 英雄旅程吧！——陳正瑋（艦長）（DevOps Taiwan Community 志工 & DevOpsDays Taipei Co-organizer）   　　本書不僅是技術人員的工具書，更是能幫助產品團隊快速迭代、實現數據驅動決策的實戰指南。無論您身處哪個技術崗位，若想徹底駕馭 Grafana，這本書都將是您不可或缺的案頭寶典。——雷N（在 DevOps 路上與 Grafana 同行的實踐者） 【目錄】 Part 1 基礎篇 Chapter 01 Grafana 啟程：踏上資料視覺化之路 Grafana 應用 Grafana 相關活動 小結 參考資料 Chapter 02 Put Your Hands On：核心介面與操作初體驗 Grafana 使用 Grafana Cloud Grafana OSS 與 Grafana Enterprise Grafana 基礎概念 Grafana 操作 基礎介面 Dashboard Panel Theme 應用範例 Node Monitoring Container Monitoring K8s Monitoring Lab 小結 Part 2 進階篇 Chapter 03 Dashboard：看見資訊的全貌 Dashboard 與 Monitoring 的最佳實踐 Infographic Dashboard 與 Exploratory Dashboard Dashboard Best Practice Monitoring Best Practice 實戰應用 Lab 小結 Dashboard 基礎介紹 Panel 基礎介紹 Visualization 時序變化 當下數值 狀態變化 資料分布 表格與清單 數據多樣性 文字、地圖、互動與 Plugin Transformation 操作 Variable 應用 小結 參考資料 Chapter 04 Data Source：連接多樣資料來源 Data Soruce 基礎介紹 設定與管理 Explore TestData Lab Prometheus Prometheus Metrics Query Visualization 常見搭配 Lab Relational Database Dashboard 搭配 DB Monitoring Lab Observability Signals Observability Signals Data Source Grafana with Observability Lab Data Source Plugins Google Sheet Redis SQLite Infinity Lab SQL Expressions Lab 小結 參考資料 Chapter 05 Plugin System：突破 Grafana 的界限 App Redis Application Grafana Resources Exporter Drilldown Scenes Scenes 使用範例 Lab App 與 Scenes Drilldown 小結 參考資料 Chapter 06 Alerting：掌握系統的關鍵時刻 Architecture Alert Rules Alert Rule 設定 Alerting 檢視 Notification Connect Point Template Image Silences Notification policies Message Event Lab Alerting Webhook 小結 參考資料 Part 3 管理篇 Chapter 07 企業級管理：權限、團隊與多租戶架構 基礎管理 認證與授權 認證 授權 Lab 小結 Chapter 08 自我監控與高可用：打造不中斷的 Grafana 平台 Grafana Monitoring Grafana 高可用架構 Grafana Alerting 高可用架構 Lab 小結 參考資料 Chapter 09 Grafana as Code：IaC 高效管理資源 Infrastructure as Code Grafana API Terraform Lab Dashboard as Code Jsonnet Lab 小結 參考資料 Part 4 應用篇 Chapter 10 Dashboard 設計實務：從系統觀測到商業洞察 Service Status Page 取得 Metrics 設計 Dashboard 成品 Lab 小結 Service Performance Monitoring Jaeger SPM 分析 資料流調整 設計 Dashboard 成品 Lab 小結 參考資料 Nginx Log 儀表板解析 Panel 應用分析 小結 商業觀測儀表板 OpenTelemetry Demo - E-Commerce Service usinesss KPI 關鍵事件關聯 Lab 小結 Chapter 11 Grafana 應用邊界拓展：多樣化監控與功能 Business Suite 解開束縛 Business Input Data Source Business Variable Panel Business Text Panel Business Charts Panel Lab 小結 參考資料 Kubernetes Monitoring 架構與建置 Dashboards Alert Rules Recording Rules Lab 小結 Organization Panel Plugin 開發實戰 需求分析 Plugin 開發 Plugin 發佈 Lab 小結 前端可觀測性 全端觀測架構 Web Vitals Session User Journey Lab 小結 Chapter 12 Grafana × LLM 智慧協作：智能化維運團隊 Grafana MCP MCP Server 設定 MCP 應用範例 LLM 告警助手 Lab 小結 Chapter 13 Hero's Journey：成為 Grafana 英雄之路 Observability Journey Maturity Model 結語 參考資料

資料視覺化圖表全書：全方位掌握數據探索、統計分析及資料敘事 (1版)

類似書籍推薦給您

【簡介】 　　《雜訊》、《Google必修的圖表簡報術》、《視覺設計大師的數據溝通聖經》、《圓之書：知識發展的球狀視覺史》作者，前美國首席資料科學家、「用數據看世界」網站負責人重磅推薦   　　從常見到進階圖表，此書為各種數據溝通和傳達提供靈感！ 　　◤很棒的權威指南，非常實用！──凱斯．桑思坦，《雜訊》作者   　　◤針對大量圖表類型提供實用建議的指南。──阿爾貝托．開羅，《視覺設計大師的數據溝通聖經》作者   　　◤不可或缺的指南，幫助你展現出清晰且奪目的作品。──帕蒂爾，前美國首席資料科學家   　　◤囊括基礎知識躍進至當今視覺化領域的所有技術與方法。──馬克斯．羅瑟，「用數據看世界」網站負責人   　　◤在快速發展的資料視覺化領域中建立重要基礎的寶貴資源。──曼努埃爾．利馬，《圓之書：知識發展的球狀視覺史》作者   　　◤收錄了各種精彩而多樣的視覺化作品，就像一本令人愉快閱讀的圖表百科全書。──柯爾．諾瑟鮑姆．娜菲克，《Google必修的圖表簡報術》作者   　　▁▂▃▄▅▆▇▇▆▅▄▃▂▁   　　當今世界充斥著海量資料、新聞和文字，令人目不暇給。客戶、同事，政策制定人員、決策人員和感興趣的讀者都淹沒在資訊流裡，唯有視覺化設計能從中突圍。   　　本書作者為美國聯邦政府經濟學家，意識到資料呈現的重要性不下於資料本身，從而開始研究資料視覺化並深受啟發，成為資料視覺化專家。擁有豐富的產、官、學實務經驗的他，將引導你走進圖表設計的科學與藝術，超越死板的傳統圖表，展開一場豐富深刻的設計與溝通之旅。   　　本書收錄500多個範例，界定和討論80多張圖表，並將其歸類成8大類別，幫助讀者了解各圖表如何運作及其優缺點。   　　•    8大類別→比較、時間、分布、地理空間、關係、局部對整體、質化資料與表格 　　•    80多種圖表類型→馬賽克圖、凹凸圖、脊線圖、面量圖、弧形圖、旭日圖…… 　　•    500多個範例→收錄數百個清晰、優雅且多元的視覺化作品，提供無限靈感   　　▇▆▅▄▃▂▁▁▂▃▄▅▆▇   　　全面、仔細地協助你建立視覺化圖表基礎與進階技巧   　　│選擇適合目的和目標的圖表類型： 　　•    從基本原則開始，詳細介紹各種視覺化類型。 　　•    了解不同圖表（例如直方圖、面量圖、散布圖等）的用途和特點。 　　│探索圖表呈現方式： 　　•    學習如何在圖表中善用顏色、字型和排版等設計元素。 　　•    嘗試不同設計風格和配置，創造更吸睛的視覺效果。 　　│增加圖表的可讀性和理解性： 　　•    學習如何使用視覺元素（例如標題、解釋文字、灰底等）來強調關鍵訊息。 　　•    了解視覺處理與感知順序，突顯資料的視覺特性。 　　│提高圖表的可信度和說服力： 　　•    了解平均數、標準差、相關性、最佳適配線、統計不確定性等概念。 　　•    學習如何正確解讀數據並呈現結果。 　　│提升個人、組織、品牌風格的辨識度與特色： 　　•    學習如何選擇元素，比如字型、顏色、線寬、網格線等。 　　•    提供風格體例指南，協助打造自身風格與特色。   　　這些技巧將幫助你在製作圖表時選擇最適合的設計和呈現，使圖表不僅美觀，更能有效傳達資訊和數據。 　　無論你是學生、研究員、專家學者、數據分析師、資料科學家、媒體工作者、市場營銷專家、政策制定者還是業務決策者，這本《資料視覺化圖表全書》都將成為必備工具。 國際推薦   　　「《資料視覺化圖表全書》是一本針對大量圖表類型提供實用建議的指南。沒有其他書籍以如此詳細和精湛的方式向讀者介紹特定的圖表類型。它是學生、分析師和研究人員的卓越資源。」──阿爾貝托．開羅（Alberto Cairo），《圖表會說謊》、《視覺設計大師的數據溝通聖經》作者   　　「對於我們許多人來說，沒有視覺化的資料很難理解。然而，資料視覺化並不容易！這是一本是很棒的權威指南，非常實用！」──凱斯．桑思坦（Cass R. Sunstein），哈佛法學院教授，《資訊超載的幸福與詛咒》、《雜訊》、《推力》作者   　　「這本書收錄了各種精彩而多樣的視覺化作品，就像一本令人愉快閱讀的圖表百科全書。作者在這本出色的資源中提供了實用的建議，告訴讀者在何時應該使用哪種視覺化方式，並給出了周到的設計指南。這本書非常適合從事資料工作和資料溝通的人。閱讀這本書，您將獲得靈感，並且如書中所承諾的那樣，學會精進資料視覺化！」──柯爾．諾瑟鮑姆．娜菲克（Cole Nussbaumer Knaflic），《Google必修的圖表簡報術》作者   　　「再好的數據有時也可能成為差勁或懶惰的視覺化犧牲品。現在有一本不可或缺的指南可以幫助你展現出清晰且奪目的作品。」──帕蒂爾（D.J. Patil），前美國首席資料科學家   　　「在現今眾多可用的圖表類型中尋找適合的圖表，可能是個讓人生畏的過程。不過，這本書將為您提供不僅是指引，還是在快速發展的資料視覺化領域中建立重要基礎的寶貴資源。您將會希望將它的原則和指南銘記於心，以在下個專案中使用。」──曼努埃爾．利馬（Manuel Lima），《圓之書：知識發展的球狀視覺史》作者   　　「這本書非常實用，能夠幫助你透過資料視覺化更有效地傳達訊息。從基本原則開始，詳細介紹各種視覺化類型，並提供風格指南的制定方法。對於任何希望將資料轉化為易懂的資訊的人來說，本書是一個非常有價值且易讀的資源。」──瑪拉．艾維克（Mara Averick），RStudio   　　「《資料視覺化圖表全書》將以細緻入微的方式教導您何時以及為何選擇使用特定的視覺化類型。這本書絕對能引起您的興趣，帶您從基礎知識躍進至當今視覺化領域的所有技術與方法。書中收錄了數百個清晰、優雅且多樣的視覺化作品，絕對能為您的工作注入無限靈感！」──馬克斯．羅瑟（Max Roser），牛津大學經濟學家、「用數據看世界」（Our World in Data）網站負責人   　　「對於希望以清晰有力的方式顯示量化資料的人來說，這是一本極好的入門書。」──羅伯特．萊克（Robert B. Reich），美國前勞工部長 【目錄】 前言 第一部：資料視覺化的原則 第一章：視覺處理與感知順序 安斯庫姆四重奏 視覺感知的完形原則 前注意處理程序形式與功能 第二章：改善視覺化資料圖表的5項準則 重點一：把資料展現出來 重點二：化繁為簡 重點三：將圖表與內文整合 重點四：避免義大利麵條圖 重點五：從灰色開始 第三章：形式與功能：以觀眾的需求來決定資料視覺化方式 改變我們與資料的互動方式 我們開始吧！ 第二部：圖表類型 第四章：類別比較 長條圖 配對長條圖 堆疊長條圖 分向長條圖 點圖 馬里梅科圖與馬賽克圖 單位圖、Isotype圖與鬆餅圖 熱圖 量表圖與子彈圖 比較與重疊泡泡圖 桑基圖 瀑布圖 結論   第五章：時間 折線圖 圓形折線圖 坡度圖 袖珍圖 凹凸圖 週期圖 面積圖 堆疊面積圖 量化波型圖 地平線圖 甘特圖 流程圖與時間軸 連接散佈圖 結論   第六章：分布 直方圖 金字塔圖 以圖表將統計不確定性視覺化 盒鬚圖 K線圖 小提琴圖 脊線圖 靠顯示資料將不確定性視覺化 莖葉圖 結論   第七章：地理空間 面量圖 示意地圖 比例符號與點密度地圖 流向地圖 結論   第八章：關係 散布圖 平行座標圖 雷達圖 和弦圖 弧形圖 相關矩陣圖 網絡圖 矩形式樹狀結構圖 結論   第九章：局部對整體 圓餅圖 樹狀圖 旭日圖 南丁格爾圖 沃羅諾伊圖 結論   第十章：質化資料 圖示 文字雲與特定文字訊息 文字樹 特定文字訊息 引述 用不同顏色區分文字訊息 矩陣和清單 結論   第十一章：表格 提升表格的10個方針 範例：重新設計基本資料表格 範例：重新設計迴歸表格 結論   第三部：設計與重新設計視覺呈現   第十二章：擬訂資料視覺化的體例指南 圖表剖析 顏色層次 界定字型風格的指南 針對特定圖表類型的提醒 轉出圖像 無障礙、多元與兼容 總結   第十三章：重新設計 配對長條圖：主要田作的英畝數 堆疊長條圖：服務輸送 折線圖：社會安全理事 面量圖：阿拉巴馬州蓄奴與參議院選舉 點圖：全國學校午餐方案 點圖：美國的國內生產毛額成長 折線圖：淨政府借款 表格：公司投入 結論   結語 附錄1：資料視覺化工具 附錄2：延伸閱讀與資源 資料視覺化的概論著作 資料視覺化的歷史著作 資料視覺化工具的著作 資料視覺化庫藏 練習場所 誌謝 參考文獻   看更多