從試算表到資料平台：重構資料工程的技術與團隊 (1版)

類似書籍推薦給您

【簡介】 　　你是否曾懷疑過自己用錯了工具，因而浪費了許多時間？ 　　在過去的職業生涯中，我以為自己掌握了開發軟體的核心技能，但在遇到真實的資料工程與資料分析問題時，我只用了軟體開發的方法去硬做，結果浪費了大量時間。 　　因為過去繞了很長的遠路，也順手做了不少研究，而這本書是我的心得。 　　這本書帶你深入了解現代資料棧，教你如何用更靈活、易於組裝的工具和方法論來有效處理資料，以提升數倍的產出。 　　◎本書為你提供： 　　►現代資料棧：像 Linux Shell 一樣靈活的工具組合，協助你快速構建高品質的資料基礎建設。 　　►資料分析的技巧與實務：透過研究實例與前人的分析方法，幫助你拆解陌生問題、提升解題效率。 　　►管理實務：如何在組織內有效導入新技術，克服技術與決策的障礙。 　　◎誰應該讀這本書？ 　　這本書寫給那些在資料相關領域中，感受到「卡住了」的人。無論你是哪一種角色，只要曾經在以下情境中點頭如搗蒜，這本書就是為你而寫： 　　►你身為資料分析師，卻困在資料不乾淨、報表每週重工、每週趕進度的困境裡。 　　►你是資料工程師，卻常常在寫一堆 ETL 程式，對資料倉儲與資料品質管控始終感到不夠優雅。 　　►你是產品經理或行銷經理，每週都在催資料報表，卻不確定報表背後的資料是否一致、準確。 　　►你是中階主管或技術領導者，想導入更好的資料流程，但每次提案總被打回票：「我們現在沒空重做」。 　　►你身為數位轉型推動者，想改變整個組織面對資料的方式，但不知道該從哪裡開始。 　　這不是一本教你單一工具操作的書，而是一本幫助你理解「資料基礎建設」背後的思維框架、常見瓶頸、與改進路徑的書。如果你希望節省時間、提升品質、減少重工、甚至把某些原本工程師才能做的事轉交給資料分析師做，那你會在這本書裡找到具體可行的方法論與實踐路徑。 本書特色 　　★ 不只是工具教學——本書源自顧問為企業導入現代資料棧的實戰經驗 　　★ 精準拆解以 dbt、Metabase、Meltano 為核心，並示範 DuckDB 與其它資料倉儲選項的現代資料棧應用，讓你少走 90% 的冤枉路 　　★ 用案例解析常見瓶頸，教你避開踩坑與重工的惡性循環 　　★ 適用於決策者、技術主管、資料團隊——立即啟動資料驅動決策文化 　　用顧問級方法，替你的團隊打造「不再重工、不再卡關」的資料基礎建設，讓決策更快、產出更穩、團隊更有餘裕專注真正的價值創造。 專業推薦 　　中國信託商業銀行 數位科技處部長｜林佩蘭 　　XREX INC., Backend Engineering Manager｜Stone Huang 　　XREX INC., 資料科學家｜陳安祖 【目錄】 ▌第一部 資料工程 第1章 我還想要更懶惰 需求概述 既有的作法：試算表流水生產線 相對合理的設計 軟體開發 業務報表 專案的後續與感想 第2章 現代資料棧（Modern Data Stack） 可程式化工具 資料基礎建設 資料基礎建設的發展階段 應用現代資料棧還有其它優點嗎？ 選SQL 而非MapReduce ELT 取代ETL 函數式資料轉換 理想的解決方案：現代資料棧 之後的章節 第3章 View Layer（視覺化層）：Metabase 自助式資料服務的必要條件 Metabase 安裝 Metabase 自動分析 Metabase 基礎操作 Metabase 進階操作 Metabase 圖表/ 視覺化 Metabase 互動儀表板與嵌入式分析 Metabase 自動化（Automation） 本章小結 第4章 Transformation Layer（資料轉換層）：dbt 與SQL 三個常見的SQL 難題與對應作法 dbt 安裝 DuckDB 安裝 dbt 基本操作 dbt 資料建模 dbt 進階操作 本章小結 第5章 Transformation Layer：SQL 概論 SQL 起步 SQL 進階語法 SQL 效能改進 本章小結 第6章 EL 與ETL EL 是普遍的需求 ETL 仍然是重要的選項 EL 工具 Meltano 簡介 dlt 簡介 ETL 設計原則 ETL 開發實務 本章小結 第7章 資料可靠性（Data Reliability） 除錯方法論 dbt 套件- Elementary dbt test Recce 兩難問題的因果分析 本章小結 第8章 即時資料（Real Time Data） 不同的應用、不同的即時 變更資料擷取（Change Data Capture） 資料倉儲內的Lambda 視圖 簡易資料湖與查詢引擎 本章小結 第9章 將複雜度往下移動 機敏資料 隨著時間而變動的資料 即時資料的查詢延遲 本章小結 第10章 資料工程的挑戰 資料工程的思考：搬移程式到資料端 資料工程的思考：簡單與可擴展性的並存之道 隱而不現的資料工程問題 採用新技術時的準備 本章小結 ▌第二部 資料分析 第11章 ChatGPT 作為一種資料分析工具 什麼是資料分析？ 什麼是ChatGPT？ 應用ChatGPT 的後設技巧（Meta-skill） 資料分析活用ChatGPT 進階議題：形式語言學的應用 本章小結 第12章 管理與統計 管理實務 量化與統計學的連結 貝氏定理（Bayesian Theorem） Z 檢定 費米估算（Fermi Estimation） 信賴區間 蒙地卡羅法 線性模型 探索式資料分析（EDA, Exploratory Data Analysis） 本章小結 第13章 各領域的資料分析 引導決策的指標 可信度 編碼 本章小結 ▌第三部 管理實務 第14章 資料團隊 結果優先vs 流程優先 複雜度轉換：往下層移動 三種常見的資料團隊組織架構 資料團隊的發展 資訊的價值 向上管理vs 向上資訊管理 逆向工作 本章小結 第15章 變革管理 評估新技術 向上溝通：原理 向上溝通：從現在到未來 從想法到行動 本章小結 結語 寫給想要更懶惰的人  

Python大數據專案X工程X產品 資料工程師的升級攻略 (2版)

類似書籍推薦給您

★☆★☆★ 獨家解析知名大數據專案，FinMind，帶你一窺大數據產品的發展過程，打造專屬個人的大數據 Side Project、作品、產品 ★☆★☆★ 本書承襲第一版的精彩內容，分享在 Github 獲得 1,900 stars 的大數據 Side Project，並幫助讀者從 0 開始，打造專屬個人的大數據 Side Project。 精彩收錄： 【資料工程】 ○ 使用分散式技術，RabbitMQ、Flower、Celery，收集證交所、櫃買中心、期交所等股市資訊。 ○ 使用 Docker、FastAPI 架設 RESTful API 服務。 ○ 使用 Docker Swarm 架設分散式服務，包含爬蟲、RESTful API、資料庫 MySQL、RabbitMQ 等服務。 ○ 使用雲端服務，一個月 5 美金，且免費提供 100 美金額度。 ○ 一站式管理多台分散式機器。 ○ 使用業界等級的，分散式 Airflow。 【產品迭代】 ○ 單元測試 Unit Test 介紹，包含爬蟲、API 測試範例。 ○ 使用 CICD 做持續性整合、部屬，並以 Gitlab-CI 搭配 API 服務做為範例。 【API 產品上線】 ○ 免費網址申請教學，No-IP。 ○ 免費 SSL 憑證教學，Let's Encrypt。 ○ 一站式管理多服務網址，容器化反向代理工具 Traefik。 【業界資料視覺化工具】 ○ 使用 Redash 建立個人化、股市分析儀錶板。 【監控系統】 ○ 使用最知名的監控工具，Prometheus、Grafana，同時監控所有服務。 讀完本書，你將學會分散式爬蟲、RESTful API、MySQL 資料庫、壓力測試、Docker Swarm、CICD、雲端、Traefik、Redash 視覺化、分散式 Airflow、監控系統 Prometheus、Grafana 等，本書是一本集大成的作品。 ※本書程式實例可至深智官網下載http://deepwisdom.com.tw 產品目錄 【第1 篇　資料工程 ETL】 01 本書介紹 02 開發環境 2.1 開發環境重要性 2.2 Linux 作業系統 2.3 Windows 作業系統 2.4 Mac 作業系統 2.5 Python 開發工具 VS Code 03 Docker 3.1 為什麼先介紹 Docker ？ 3.2 什麼是 Docker ？ 3.3 安裝 Docker 3.4 安裝 Docker-Compose 04 雲端 4.1 為什麼要用雲端？ 05 資料收集 5.1 Python 環境設置 5.2 爬蟲 5.3 資料庫架設 5.4 上傳資料到資料庫 5.5 分散式爬蟲 5.6 定時爬蟲 06 資料提供—RESTful API 設計 6.1 什麼是 API ？ 6.2 輕量 API --- Flask 6.3 高效能 API --- FastAPI 07 容器管理工具 Docker 7.1 為什麼要用 Docker 7.2 建立第一個Docker Image --- Dockerfile 7.3 發布 Docker Image 7.4 雲端部屬 7.5 Docker Swarm 7.6 部屬服務 【第2 篇　產品迭代-- 測試運維】 08 自動化測試 8.1 單元測試 Unit Test 09 CICD 持續性整合、部屬 9.1 什麼是 CICD ？ 9.2 CI 持續性整合 9.3 Gitlab-CI、以爬蟲專案為例 9.4 Gitlab-CI，建立 Docker Image 9.5 Gitlab-CI，部屬新版本 9.6 Gitlab-CI、以 API 專案為例 9.7 總結 【第3 篇　API 產品上線】 10 API 服務網址 10.1 為什麼需要網址？ 10.2 No-Ip 免費的網址申請 10.3 Let's Encrypt 免費的 SSL 憑證 10.4 Traefik 10.5 API 結合Traefik 10.6 總結 【第4 篇　資料視覺化】 11 視覺化工具 11.1 什麼是視覺化？ 11.2 Redash 11.3 Redash 帳號設定 11.4 資料庫連接 11.5 匯入資料 11.6 製作第一個圖表 11.7 第一個 Dashboard 11.8 設定下拉式選單 11.9 其他 BI 工具 【第5 篇　排程管理工具】 12 排程管理工具 - Apache Airflow 12.1 事前準備 12.2 什麼是排程管理工具？ 12.3 為什麼選擇 Airflow ？ 12.4 什麼是 Airflow ？ 12.5 架設第一個 Airflow 12.6 DAG 介紹 12.7 常見 Operator 介紹 12.8 Airflow 結合爬蟲 - CeleryExecutor 12.9 結論 13 Redis 介紹 13.1 什麼是 Redis ？ 13.2 使用Docker 架設Redis - 結合 Celery 【第6 篇　監控系統】 14 監控工具介紹 14.1 為什麼需要監控系統？ 14.2 最知名的開源監控系統之一 14.3 架設個人化監控儀表板 14.4 總結 15 結論

矽谷頂尖Python工程師面試攻略｜資料結構、演算法、系統設計 (1版)

類似書籍推薦給您

【簡介】 　　★ Google面試官、OPPO高級研究總監　聯手打造  　　融合頂尖科技企業的面試實戰經驗，精選矽谷與國際科技巨頭的典型題型，助你掌握Python技術面試的制勝關鍵。  　　★ 美國喬治亞大學教授、Google專家　領銜推薦  　　全面涵蓋Python技術精要，特別強化常被忽略的系統設計題型，透過實戰範例與解題策略，打造通往矽谷的面試秘笈。  　　本書透過系統性理論與豐富案例，展現Python解決實務問題的強大能力，是一本兼具深度與廣度的技術與面試全書。內容不僅涵蓋資料結構與演算法的核心觀念，更突顯系統設計在面試中的關鍵角色。對於準備進入科技公司、精進Python實力的讀者而言，都是不可或缺的參考指南。 —— 劉天明　美國喬治亞大學電腦系教授  　　本書不僅是Python工程師的面試實戰指南，更是解決實務問題的高效工具書。透過清晰易懂的講解風格、豐富實例與模擬題設計，讓理論與實踐緊密結合。無論是準備面試、提升程式設計能力，或深化對系統設計的理解，本書皆為理想之選。 —— 陳瑛　Google Pixel相機部門經理  　　在科技人才輩出的矽谷職場中，如何於面試中脫穎而出？本書作者透過親身經歷並富有生命般的文字闡述，讓讀者有如親臨面試現場，從理論知識到案例研究，保證讓讀者詳細掌握Python最核心的問題解決能力。 —— 徐長愷　鴻海科技集團E事業群人工智能技術處資深處長  　　本書重點內容：  　　■　掌握面試策略：深入了解矽谷及國際科技大廠的面試流程與重點  　　■　熟悉資料結構：從基礎到進階，透過實例掌握常用資料結構  　　■　深入解析演算法：涵蓋核心演算法，結合實例解析實際應用技巧  　　■　系統設計基礎：學習可擴展、高效系統架構的設計方法  　　■　實戰案例解析：包括快取、爬蟲、自動補全等多元實例設計  　　■　拓展進階知識：涵蓋並行處理、機器學習與推薦系統設計  　　■　鞏固面試實力：藉由模擬題演練，強化應試技能  　　■　提升職涯競爭力：為科技大廠面試做好萬全準備，爭取最佳待遇   【目錄】 【PART 1 面試流程】  chapter 1 矽谷公司面試流程  1.1 非技術電話面試  1.2 技術電話面試  1.3 現場面試  【PART 2 資料結構】  chapter 2 串列  2.1 串列的基礎知識  2.2 實例 1：最長連續 1 的個數  2.3 實例 2：二進位相加  2.4 實例 3：查詢範圍和  2.5 實例 4：隨機索引  2.6 實例 5：下一個更大排列  2.7 實例 6：驗證有效數字  2.8 實例 7：遞迴小數  chapter 3 堆疊  3.1 堆疊的基礎知識  3.2 實例 1：透過最小移除操作得到有效的括弧  3.3 實例 2：函式的專用時間  chapter 4 佇列  4.1 佇列的 3 種實現方式  4.2 實例 1：設計循環佇列  4.3 實例 2：求和大於 K 的最短非空連續子陣列的長度  chapter 5 優先佇列  5.1 優先佇列的 3 種實現方式  5.2 實例 1：僱用 K 個工人的最低成本  5.3 實例 2：判斷陣列是否可以拆分為連續的子序列  chapter 6 字典  6.1 字典的基礎知識  6.2 實例 1：和等於 K 的連續子陣列的總數  6.3 實例 2：標籤中的最大值  6.4 實例 3：以平均時間複雜度 O(1) 實現插入、刪除和獲取隨機值  6.5 實例 4：最近最少使用快取記憶體  chapter 7 集合  7.1 集合的基礎知識  7.2 集合的基本操作  chapter 8 鏈結串列  8.1 雙指標技術  8.2 實例 1：判斷鏈結串列是否有循環  8.3 實例 2：兩個鏈結串列的交集  8.4 實例 3：複製隨機鏈結串列  8.5 實例 4：反轉鏈結串列  chapter 9 二元樹  9.1 層次順序走訪  9.2 遞迴方法用於樹的走訪  9.3 實例 1：二元樹的最低共同祖先  9.4 實例 2：序列化和反序列化二元樹  9.5 實例 3：求二元樹的最大路徑和  9.6 實例 4：將二元樹轉換為雙鏈結串列  chapter 10 其他樹結構  10.1 前綴樹  10.2 線段樹  10.3 二元索引樹  10.4 實例 1：範圍和的個數  10.5 實例 2：計算後面較小數字的個數  chapter 11 圖形  11.1 圖形的表示  11.2 實例 1：克隆圖  11.3 實例 2：圖驗證樹  【PART 3 演算法】  chapter 12 二分搜尋法  12.1 實例 1：求平方根  12.2 實例 2：在旋轉排序串列中搜索  12.3 實例 3：會議室預訂問題  chapter 13 雙指標法  13.1 實例 1：稀疏向量的內積  13.2 實例 2：最小視窗子字串  13.3 實例 3：區間交集  13.4 實例 4：最長連續 1 的個數  13.5 實例 5：搜尋字串中的所有字母  chapter 14 動態規劃  14.1 動態規劃的基礎知識  14.2 實例 1：買賣股票的最佳時間  14.3 實例 2：硬幣找零  14.4 實例 3：計算解碼方式總數  chapter 15 深度優先搜尋  15.1 深度優先搜尋的應用  15.2 實例 1：太平洋和大西洋的水流問題  15.3 實例 2：預測獲勝者  15.4 實例 3：運算式與運算子  chapter 16 回溯  16.1 實例 1：數獨求解  16.2 實例 2：掃地機器人  chapter 17 廣度優先搜尋  17.1 廣度優先搜尋的應用  17.2 實例 1：牆與門  17.3 實例 2：課程表  17.4 實例 3：公車路線  17.5 實例 4：判斷二分圖  17.6 實例 5：單字階梯  chapter 18 併查集  18.1 併查集的基本概念  18.2 實例：朋友圈  chapter 19 資料結構、演算法面試試題實戰  19.1 實例 1：檔案系統  19.2 實例 2：最長單字鏈  19.3 實例 3：圓圈組  【PART 4 系統設計】  chapter 20 系統設計理論  20.1 設計步驟  20.2 網域名稱系統  20.3 負載平衡器  20.4 分散式快取系統  20.5 雜湊一致性  chapter 21 系統設計實戰  21.1 設計分散式快取系統  21.2 設計網路爬蟲系統  21.3 TinyURL 的加密與解密  21.4 設計自動完成功能  21.5 設計新聞動態功能  21.6 設計 X（Twitter）應用程式  21.7 設計 Uber/Lyft 應用程式  chapter 22 多執行緒程式設計  22.1 多執行緒面試問題  22.2 實例 1：形成水分子  22.3 實例 2：列印零、偶數、奇數  chapter 23 設計機器學習系統  23.1 機器學習的基礎知識  23.2 機器學習的進階知識  23.3 機器學習面試  23.4 實例 1：搜尋排名系統  23.5 實例 2：Netflix 電影推薦系統  

Python 資料科學實戰教本 - 爬蟲、清理、資料庫、視覺化、探索式分析、機器學習建模，數據工程一次搞定！ (1版)

類似書籍推薦給您

Python 資料科學實戰教本 - 爬蟲、清理、資料庫、視覺化、探索式分析、機器學習建模，數據工程一次搞定！ ISBN13：9789863127246 出版社：旗標出版社 作者：陳會安 裝訂／頁數：平裝／616頁 規格：23cm*17cm*2.8cm (高/寬/厚) 重量：946克 出版日：2022/08/22 中國圖書分類：電腦科學 內容簡介 【題材涵蓋最全面！一本書掌握資料科學 / 數據工程必學 know-how！】   從大數據到人工智慧世代，其背後蘊含的關鍵技術與理論不脫資料科學、機器學習的範疇。基本上，資料科學需要的背景知識與技能相當的多，通常要會 Python 程式設計基礎、熟悉相關 Python 套件和模組的使用；再加上機器學習的基礎就是機率和統計，因此也免不了得學機率和統計知識，可說有一拖拉庫的主題等著你去學，也難怪市面上各主題 (程式基礎、統計、套件、機器學習建模...) 的專書滿坑滿谷，一時間實在讓人難以消化...   為了降低讀者初學資料科學面對的負擔以及混亂感，我們精心設計了這本入門實戰教本，秉持讓讀者「買一本抵多本」的精神，本書一次涵蓋所有入門必須熟悉的重要題材，同時也將初學資料科學的脈絡梳理清楚。   在章節的安排上，本書從資料取得的網路爬蟲開始，提供一個標準 SOP 來幫助讀者從網路取得資料；接著說明資料科學必學的 Python 重量級套件，再接著介紹機率、統計和探索式資料分析的基礎知識，最後進入最熱門的機器學習、深度學習建模主題。   這一連串「取得資料 → 探索資料 → 預測分析」是一套完整的資料科學 / 數據工程實戰訓練，跟著本書掌握這些重要 know-how 後，就不難看懂網路上眾多資料科學、機器學習專案的 Python 程式碼和線上教材，甚至參與資料科學、機器學習的網路競賽；希望本書能協助讀者開啟資料科學家 / 數據工程師的成功之路！   本書特色   □ 資料科學三部曲：取得資料 → 探索資料 → 預測分析 □ 一次補足最入門的統計和機率基礎 □ Python 開發環境與基礎語法快速上手 □ 從網頁爬蟲、資料清理到資料視覺化，快速完成資料探索的預處理程序 □ 將清理後的資料存入 SQL 資料庫，便於日後存取利用 □ 實踐資料科學的四大套件：NumPy、Pandas、Matplotlib、Seaborn 一次掌握 □ 用 Scikit-learn、tensorflow.Keras 套件實作最熱門的 AI 機器學習應用 目錄 第一篇 資料科學和 Python 基礎 第 1 章 資料科學概論與開發環境建立 – Anaconda 第 2 章 Python 程式語言   第二篇 網路爬蟲和 Open Data (取得、清理與儲存資料) 第 3 章 取得網路資料 第 4 章 資料擷取 第 5 章 資料清理與資料儲存 第 6 章 網路爬蟲實作案例   第三篇 Python資料科學套件 – 探索資料（資料視覺化與大數據分析） 第 7 章 向量與矩陣運算 – NumPy 套件 第 8 章 資料處理與分析 – Pandas 套件 第 9 章 大數據分析 (一) – Matplotlib 和 Pandas 資料視覺化 第 10 章 大數據分析 (二) – Seaborn 統計資料視覺化 第 11 章 機率與統計 第 12 章 估計與檢定 第 13 章 探索性資料分析實作案例   第四篇 人工智慧、機器學習與深度學習 – 預測資料 第 14 章 人工智慧與機器學習概論 – 認識深度學習 第 15 章 機器學習演算法實作案例 – 迴歸 第 16 章 機器學習演算法實作案例 – 分類與分群 第 17 章 深度學習神經網路實作案例   附錄 A：HTML 網頁結構與 CSS 附錄 B：Python 文字檔案存取與字串處理 附錄 C：下載與安裝 MongoDB 和 MySQL 資料庫