Python大數據專案X工程X產品 資料工程師的升級攻略 (2版)

類似書籍推薦給您

★☆★☆★ 獨家解析知名大數據專案，FinMind，帶你一窺大數據產品的發展過程，打造專屬個人的大數據 Side Project、作品、產品 ★☆★☆★ 本書承襲第一版的精彩內容，分享在 Github 獲得 1,900 stars 的大數據 Side Project，並幫助讀者從 0 開始，打造專屬個人的大數據 Side Project。 精彩收錄： 【資料工程】 ○ 使用分散式技術，RabbitMQ、Flower、Celery，收集證交所、櫃買中心、期交所等股市資訊。 ○ 使用 Docker、FastAPI 架設 RESTful API 服務。 ○ 使用 Docker Swarm 架設分散式服務，包含爬蟲、RESTful API、資料庫 MySQL、RabbitMQ 等服務。 ○ 使用雲端服務，一個月 5 美金，且免費提供 100 美金額度。 ○ 一站式管理多台分散式機器。 ○ 使用業界等級的，分散式 Airflow。 【產品迭代】 ○ 單元測試 Unit Test 介紹，包含爬蟲、API 測試範例。 ○ 使用 CICD 做持續性整合、部屬，並以 Gitlab-CI 搭配 API 服務做為範例。 【API 產品上線】 ○ 免費網址申請教學，No-IP。 ○ 免費 SSL 憑證教學，Let's Encrypt。 ○ 一站式管理多服務網址，容器化反向代理工具 Traefik。 【業界資料視覺化工具】 ○ 使用 Redash 建立個人化、股市分析儀錶板。 【監控系統】 ○ 使用最知名的監控工具，Prometheus、Grafana，同時監控所有服務。 讀完本書，你將學會分散式爬蟲、RESTful API、MySQL 資料庫、壓力測試、Docker Swarm、CICD、雲端、Traefik、Redash 視覺化、分散式 Airflow、監控系統 Prometheus、Grafana 等，本書是一本集大成的作品。 ※本書程式實例可至深智官網下載http://deepwisdom.com.tw 產品目錄 【第1 篇　資料工程 ETL】 01 本書介紹 02 開發環境 2.1 開發環境重要性 2.2 Linux 作業系統 2.3 Windows 作業系統 2.4 Mac 作業系統 2.5 Python 開發工具 VS Code 03 Docker 3.1 為什麼先介紹 Docker ？ 3.2 什麼是 Docker ？ 3.3 安裝 Docker 3.4 安裝 Docker-Compose 04 雲端 4.1 為什麼要用雲端？ 05 資料收集 5.1 Python 環境設置 5.2 爬蟲 5.3 資料庫架設 5.4 上傳資料到資料庫 5.5 分散式爬蟲 5.6 定時爬蟲 06 資料提供—RESTful API 設計 6.1 什麼是 API ？ 6.2 輕量 API --- Flask 6.3 高效能 API --- FastAPI 07 容器管理工具 Docker 7.1 為什麼要用 Docker 7.2 建立第一個Docker Image --- Dockerfile 7.3 發布 Docker Image 7.4 雲端部屬 7.5 Docker Swarm 7.6 部屬服務 【第2 篇　產品迭代-- 測試運維】 08 自動化測試 8.1 單元測試 Unit Test 09 CICD 持續性整合、部屬 9.1 什麼是 CICD ？ 9.2 CI 持續性整合 9.3 Gitlab-CI、以爬蟲專案為例 9.4 Gitlab-CI，建立 Docker Image 9.5 Gitlab-CI，部屬新版本 9.6 Gitlab-CI、以 API 專案為例 9.7 總結 【第3 篇　API 產品上線】 10 API 服務網址 10.1 為什麼需要網址？ 10.2 No-Ip 免費的網址申請 10.3 Let's Encrypt 免費的 SSL 憑證 10.4 Traefik 10.5 API 結合Traefik 10.6 總結 【第4 篇　資料視覺化】 11 視覺化工具 11.1 什麼是視覺化？ 11.2 Redash 11.3 Redash 帳號設定 11.4 資料庫連接 11.5 匯入資料 11.6 製作第一個圖表 11.7 第一個 Dashboard 11.8 設定下拉式選單 11.9 其他 BI 工具 【第5 篇　排程管理工具】 12 排程管理工具 - Apache Airflow 12.1 事前準備 12.2 什麼是排程管理工具？ 12.3 為什麼選擇 Airflow ？ 12.4 什麼是 Airflow ？ 12.5 架設第一個 Airflow 12.6 DAG 介紹 12.7 常見 Operator 介紹 12.8 Airflow 結合爬蟲 - CeleryExecutor 12.9 結論 13 Redis 介紹 13.1 什麼是 Redis ？ 13.2 使用Docker 架設Redis - 結合 Celery 【第6 篇　監控系統】 14 監控工具介紹 14.1 為什麼需要監控系統？ 14.2 最知名的開源監控系統之一 14.3 架設個人化監控儀表板 14.4 總結 15 結論

Python+TensorFlow 2.x人工智慧、機器學習、大數據｜超炫專案與完全實戰 (1版)

類似書籍推薦給您

Python+TensorFlow 2.x人工智慧、機器學習、大數據：超炫專案與完全實戰 ISBN13：9789865025984 出版社：碁峰資訊 作者：柯博文 裝訂／頁數：平裝／432頁 規格：23cm*17cm*2cm (高/寬/厚) 版次：2 出版日：2020/09/29 中國圖書分類：電腦程式語言 內容簡介 　　【嚴選經典】美國矽谷創業家／全球科技大廠與業界指定工研院顧問講師之Python TensorFlow人工智慧機器學習入門鉅作！ 　　本書為作者柯博文老師在各大企業教授Python、機器學習、人工智慧的課程內容匯集而成。歷經業界頂尖的工程師學員多次考驗，實戰多年後才匯集成冊。內容包含：Python、機器學習、人工智慧、TensorFlow、Keras、OpenCV等相關API的使用方法。並提供了203個範例程式，與169支影音教學影片。 　　◎以豐富的範例淺顯易懂的解說Python程式語言，並加入詳細的程式註解，使讀者瞭解每個程式的動作。 　　◎介紹業界統計分析相關的機器學習資料分析程式，並大量使用業界數據，進行分析和預測。 　　◎使用Tensorflow.Keras實踐人工智慧，以MLP類神經的原理和案例，讓讀者瞭解如何修改程式，才能達到百分百的準確率的目標，並用CNN的手寫辨識方法，結合OpenCV達到學習人工智慧，並且實際應用在生活中。 聯合推薦 　　嘉義基督教醫院 兒童醫學部兒童腎臟科主任、嘉基創新育成中心主任 周信旭醫師 　　Eco-City智慧生活科技區域整合中心執行長、國立交通大學土木工程系 曾仁杰教授 　　台北榮民總醫院 關艾琛醫師 目錄 1.Python程式語言 2.Python程式語言安裝 3.開發程式和工具 4.Python程式基礎 5.函數和物件導向OOP 6.視窗處理GUI Tkinter 7.資料定義Containers 8.圖表函式庫matplotlib.pylib 9.檔案處理和Open Data 開放資料 10.網路 11.資料庫MySQL 12.自然語言處理－文字、語意分析和繁簡體的轉換 13.人工智慧標記語言AIML 14.網頁伺服器 15.網路爬蟲BeautifulSoup4 16.Pandas數據分析和量化投資 17.Numpy 矩陣運算數學函數函式庫 18.執行檔包裝程式Pyinstaller 19.機器學習演算法－Regression迴歸分析 20.機器學習演算法－KNN最近鄰居法 21.機器學習演算法－K-means平均演算法 22.機器學習演算法－Decision Tree決策樹演算法 23.機器學習演算法－Random Forest隨機森林演算法 24.機器學習演算法－Bayes' theorem貝氏分類器 25.TensorFlow介紹和安裝 26.TensorFlow的類神經網路－MLP 快速上手 27.TensorFlow改善類神經模型MLP 結果 28.TensorFlow花的辨識－MLP 29.TensorFlow存取模型和訓練結果 30.TensorFlow實戰圖形和手寫辨識MLP 31.TensorFlow卷積神經網路CNN 32.OpenCV和TensorFlow卷積神經網路CNN即時辨識

大數據看臺灣 (1版)

類似書籍推薦給您

【簡介】 不喊口號，拒絕悲情，用客觀的數據圖表，認識真正的臺灣歷史 　　◎本書嘗試用科學研究的方法，收集大量數據進行分析比較，並用完整的數據圖表清晰呈現，歷史真相一目瞭然。 　　◎在客觀的大數據面前，臺灣在國民政府和日本殖民統治下取得的治理成績，孰優孰劣，讀者自有判斷。 　　近代的臺灣，在很多方面都取得令人矚目的成就。 　　然而，臺灣在民主化之後， 　　國民政府在臺灣的政績經常被刻意忽視或遮掩， 　　日本殖民政府的些許成就卻被大肆宣傳， 　　製造臺灣在日據時期先進美好的假象。 　　造成這個歷史扭曲最主要的原因， 　　乃在強烈的中國VS本土意識形態的對立， 　　所以雖然已經經過多次政黨輪替， 　　但台灣仍面臨內部的問題和隱憂， 　　而建立共識是化解這些紛爭矛盾的基礎， 　　正確認識日本殖民政府和國民政府在臺灣的政績， 　　則是建立共識的第一步。 【目錄】 自序 第一章 從GDP看臺灣 一、戰後臺灣的的名目人均GDP 二、與美國比較 三、日據時期的人均GDP 四、戰爭對GDP的影響 五、更多國家的比較 六、臺灣是第幾級的國家 七、達成不可能的任務 八、美援和運臺黃金的貢獻 九、總結 參考資料 第二章 臺灣的教育建設 一、小學教育 二、初中教育 三、高中教育 四、師範教育 五、專科教育 六、大學教育 七、總結 參考資料 第三章 臺灣的基礎建設 一、自來水 二、水庫 三、農田水利 四、電力 五、鐵路 六、公路 七、港口 參考資料 第四章 美好的日據時期？ 一、臺灣物價指數 二、臺灣物價 vs 日本物價 三、臺灣銀行券總發行額 四、臺灣米價 vs 躉售物價 五、臺灣米價 vs 日本米價 六、日籍薪資 vs 台籍薪資 七、人均所得倍數：臺灣 vs 日本 八、日據時期的各級教育 九、各級教育日籍學生比例 十、台籍官員人數 十一、臺灣電力裝置容量 十二、自來水普及率 十三、臺灣米穀產量 十四、公共衛生與醫療建設 十五、日據時期的人均GDP 十六、總結 參考資料 第五章 國民政府在臺灣的成績單 一、臺灣物價指數 二、臺灣物價 vs 日本物價 三、臺灣物價 vs 大陸物價 四、國府時期的各級教育 五、臺灣的電力 六、臺灣自來水普及率 七、臺灣水庫容量 八、臺灣稻米產量 九、公共衛生與醫療建設 十、臺灣的人均GDP 十一、臺灣的健康與財富水準變化 十二、總結 參考資料 第六章 臺灣的半導體之路 一、關鍵人物 二、張俊彥是臺灣半導體之父？ 三、臺灣半導體業發展史 四、半導體成功的關鍵 五、小故事 六、誰賣掉了臺積電股票 七、結論 參考資料 第七章 幸運的臺灣 一、美國跳島戰術，臺灣逃過大劫 二、日本無條件投降 三、衛國戰爭後期久違的金門大捷 四、國民政府遷臺 五、韓戰爆發 美國協防臺灣 參考資料 第八章 日本的進化 一、戰爭機器 二、轉變的節點：明治維新與GHQ統治日本 三、數據裡的真相 四、結論 參考資料 第九章 專家的話都是對的？ 一、名人的股市投資 二、為什麼經濟學家做投資大多數都是失敗的？ 三、電影《薩利機長：哈德遜奇蹟》的啟示 參考資料

行銷研究：AI、大數據與傳統行銷工 (2版)

類似書籍推薦給您

【簡介】 1.加入新的AI工具、大數據分析，與傳統行銷工具結合 行銷環境的變化一日千里，本書與時俱進加入AI、大數據分析與設計網路問卷章節內容與傳統行銷工具結合，幫助老師使用新的工具，來教導AI世代的學生。 2.加入SPSS操作與練習範例，強化學生統計軟體操作能力 雖然目前的AI軟體已能依照使用者需求生成統計圖表，但身為行銷研究人員必須了解統計數字背後所使用的多變量與敘述統計方法。本書示例IBM公司SPSS軟體的操作過程，並提供練習檔讓學生於課堂實際操作統計軟體，以熟練各種統計分析的技巧。 3.加入新產品開法議題，提升學生創新能力 為有效激發學生的學習動機與創造力，本書特別加入新產品開發議題，促使老師和學生以新產品開發程序進行創意思考，並藉由觀察周遭環境找出尚未被滿足的需求，培養主動找出問題並設法解決的能力。 4.加入行銷理論與解釋統計軟體分析的方式 本書介紹行銷研究人員常用的多變量分析工具（如集群分析、迴歸分析、交叉分析、多元尺度分析、單因子變異數分析等），以及如何運用這些分析工具驗證所提出的研究假設，進一步達到區隔市場、選擇目標消費者與決定合適的價值主張。 【目錄】 第一篇 何謂行銷研究 第1章 行銷研究介紹 第2章 找出既有趣又有意義的研究題目 第3章 行銷資訊系統與次級資料 第4章 傳統行銷策略分析工具 第二篇 大數據資料的取得與分析 第5章 大數據資料特性與分析方法 第6章 大數據資料與顧客關係管理 第三篇 初級資料的取得 第7章 深入了解消費者想法：質化研究與資料的蒐集 第8章 新產品開發與概念測試 第9章 如何使用實驗設計法來幫助完成行銷研究案 第10章 行銷研究的問卷設計 第11章 抽樣、調查法與行銷理論 第四篇 初級資料的分析與呈現 第12章 問卷資料的編碼與分析 第13章 問卷資料常用的分析工具 第14章 行銷研究報告之撰寫與簡報

商用大數據分析-第二版(商用數據應用師認證教材指定用書) (2版)

類似書籍推薦給您

【簡介】 👍 中華企業資源規劃學會「商用數據應用師」認證教材指定用書 過去在商用大數據分析上，多著重在演算法的介紹，內容過於側重數理理解，這讓許多商管學生為之卻步。更有甚者，是太著重在程式撰寫上，這也讓沒有程式基礎的學生難以親近應用。 本書要打破這些商管學生的困擾，以顧客的R（銷售時間）、F（銷售頻率）、M（銷售金額）商業資料為主，以循序漸進方式，介紹各類資料探勘的聰明方法（即演算法），再透過免費的Google Colab平台，以Python語言為基礎，用簡易的指令撰寫，協助商管背景人士一步步進行操作，期望商管人士可以在這樣開放、免費的環境下，透過案例說明與實作，輕鬆跨過這道牆，建立起對商用大數據分析的正確基礎觀念與操作。 * 最新第二版特別針對生成式人工智慧（Generative AI）等新興技術進行介紹，讓讀者可以在大數據的框架下，掌握未來技術的發展趨勢。 * 以豐富的插圖與淺顯易懂的解說，輕鬆讀懂大數據演算法的內容。 * 提供商管案例做為資料探勘參考。 * 所有實作資料來自於轉換後的真實商業資料。 * 提供完整程式碼無痛接軌實作。 * 中華企業資源規劃學會「商用數據應用師」認證教材指定用書。 【目錄】 Chapter 1 簡介 1.1　 認識商用大數據分析 1.2　 資料探勘（Data Mining） 1.3　 說人話的圖表 Chapter 2 開挖 2.1　 了解資料探勘過程的初步步驟 2.2　 如何找到可挖掘的探勘地點 2.3　 選擇探勘工具 Chapter 3 介紹客戶及產品集群的方法 3.1　 集群原理 3.2　 介紹集群的應用 3.3　 如何進行集群 3.4　 判別最佳集群數 3.5　 演算法的應用案例 Chapter 4 看看分群的結果 4.1　 客戶價值與 RFM 模型 4.2　 跑一次看看 4.3　 結果解釋 4.4　 結果應用 Chapter 5 關聯規則 5.1　 探討時間與商品的關聯性 5.2　 找到關聯的意義 5.3　 商家如何從購物車中找出關聯 5.4　 關聯規則演算法運作 5.5　 了解分析過程後的管理意涵 Chapter 6 看看關聯的結果 6.1　 跑一次看看 6.2　 另一案例 6.3　 結果應用 Chapter 7 決策樹 7.1　 如何知道公司資料中的消費者會不會再來購物 7.2　 決策樹怎麼來的 7.3　 如何形成決策樹 7.4　 算一次決策樹 7.5　 驗證建好的決策樹 7.6　 剪枝的概要說明 7.7　 實務應用範例 Chapter 8 看看決策樹的結果 8.1　 跑一次決策樹分析看看 8.2　 如何解釋眼前生成的這棵樹 8.3　 延伸應用 Chapter 9 隨機森林與最近鄰 9.1　 隨機森林 - 把樹擴大了 9.2　 隨機森林演算 9.3　 最近鄰演算法（k nearest neighbor, kNN） 9.4　 kNN 的實務應用 9.5　 實務應用範例 Chapter 10 執行一下隨機森林吧 10.1　 跑一次隨機森林演算法看看 10.2　 結果解釋 Chapter 11 執行一下 kNN 吧 11.1　 跑一次 kNN 演算法 11.2　 結果解釋 Chapter 12 類神經 12.1　 預測 12.2　 預測的基本概念 12.3　 類神經如何運作 12.4　 類神經如何訓練 12.5　 類神經背後原理 12.6　 類神經應用範例 12.7　 生成式人工智慧簡介 12.8　 人工智慧生成句子推演過程 12.9　 人工智慧的挑戰與未來發展 Chapter 13 執行類神經網路 ANN 13.1　 淺談架構 ANN 分類器的概念 13.2　 跑一次 ANN 演算法 13.3　 結果解釋 Chapter 14 支援向量機 14.1　 有效的分類客戶 14.2　 支援向量機 14.3　 人類是如何進行分類 14.4　 電腦上的支援向量機如何分類 14.5　 建立支援向量機模型 14.6　 核函數算完後⋯⋯ 14.7　 應用產生的 SVM 模型來分類 14.8　 支援向量機的實務應 Chapter 15 執行支援向量機 SVM 15.1　 跑一次支援向量機算法 15.2　 結果解釋 附錄A　Colab 使用介紹 (電子書,請線上下載) 附錄B　Python 基本模組套件引用介紹 (電子書,請線上下載) 附錄C　邏輯運算思維中必知語法：if 假如條件的判斷、for 重複工作的迴圈 (電子書,請線上下載)