Python大數據專案X工程X產品 資料工程師的升級攻略 (2版)

類似書籍推薦給您

★☆★☆★ 獨家解析知名大數據專案，FinMind，帶你一窺大數據產品的發展過程，打造專屬個人的大數據 Side Project、作品、產品 ★☆★☆★ 本書承襲第一版的精彩內容，分享在 Github 獲得 1,900 stars 的大數據 Side Project，並幫助讀者從 0 開始，打造專屬個人的大數據 Side Project。 精彩收錄： 【資料工程】 ○ 使用分散式技術，RabbitMQ、Flower、Celery，收集證交所、櫃買中心、期交所等股市資訊。 ○ 使用 Docker、FastAPI 架設 RESTful API 服務。 ○ 使用 Docker Swarm 架設分散式服務，包含爬蟲、RESTful API、資料庫 MySQL、RabbitMQ 等服務。 ○ 使用雲端服務，一個月 5 美金，且免費提供 100 美金額度。 ○ 一站式管理多台分散式機器。 ○ 使用業界等級的，分散式 Airflow。 【產品迭代】 ○ 單元測試 Unit Test 介紹，包含爬蟲、API 測試範例。 ○ 使用 CICD 做持續性整合、部屬，並以 Gitlab-CI 搭配 API 服務做為範例。 【API 產品上線】 ○ 免費網址申請教學，No-IP。 ○ 免費 SSL 憑證教學，Let's Encrypt。 ○ 一站式管理多服務網址，容器化反向代理工具 Traefik。 【業界資料視覺化工具】 ○ 使用 Redash 建立個人化、股市分析儀錶板。 【監控系統】 ○ 使用最知名的監控工具，Prometheus、Grafana，同時監控所有服務。 讀完本書，你將學會分散式爬蟲、RESTful API、MySQL 資料庫、壓力測試、Docker Swarm、CICD、雲端、Traefik、Redash 視覺化、分散式 Airflow、監控系統 Prometheus、Grafana 等，本書是一本集大成的作品。 ※本書程式實例可至深智官網下載http://deepwisdom.com.tw 產品目錄 【第1 篇　資料工程 ETL】 01 本書介紹 02 開發環境 2.1 開發環境重要性 2.2 Linux 作業系統 2.3 Windows 作業系統 2.4 Mac 作業系統 2.5 Python 開發工具 VS Code 03 Docker 3.1 為什麼先介紹 Docker ？ 3.2 什麼是 Docker ？ 3.3 安裝 Docker 3.4 安裝 Docker-Compose 04 雲端 4.1 為什麼要用雲端？ 05 資料收集 5.1 Python 環境設置 5.2 爬蟲 5.3 資料庫架設 5.4 上傳資料到資料庫 5.5 分散式爬蟲 5.6 定時爬蟲 06 資料提供—RESTful API 設計 6.1 什麼是 API ？ 6.2 輕量 API --- Flask 6.3 高效能 API --- FastAPI 07 容器管理工具 Docker 7.1 為什麼要用 Docker 7.2 建立第一個Docker Image --- Dockerfile 7.3 發布 Docker Image 7.4 雲端部屬 7.5 Docker Swarm 7.6 部屬服務 【第2 篇　產品迭代-- 測試運維】 08 自動化測試 8.1 單元測試 Unit Test 09 CICD 持續性整合、部屬 9.1 什麼是 CICD ？ 9.2 CI 持續性整合 9.3 Gitlab-CI、以爬蟲專案為例 9.4 Gitlab-CI，建立 Docker Image 9.5 Gitlab-CI，部屬新版本 9.6 Gitlab-CI、以 API 專案為例 9.7 總結 【第3 篇　API 產品上線】 10 API 服務網址 10.1 為什麼需要網址？ 10.2 No-Ip 免費的網址申請 10.3 Let's Encrypt 免費的 SSL 憑證 10.4 Traefik 10.5 API 結合Traefik 10.6 總結 【第4 篇　資料視覺化】 11 視覺化工具 11.1 什麼是視覺化？ 11.2 Redash 11.3 Redash 帳號設定 11.4 資料庫連接 11.5 匯入資料 11.6 製作第一個圖表 11.7 第一個 Dashboard 11.8 設定下拉式選單 11.9 其他 BI 工具 【第5 篇　排程管理工具】 12 排程管理工具 - Apache Airflow 12.1 事前準備 12.2 什麼是排程管理工具？ 12.3 為什麼選擇 Airflow ？ 12.4 什麼是 Airflow ？ 12.5 架設第一個 Airflow 12.6 DAG 介紹 12.7 常見 Operator 介紹 12.8 Airflow 結合爬蟲 - CeleryExecutor 12.9 結論 13 Redis 介紹 13.1 什麼是 Redis ？ 13.2 使用Docker 架設Redis - 結合 Celery 【第6 篇　監控系統】 14 監控工具介紹 14.1 為什麼需要監控系統？ 14.2 最知名的開源監控系統之一 14.3 架設個人化監控儀表板 14.4 總結 15 結論

Python+TensorFlow 2.x人工智慧、機器學習、大數據｜超炫專案與完全實戰 (1版)

類似書籍推薦給您

Python+TensorFlow 2.x人工智慧、機器學習、大數據：超炫專案與完全實戰 ISBN13：9789865025984 出版社：碁峰資訊 作者：柯博文 裝訂／頁數：平裝／432頁 規格：23cm*17cm*2cm (高/寬/厚) 版次：2 出版日：2020/09/29 中國圖書分類：電腦程式語言 內容簡介 　　【嚴選經典】美國矽谷創業家／全球科技大廠與業界指定工研院顧問講師之Python TensorFlow人工智慧機器學習入門鉅作！ 　　本書為作者柯博文老師在各大企業教授Python、機器學習、人工智慧的課程內容匯集而成。歷經業界頂尖的工程師學員多次考驗，實戰多年後才匯集成冊。內容包含：Python、機器學習、人工智慧、TensorFlow、Keras、OpenCV等相關API的使用方法。並提供了203個範例程式，與169支影音教學影片。 　　◎以豐富的範例淺顯易懂的解說Python程式語言，並加入詳細的程式註解，使讀者瞭解每個程式的動作。 　　◎介紹業界統計分析相關的機器學習資料分析程式，並大量使用業界數據，進行分析和預測。 　　◎使用Tensorflow.Keras實踐人工智慧，以MLP類神經的原理和案例，讓讀者瞭解如何修改程式，才能達到百分百的準確率的目標，並用CNN的手寫辨識方法，結合OpenCV達到學習人工智慧，並且實際應用在生活中。 聯合推薦 　　嘉義基督教醫院 兒童醫學部兒童腎臟科主任、嘉基創新育成中心主任 周信旭醫師 　　Eco-City智慧生活科技區域整合中心執行長、國立交通大學土木工程系 曾仁杰教授 　　台北榮民總醫院 關艾琛醫師 目錄 1.Python程式語言 2.Python程式語言安裝 3.開發程式和工具 4.Python程式基礎 5.函數和物件導向OOP 6.視窗處理GUI Tkinter 7.資料定義Containers 8.圖表函式庫matplotlib.pylib 9.檔案處理和Open Data 開放資料 10.網路 11.資料庫MySQL 12.自然語言處理－文字、語意分析和繁簡體的轉換 13.人工智慧標記語言AIML 14.網頁伺服器 15.網路爬蟲BeautifulSoup4 16.Pandas數據分析和量化投資 17.Numpy 矩陣運算數學函數函式庫 18.執行檔包裝程式Pyinstaller 19.機器學習演算法－Regression迴歸分析 20.機器學習演算法－KNN最近鄰居法 21.機器學習演算法－K-means平均演算法 22.機器學習演算法－Decision Tree決策樹演算法 23.機器學習演算法－Random Forest隨機森林演算法 24.機器學習演算法－Bayes' theorem貝氏分類器 25.TensorFlow介紹和安裝 26.TensorFlow的類神經網路－MLP 快速上手 27.TensorFlow改善類神經模型MLP 結果 28.TensorFlow花的辨識－MLP 29.TensorFlow存取模型和訓練結果 30.TensorFlow實戰圖形和手寫辨識MLP 31.TensorFlow卷積神經網路CNN 32.OpenCV和TensorFlow卷積神經網路CNN即時辨識

住房自由的人生：房地產專家張金鶚教你活用七三法則、大數據，找回居住自主權 (1版)

類似書籍推薦給您

【簡介】 房地產是許多人一生中最昂貴的資產， 面對這麼重大的決策，絕對不能憑直覺、靠運氣。   　　居住是人生中無法逃避的一件大事，無論租屋或買屋，住房應該也是一般人生命中最大的一筆消費。然而，面對這樣的切身大事，你將如何做判斷？是聽媽媽的話，還是任由房仲的話術擺布？面對真真假假的廣告和業配文，到底房地產的真相是什麼？該如何做出正　　確的判斷，找出最適合自己的住房策略呢？ 　　房地產專家張金鶚現身說法，為大家深入剖析房產世界的眉眉角角， 　　引導大家找回和住房的友善關係，正確認識房產世界的運作法則與投資風險——   　　累積數十年經驗的房產專家張金鶚，這次要從自身的住房經驗出發，告訴大家他如何用「七三法則」和「五大購屋元素」幫自己做出最好的住房策略。透過討論各種與住房有關的疑難雜症，幫讀者逐一釐清自己的需要，了解房地產世界的風險與景氣，認識房子與人的生命週期，進而找出最適合自己的住房判斷。   　　此外，他也要教讀者如何活用大數據所製作的「好時價」網站，正確評估房屋的價值與特性，幫自己把房產功課做好做滿，讓讀者在眼花繚亂的房屋買賣話術中，做出真正符合自身需求的明智決定，不會再為了買錯房或被房子套牢而遺憾終身。無論是正為租屋、買屋而煩惱的年輕族群，或是正在思考換屋或以房養老的中高族群，都應該先來看看本書，為自己掌握居住的主控權。   　　◤怎樣才能不做屋奴做屋主？ 　　◤年輕人要考慮買房嗎？ 　　◤購屋前的風險與財務評估該怎麼做？ 　　◤COVID-19爆發，該「危機入市」嗎？ 　　◤能讓房子保值又增值的關鍵是什麼？ 　　◤考慮買房前，有哪些必做的「功課」？ 　　◤如何運用「好時價」蒐集有關房屋的即時價格與相關資訊？ 　　◤什麼才是真正的「好區位」 　　◤景氣循環和房價泡沫有什麼關係？ 　　◤要與父母或子女同住嗎？ 　　◤房地產實價登錄要注意哪些項目？ 　　◤便利商店、社會住宅會影附近的房價嗎？ 　　◤房價指數怎麼看？ 　　◤如何面對換屋困擾？ 【目錄】 自序 用心做功課，不被房屋所綁架 ◤◤第1部  買房、租房前要知道的事 拚房產不等於拚經濟、拚生活 做屋主不做屋奴 【張金鶚教室】 「我曾做過五年的屋奴」 離巢？不離巢？ 租屋黑市知多少？ 年輕人是否該買房？ 笨蛋，問題在房價 為何所得不漲，房價卻不斷上漲？ 房租與房價的龜兔賽跑 租買選擇的心中之尺與市場之尺 【張金鶚教室】 認識房地產的報酬與風險 高房價的恐慌與因應 新冠疫情對房市有什麼影響？ 住宅需求的變動與因應 當前房市困境與展望 ◤◤第2部  掌握七三法則，透視購屋五大元素 房地產專家眼中的住房未來 買房是投資還是消費？ 【張金鶚教室】 認識購屋的五大元素 了解房市投機與景氣循環，謹慎出手 現在選擇買屋好還是租屋好？ 房地產好區位知多少？ 防疫宅在家，居住品質與品味更形重要 認識房價的基值與泡沫 自住投資需求變化對房價的影響 房市降價，該入市或避市？ 社區規模、面積混合與社區品質 提升社區管理不能只靠委外公司 【張金鶚教室】 純投資VS.純消費，買房租屋觀念大不同 用五大元素評估買房自住或投資 【張金鶚教室】 我的購屋七三比法則 ◤◤第3部  活用大數據，自己的房屋功課自己做 房地產實價登錄價格眉角多 實價登錄的房價即為市價嗎？ 預售屋價格知多少？ 有效協助估價的「房地產自動估價模型」 【張金鶚教室】 好時價，你最棒的查價好幫手 實坪制公設不計價適當嗎？ 房屋公設分離計價可比照停車位 便利商店對房價的影響 UBike場站是否會影響周遭房價？ 土壤液化潛勢區該如何看？ 高雄氣爆對周遭房價的影響 建社會宅是否會影響周圍房價？ 房價指數知多少？ 【張金鶚教室】 心中沒有尺，就不要入市場 ◤◤第4部  認識人與房屋的生命週期 房屋老化VS.人口老化 家庭與住宅的生命週期 都市更新的恐慌與因應 認清關鍵問題，才能有效推動都更 建立不完美主義的多元都更 老屋健檢效益大，應積極推動落實 如何面對人生的換屋課題？ 【張金鶚教室】 人與房子的生命週期 要生孩子還是要買房子？ 要不要與子女同住？ 高齡化和高房價，繼承等房的困境 年金改革、長照負擔和以房養老 後記 山居歲月的第三人生 看更多

科學實驗王第二部4：大數據與傳染病 (1版)

類似書籍推薦給您

【簡介】 　　網路與3C產品是現代人的必需品， 　　在數位環境下，你的一舉一動， 　　都會留下痕跡喔！ 　　【第二部的3大特色】 　　1.介紹最新科技趨勢與議題 　　2.操作生活化的科學實驗 　　3.補充跨領域的綜合常識 　　兩天一夜的拍影片行程， 　　遭遇意想不到的難關？   　　阿爾法小隊當選實驗博覽會的宣傳大使。 　　第一個拍攝行程刻意指定太陽小學校長當領隊， 　　沒想到校長的高級房車竟然在出發當天故障了， 　　於是眾人只好搭火車繼續旅行。 　　究竟阿爾法小隊能否順利走完行程呢？   　　【重點科學原理】 　　1.細菌與病毒 　　2.大數據與醫療 　　3.色層分析原理   　　◎書籍資訊：無注音，適合國小中年級以上閱讀。  【目錄】 第一回 結果發表日 【實驗重點】什麼是大數據？ 【金頭腦實驗室1】大數據的特徵            第二回 不祥的火車之旅 【實驗重點】超級電腦、人工智能 【金頭腦實驗室2】大數據的運用   第三回 兩張相同的票 【實驗重點】病毒的發生與症狀 【金頭腦實驗室3】流感、傳染   第四回 初次見面 【實驗重點】數據的蒐集與分析 【金頭腦實驗室4】外科口罩與醫療口罩的比較實驗   第五回 密室逃脫遊戲 【實驗重點】色層分析、定量數據與定性數據 【金頭腦實驗室5】病毒與細菌   第六回 分析數據 【實驗重點】程式設計、十進位法與二進位法 【金頭腦實驗室6】大數據與醫療    

大數據看臺灣 (1版)

類似書籍推薦給您

【簡介】 不喊口號，拒絕悲情，用客觀的數據圖表，認識真正的臺灣歷史 　　◎本書嘗試用科學研究的方法，收集大量數據進行分析比較，並用完整的數據圖表清晰呈現，歷史真相一目瞭然。 　　◎在客觀的大數據面前，臺灣在國民政府和日本殖民統治下取得的治理成績，孰優孰劣，讀者自有判斷。 　　近代的臺灣，在很多方面都取得令人矚目的成就。 　　然而，臺灣在民主化之後， 　　國民政府在臺灣的政績經常被刻意忽視或遮掩， 　　日本殖民政府的些許成就卻被大肆宣傳， 　　製造臺灣在日據時期先進美好的假象。 　　造成這個歷史扭曲最主要的原因， 　　乃在強烈的中國VS本土意識形態的對立， 　　所以雖然已經經過多次政黨輪替， 　　但台灣仍面臨內部的問題和隱憂， 　　而建立共識是化解這些紛爭矛盾的基礎， 　　正確認識日本殖民政府和國民政府在臺灣的政績， 　　則是建立共識的第一步。 【目錄】 自序 第一章 從GDP看臺灣 一、戰後臺灣的的名目人均GDP 二、與美國比較 三、日據時期的人均GDP 四、戰爭對GDP的影響 五、更多國家的比較 六、臺灣是第幾級的國家 七、達成不可能的任務 八、美援和運臺黃金的貢獻 九、總結 參考資料 第二章 臺灣的教育建設 一、小學教育 二、初中教育 三、高中教育 四、師範教育 五、專科教育 六、大學教育 七、總結 參考資料 第三章 臺灣的基礎建設 一、自來水 二、水庫 三、農田水利 四、電力 五、鐵路 六、公路 七、港口 參考資料 第四章 美好的日據時期？ 一、臺灣物價指數 二、臺灣物價 vs 日本物價 三、臺灣銀行券總發行額 四、臺灣米價 vs 躉售物價 五、臺灣米價 vs 日本米價 六、日籍薪資 vs 台籍薪資 七、人均所得倍數：臺灣 vs 日本 八、日據時期的各級教育 九、各級教育日籍學生比例 十、台籍官員人數 十一、臺灣電力裝置容量 十二、自來水普及率 十三、臺灣米穀產量 十四、公共衛生與醫療建設 十五、日據時期的人均GDP 十六、總結 參考資料 第五章 國民政府在臺灣的成績單 一、臺灣物價指數 二、臺灣物價 vs 日本物價 三、臺灣物價 vs 大陸物價 四、國府時期的各級教育 五、臺灣的電力 六、臺灣自來水普及率 七、臺灣水庫容量 八、臺灣稻米產量 九、公共衛生與醫療建設 十、臺灣的人均GDP 十一、臺灣的健康與財富水準變化 十二、總結 參考資料 第六章 臺灣的半導體之路 一、關鍵人物 二、張俊彥是臺灣半導體之父？ 三、臺灣半導體業發展史 四、半導體成功的關鍵 五、小故事 六、誰賣掉了臺積電股票 七、結論 參考資料 第七章 幸運的臺灣 一、美國跳島戰術，臺灣逃過大劫 二、日本無條件投降 三、衛國戰爭後期久違的金門大捷 四、國民政府遷臺 五、韓戰爆發 美國協防臺灣 參考資料 第八章 日本的進化 一、戰爭機器 二、轉變的節點：明治維新與GHQ統治日本 三、數據裡的真相 四、結論 參考資料 第九章 專家的話都是對的？ 一、名人的股市投資 二、為什麼經濟學家做投資大多數都是失敗的？ 三、電影《薩利機長：哈德遜奇蹟》的啟示 參考資料