使用Python搜刮網路資料的12堂實習課

類似書籍推薦給您

使用Python搜刮網路資料的12堂實習課 ISBN13：9789864345212 出版社：博碩文化 作者：何敏煌;葉柏漢;顏凰竹 裝訂／頁數：平裝／352頁 規格：23cm*17cm*1.8cm (高/寬/厚) 出版日：2020/10/07 中國圖書分類：電腦程式語言 內容簡介 　　網路爬蟲是AI範疇中， 　　取得資料與儲存的一項重要技能， 　　而Python是爬蟲過程中相當好用的工具 　　全書以簡單的Python程式為主軸，讓您可以輕鬆學會如何利用Python的模組擷取公開的網站資料、網頁內容，並建立自己的自動化爬蟲程式，增進您在網路上搜刮資料的能力與效率，是已具有Python基礎的學習者最佳的爬蟲入門工具書。 　　在本書中我們將學會使用以下的Python開發環境、模組及框架： 　　Thonny　　　　Jupyter Notebook　　　requests 　　json　　　　　csv　　　　　　　　　　re 　　xlrd　　　　　BeautifulSoup　　　　　Selenium 　　sqlite3　　　　mysql　　　　　　　　pymongo 　　pyinstaller　　Scrapy　　　　　　　　pyautogui 　　並學習如何擷取以下的幾種網站： 　　☑大學網站的焦點新聞頁面 ☑政府公開資訊網站 　　☑即時新聞網站標題、內容、圖片 ☑汽車網站之車款資訊及二手車在庫資訊 　　☑銀行網站之匯率資料擷取 ☑中央氣象局之氣溫觀測資訊 　　☑Ptt八卦版年齡宣告按鈕及Ptt討論區貼文擷取 ☑網路書店暢銷書排行榜 　　☑股市網站財經新聞 ☑線上購物網站產品資訊 　　☑名言佳句範例網站 ☑台灣證券交易所股票資訊 　　☑Dcard梗圖下載 ☑台灣運彩官網資訊 　　☑Mobile01討論區貼文 本書特色 　　✪了解網站、網頁、瀏覽器間的關係，認識爬蟲程式 　　✪了解網路上格式HTML/CSV/JSON/XLSX 　　✪使用requests模組取得網路上的資料 　　✪擷取及解析JSON及CSV格式資料檔案 　　✪利用Regular Expression及BeautifulSoup模組剖析網頁資料 　　✪活用Chrome開發人員工具找出網頁中特定資料的CSS選擇器內容 　　✪使用Selenium自動化工具擷取動態網頁 　　✪把擷取的資料儲存到MySQL及MongoDB資料庫 　　✪利用排程器做到自動化資料擷取及通知的功能 　　✪透過Scrapy框架建立爬蟲程式，大量搜刮資料 目錄 第1堂 認識網站與網路爬蟲原理 1-1 什麼是爬蟲程式 1-2 瀏覽器與網頁伺服器 1-3 從網站下載資料的概念與原理 1-4 本書程式執行環境的建立 1-5 習題 第2堂 快速了解網路資料格式 2-1 HTML/CSS 2-2 CSV 2-3 JSON 2-4 XLS/XLSX 2-5 習題 第3堂 擷取網頁資料基礎 3-1 requests模組介紹與使用 3-2 資料檔案存取 3-3 網路公開資訊CSV格式讀取實例 3-4 網路公開資訊JSON格式讀取實例 3-5 習題 第4堂 HTML網頁剖析基礎 4-1 使用Regular Expression剖析網頁 4-2 使用BeautifulSoup剖析網頁 4-3 新聞網站之擷取與儲存 4-4 網頁圖形檔之擷取與儲存 4-5 習題 第5堂 HTML網頁剖析實務 5-1 Jupyter Notebook安裝與使用 5-2 Chrome開發人員工具 5-3 活用表單查詢存取資料 5-4 新聞網站內容之擷取與儲存 5-5 習題 第6堂 CSS選擇器基礎與活用 6-1 CSS 選擇器介紹 6-2 Selenium安裝與使用 6-3 動態網頁資料擷取 6-4 表單登入網頁擷取 6-5 習題 第7堂 MySQL資料庫儲存 7-1 資料庫與SQL 7-2 SQLite資料庫簡介與操作 7-3 MySQL資料庫系統安裝 7-4 MySQL資料庫操作實例 7-5 習題 第8堂 MongoDB資料庫操作 8-1 MongoDB安裝與操作 8-2 使用Python儲存資料 8-3 使用Python讀取資料 8-4 MongoDB資料庫應用實例 8-5 習題 第9堂 自動化資料擷取 9-1 自動化資料擷取程式 9-2 電子郵件通知實作 9-3 建立可執行檔 9-4 作業系統排程設定 9-5 習題 第10堂 Scrapy初階 10-1 Scrapy簡介與安裝 10-2 Scrapy Shell測試與練習 10-3 Scrapy專案檔案的編輯與執行 10-4 爬取網頁內容並儲存到資料庫 10-5 習題 第11堂 Scrapy 爬蟲實務 11-1 學校網頁資料爬取實例 11-2 新聞網站資料爬取實例 11-3 PTT討論區爬取實例 11-4 習題 第12堂 爬蟲實戰技巧及實例 12-1 活用pyautogui模組和網頁互動 12-2 Dcard梗圖爬取實例 12-3 下載無限捲動網頁內容 12-4 MOBILE01討論區爬取實例 12-5 車商二手車資料下載實例 12-6 習題 附錄 反爬蟲與反反爬蟲的戰爭 a-1 網站的robotstxt a-2 User-Agent a-3 頻繁的request請求 a-4 JavaScript程式動態產生的網頁 a-5 我不是機器人驗證 a-6 CAPTCHA和reCaptcha驗證碼 a-7 人機合作爬蟲程式解決驗證碼問題

Power Automate 自動化大全：串接 Excel、ChatGPT、SQL 指令，打造報表處理、網路爬蟲、資料分析超高效流程 (1版)

類似書籍推薦給您

內容介紹 「同事下班壓線交報告, 苦了你還要加班一份份貼到 Excel 彙總交出去...」 「周年慶到處收集對手的促銷資訊, 不斷複製、貼上, 做到有點懷疑人生...」 「每天收不完的 Email, 要篩出報價單另存、轉寄真麻煩, 不小心忘了改檔名還要從茫茫郵件中挖出來...」 以往這些日常瑣事只能自己解決, 比較有經驗的人可能懂得找 IT 部門幫忙寫程式自動處理。 現在你不用再自己默默承擔, 也不用拜託別人, 統統交給 Power Automate 就搞定了！ Power Automate 是微軟強力推廣的自動化工具, 不須撰寫程式就可以完成各種自動化的流程作業。本書是市面上最完整的 Power Automate 專書, 教導你如何善用各種內建功能, 搭配 Excel、ChatGPT 和 SQL 查詢語法, 將日常工作打造成簡便的自動化程序。全書共收錄【超過 100 個】日常操作應用例，工作上常遇到的各種重複、單調的作業，現在統統幫你轉化為自動執行的程序。 ◆ 用日期和代號幫不同業務的報表重新命名 ◆ 自動統計、篩選出不同業務區的季報表 ◆ 將總收支流水帳依成員拆解成不同檔案 ◆ 搭配 VBA 將報表匯出成 PDF 檔留存 ◆ 讓 ChatGPT 自動幫你回覆客服信件或留言 ◆ 將資料集中的遺漏值自動以平均值補上 ◆ 自動刪除資料不齊全的紀錄 ◆ 自動將表單依項目、月份拆成不同報表 ◆ 辨識 Excel 功能表元件自動進行各種操作 ◆ 用 OCR 自動將每張發票號碼擷取存入 Excel ◆ 自動切換頁面爬取購物網站的商品資料 ◆ 自動化分割與合併整批 PDF 檔案的內容 ◆ 自動下載、更新網路開放資料集檔案 ◆ 自動登入網站抓取各種資料 ◆ 用 Excel 365 線上自動提醒業績達成狀況 ◆ 自動將郵件檔案或訂單存到網路硬碟保存 從桌面應用到雲端服務，從 RPA、DPA 到 BPA，建立全方位的辦公室自動化流程！ 本書特色 【零基礎】、【全方位】、【跨雲端】，內容最多、範例最豐富的 Power Automate 專書 ◎ 超過 100 個自動化流程範例, 即學即用、簡化例行作業 ◎ 介紹超過 20 大類的功能元件, 打造個人化的自動流程 ◎ 串接各種網路服務, 完成雲端 DPA 或 BPA 的自動化流程 ◎ 讓 Power Automate 自動呼叫 ChatGPT API, 打造 AI 應用 ◎ 運用 UI 元素和影像比對, 讓各種應用程式都可自動操作 ◎ 免用 VBA 完成各種 Excel 自動化表單處理 ◎ 使用內建 OCR 功能自動將畫面或圖片的文字擷取出來 ◎ 善用 ChatGPT 自動生成 SQL 語法, 簡化繁雜的樞紐分析 ◎ 各種常見檔案類型處理：pdf、doc、xls、csv、txt、json、zip... ◎ 提供全書流程範例, 立即貼上、馬上套用 書籍目錄 ▌第 1 章：認識 Power Automate 和 RPA ▌ 1-1 RPA 的基礎 1-2 認識 Power Automate 1-3 下載與安裝 Power Automate 桌面版 1-4 在瀏覽器安裝 Power Automate 擴充功能 ▌第 2 章：Power Automate 基本使用 ▌ 2-1 認識 Power Automate 桌面流程 2-2 建立第一個 Power Automate 桌面流程 2-3 Power Automate 使用介面說明 2-4 匯出/匯入 Power Automate 桌面流程 2-5 Power Automate 的流程控制 ▌第 3 章：變數、條件/迴圈與清單 ▌ 3-1 Power Automate 變數與資料型態 3-2 Power Automate 運算式與資料型態轉換 3-3 Power Automate 條件、清單與迴圈 3-4 Power Automate 桌面流程的除錯 ▌第 4 章：自動化檔案/資料夾與日期/時間處理 ▌ 4-1 自動化檔案與資料夾處理 4-2 自動化日期/時間處理 4-3 實作案例：替整個資料夾檔案更名和移動檔案 4-4 實作案例：建立延遲指定秒數的條件迴圈 ▌第 5 章：自動化操作 Excel 工作表 ▌ 5-1 自動化建立與儲存 Excel 檔案 5-2 自動化在 Excel 工作表新增整列和整欄資料 5-3 自動化讀取和編輯 Excel 儲存格資料 5-4 自動化 Excel 工作表的處理 5-5 實作案例：自動化統計和篩選 Excel 工作表的資料 ▌第 6 章：自動化操作 Excel 活頁簿 ▌ 6-1 自動化處理多個 Excel 活頁簿的資料 6-2 自動化 Excel 活頁簿和工作表的分割與合併 6-3 自動化執行 Excel VBA 程式 6-4 實作案例：自動化 Excel 活頁簿的資料彙整 6-5 實作案例：自動化匯出 Excel 成為 PDF 檔 ▌第 7 章：Power Automate + SQL 高效率 Excel 資料處理術 ▌ 7-1 用 Power Automate 桌面流程執行 SQL 指令 7-2 用 ChatGPT 學習 SQL 語言 7-3 用 SQL 指令篩選 Excel 資料和進行資料分析 7-4 用 SQL 指令新增與編輯 Excel 資料 7-5 實作案例：用 SQL 指令處理 Excel 遺漏值 7-6 實作案例：用 SQL 指令在 Excel 工作表刪除記錄 ▌第 8 章：SQL 語言的高效率 Excel 資料分析 ▌ 8-1 更多 SQL 資料篩選指令 8-2 SQL 群組查詢與空值處理 8-3 SQL 子查詢與 UNION 聯集查詢 8-4 關聯式資料庫與 INNER JOIN 合併查詢 8-5 實作案例：用 SQL 指令合併 Excel 工作表 8-6 實作案例：用 SQL 指令建立 Excel 樞紐分析表 ▌第 9 章：自動化操控Windows應用程式與OCR ▌ 9-1 自動化操作 Windows 應用程式 9-2 擷取 Windows 應用程式的資料 9-3 自動化操作 OCR 文字識別 9-4 實作案例：列印 Excel 工作表成為 PDF 檔 9-5 實作案例：用 OCR 擷取發票號碼存入 Excel ▌第 10 章：自動化擷取 Web 網頁和 PDF 資料 ▌ 10-1 自動化拍攝網頁的螢幕擷取畫面 10-2 建立網路爬蟲擷取 Web 網頁資料 10-3 從 PDF 檔案擷取資料 10-4 實作案例：切換頁面爬取分頁 HTML 表格資料 10-5 實作案例：分割與合併 PDF 檔案的頁面 ▌第11章：自動化填寫表單、ChatGPT API與下載網路資料 ▌ 11-1 自動化填寫 Windows 應用程式表單 11-2 自動化填寫 Web 介面的 HTML 表單 11-3 Web 服務與 ChatGPT API 11-4 實作案例：自動化下載網路 CSV 檔和匯入 Excel 檔 11-5 實作案例：自動化登入 Web 網站 ▌第 12 章：Power Automate雲端版的網路服務 ▌ 12-1 認識 Power Automate 桌面與雲端流程 12-2 使用 Power Automate 雲端版 12-3 建立您的 Power Automate 雲端流程 12-4 實作範例：用 Office 365 Excel X Outlook 自動化寄送業績未達標通知 附錄 A 註冊與使用ChatGPT(電子書) 附錄 B 下載與安裝 SQL Server Express 版(電子書)