Python 爬蟲進階特訓 - 非結構化資料抓取應用

用爬蟲技術抓散落在網頁中的資料 - 什麼是非結構化資料？

在全球的多元網頁中，約有７成的資訊會整理成結構化或半結構化的資料。像是資料庫、Excel、csv、json 格式等等。但剩下 3 成缺乏組織的資訊，則會散佈在網頁中，這些就被稱為「非結構化資料」。

這堂課帶你了解如何抓取「非結構化資料」

在「Python 爬蟲入門特訓 ─ 資料抓取與處理應用」課程中，我們介紹了抓取結構化與半結構化的資料，也就是抓取資料庫、表格類、以及逗點或空格分隔等文字化資料。而本課程將再進一步介紹如何抓取不在表格內的資料，透過解析網頁中的 HTML、CSS 等標籤來抓取所需的資料。

除此之外，也會帶大家抓取大量圖片、Youtube 影片等等。再者，也會帶大家透過 Python 與 Line Notify 連結，來傳送訊息給 Line！

最後再帶大家學習如何模擬人的操作網頁方式，讓程式來自動操作網頁的運行。

大家好，我是王穎聰。過去我開設了《Python 入門特訓 - 基礎實作到證照攻略》、與《Python 爬蟲入門特訓 ─ 資料抓取與處理應用》課程，帶著大家打好 Python 基礎、建立基礎程式的撰寫能力；也讓大家學習基礎爬蟲技巧。延續著這兩堂課，本課程的開設目的是讓學習 Python 程式有興趣的人，能有連貫的學習與應用，我想帶著大家繼續鑽研爬蟲程式，並且強化非結構化資料抓取的技能。學習完本課程，幾乎要抓取全世界九成以上的網站都不是問題了！

這堂課適合學過 Python 基礎程式語法，並且學過 Python 爬蟲基礎套件（requests、pandas、matplotlib 等）的人。

• 如果你有興趣、還沒有學過 Python 基礎程式語法、還沒有程式基礎 ▶ 推薦你加入老師開設的初階課程《Python 入門特訓 - 基礎實作到證照攻略》，好好紮穩基底。
  
• 如果你還沒有學過 Python 爬蟲基礎套件（requests、pandas、matplotlib 等）▶ 推薦你加入老師的《Python 爬蟲入門特訓 ─ 資料抓取與處理應用》課程。

本課程涵蓋六大章節、共 360 分鐘，課程秉持一貫的手把手教學，邊編寫程式、邊解說原理，並且邊執行程式、邊觀察結果，能達到充分理解程式的意義與用法。且都是直接使用目前線上運行中的常用網站當範例，因此學完之後，有大部分都能運用在日常生活所需抓取的資料中。

章節一：課程的開釋

分析本課程與上一個課程抓取的差異點。另外講解兩個開發環境 Anaconda 與 Google Colab。其中 Anaconda 在 2022.05 的版本出現了重大問題，直到 2022.10 發佈了新版總算修改回來，在單元 2 中會特別說明，以免未來再發生狀況的應對方式。

單元 1 : 結構化、半結構化的表格資料，與非結構化資料的區別說明

單元 2 : 安裝開發軟體與介紹介面

章節二：讓「美麗的湯」來幫你抓網頁 HTML 語法中、特定特徵下的資料

了解 HTML 網頁的架構，進而透過 BeautifulSoup 套件來抓取網頁特徵標籤、抓到指定的文字內容或者網址，後面各章節的文字、圖片、Youtube 影音等就能輕鬆抓取。

單元 1：網頁的組成架構

單元 2：Chrome 瀏覽器的開發人員模式

單元 3：BeautifulSoup 套件的語法說明

單元 4：新聞網的熱門新聞標題、以及超連結抓取

單元 5：PTT 八卦版的資料擷取與聲量分析

作業 1：其他新聞網的熱門新聞資料抓取

章節三：圖片的抓取

透過 BeautifulSoup 找到圖片的網址，就可以抓取圖片。但有的網站會考量到網路流量問題，不會一次載入該頁面的所有資料（尤其是圖片），除非已經滑到該顯示頁面的近下方，才會再驅動抓取再之後的資料，這就是 Ajax 的技術，這就要觀察瀏覽器背後如何和伺服器互動，才能正確抓取到所需的資料。

單元 1：圖片的抓取與儲存

單元 2：Line 貼圖的抓取

單元 3：抓取具有 Ajax 特性的網站的圖片

章節四：Youtube 影片的抓取

雖然目前影音平台眾多，但如無開發出相關的抓取套件也無法直接抓取該影片。Python 有 Youtube 影片抓取的套件。

單元 1：單一影片的抓取

單元 2：播放清單的抓取

章節五：Line 推播通知

Python 可以傳送訊息給 Line。因此如果像是股票玩「當沖」的朋友，就不必一直盯著股盤；可以設定規則，當股價來到指定的價格時，就寄通知給 Line 告知你當買當賣，你再做動作即可。

單元 1：Line Notify 的設定與加入好友

單元 2：Python 傳送訊息給 Line Notify

單元 3：抓取 Yahoo 奇摩股市的即時股價

作業 1：抓取即時新聞傳送至 Line

章節六：Selenium 網頁自動化爬取與操作

Python 的 Selenium 套件，可以抓取網頁的特定標籤，並直接對該標籤進行資料的填入、按鈕或超連結的點擊等，這對於要頻繁切換網頁、操作網頁、填寫或下載資料的人就輕鬆許多，特別是做網頁品管測試的人員來說，程式的自動操作、比起人為的操作更加準確也不煩倦呢！

單元 1：安裝套件、以及下載 WebDriver

單元 2：取得網頁元素與操作網頁元素方法

作業 1：自動網頁操作

募資達 100% ▶ 早鳥 30 名限定！抽獎送【Code Judger 六個月體驗帳號】共 5 名！（市值 $1,500）

Code Judger 是由 Kyosei.ai 共生智能股份有限公司所開發之自動化批改及教學管理系統，讓學生們在解題中學習，獲得成就，整合題庫與課程概念，為學習程式的學員、解題挑戰者以及程式教師提供最佳化的課程與題目管理。
💡詳細內容請見影片：Code Judger 最好的程式測驗輔助工具

募資達 200% ▶ 人人有機會！加碼抽【認證參考教材】共 5 名！（市值 $490）

Python 3.x 網頁資料擷取與分析特訓教材
★本書遵循 CSF 專業考科「TQC+ 網頁資料擷取與分析 Python 3」技能規範架構撰寫，符合鑑定的命題趨勢內容淺顯易懂，結合理論與實務，達到技術的傳承及表達，符合實務運用需求。
★涵蓋知識觀念和範例練習，作為培養網頁資料擷取與分析 Python 3 能力之最佳讀本。
★本書分成五個部分，包含「Python 與 Anaconda」、「資料處理能力」、「網頁資料擷取與轉換」、「資料分析能力」、「資料視覺化能力」等多項議題，提供讀者最實用技巧，靈活運用 Python 網頁資料擷取與分析，帶領讀者具備快速蒐集資料並分析有用資訊的能力。
💡詳細內容請見影片：TQC+ 認證解析與解題訣竅

【贈獎／抽獎規則說明】
募資達成率累計至【課程募資 30 天結束的那一刻】
📍 購買時間：2022/12/14～2023/01/12 23:59
📍 購買流程：期限內購買本課程的同學，請務必於結帳流程正確填妥收件資訊，並完成付款！
📍 抽獎與贈獎時間：2023/03/14 開課後一週內會抽出得獎同學，並將得獎名單與詳細資訊公布於「課程公告欄」，同時寄 Email 通知中獎同學，獎品將於開課後兩週內寄出，敬請期待！

⚠️ 重要提醒：
 - 請注意填妥「縣市」、「郵遞區號」！若因地址植入錯誤導致寄送不到，團隊保有最後寄送權利
 - 活動獎項之寄送地址僅限臺灣本島地區（不含澎、金、馬等離島和海外），海外或離島同學請提供臺灣寄送地址。
 - 請務必參考下方注意事項欄位，完成付款、填寫 email、寄送地址相關程序
 - 本開課講師保有解鎖活動最終解釋權，亦有修改解鎖活動內容的權利
 - 若有任何疑問，請在課程問答區提出。

🙋‍ 常見問題 FAQ

Q1：購買後，要在哪裡填收件資訊呢？

按下「馬上預購」後，將導向「付款資訊」頁面，於結帳頁面勾選「我要參加本課程贈獎／抽獎活動，同意將以下資料提供給 Hahow、本課程教師以及配合的行銷及物流公司，並僅供此次活動使用」即可參加抽獎（如下圖）。並請正確填寫「姓名」、「收件地址」、「聯絡用電子信箱」，若因資訊錯誤導致無法認證或寄送不到，恕無法取得抽獎資格。

⬇️ 若要參加抽獎，務必於「付款資訊」頁面填寫以下資料喔！

Q2：如何確認自己有沒有付款成功呢？

完成購課流程後，請點選「網頁右上方的大頭貼」進入「訂單記錄」頁面，於「訂單狀況」的欄位顯示「完成付款」的訂單即代表付款成功喔！

|| 註：選擇以「超商繳費」或「ATM 轉帳」付款的朋友，在下訂單後也要在規定期限內「完成付款」才算符合資格喔！填寫資訊僅供該次贈禮通知使用，Hahow 與老師皆不會將學員填寫的收件資訊做其他用途。若有任何疑問，請於課程問答區提出。

關於講師

王穎聰老師從事程式開發教學與實體教育訓練已二十多年，在銘傳大學擔任講師時，常為校內教職員做資訊的教育訓練。而在社區大學開設的電腦、手機等相關課程，則培養了如何對長者講課說明的耐心、關懷、以及挑選適當實用的內容題材。

因此，在許多地方授課的經驗之下，王穎聰老師較能體會許多對資訊、程式初接觸的人的擔心心態，並能深入淺出的引導初學者漸漸地對程式寫作建立信心、培養邏輯思維的判斷能力。

過去已在 Hahow 上開設了《Python 入門特訓 - 基礎實作到證照攻略》，與《Python 爬蟲入門特訓 ─ 資料抓取與處理應用》，兩門課平均評價都是 5 顆星（滿分 5 顆星）！

老師經歷

• 2008，通過 Adobe Flash ACA 證照
• 2009，Adobe ACA 證照監試人資格
• 2009，通過日語檢定四級
• 2009，通過華語導遊考試
• 2009，通過 Adobe Dreamweaver ACA 證照
• 2011，「認識星空」課程錄影教材獲得北一區區域教學資源中心徵選錄取，上網供大家自學。
• 2012，通過 TQC+ Android 行動裝置應用程式設計
• 2016，考取 Google 相關證照，並申請通過 Google 認證訓練講師
• 2017，通過 Google 認證教育家第 1 級證照
• 2017，通過 TQC+ App Inventor 2 創意程式設計
• 2017，通過 Google 認證教育家第 2 級證照
• 2018，通過 TQC+ 程式語言 ( Python 3 ) 證照

• 回答問題的頻率：平均每週至少上線回應一次以上
• 批改作業的頻率：平均每個月至少上線批改一次