打造動態報表！雲端 Python 爬蟲資料流

📢📢📢 購課免費送 python 與爬蟲入門😍😍😍

要用 專屬連結 ▶▶ https://hahow.in/cr/data-pipeline 購買募資課，且【不能使用折扣碼】，才能取得免費影片喔！

購課後，請填單索取免費影片，並追蹤 FB 粉絲團

作為資深資料工程師，深知爬蟲只是開始的第一步，要從爬蟲得到的資料一路到資料自動化更新，最終成為可以向顧客發表的視覺化動態報表，中間有太多需要一一克服的難關。然而作為初學者，難道沒有一個有效率、容易上手的解決方案嗎？

本課程就是為你量身打造，利用雲端資料流，從資料到產品之間，快速搭建橋樑！

許多爬蟲的應用都需要長期的資料蒐集才能顯現出資料的價值，例如比價網站，你必須持續蒐集價格資訊，才能呈現給用戶自己無法得知的資訊 - "商品在各通路的最低價格"

雖然市面上的爬蟲課程琳瑯滿目，但從未有人告訴你要如何持續地自動爬取資料，以及如何將爬到的資料打造成會不斷更新數據的視覺化報表，讓資料變成產品，與人分享你的爬蟲成果！

📢📢📢 超值加碼！

購課免費贈送【python 與爬蟲程式設計入門】 112 分鐘教學影片！

用 專屬連結 ▶▶ https://hahow.in/cr/data-pipeline 購買募資課，且【不能使用折扣碼】，才能取得免費影片喔！

課程內容 & 成果搶先看

★ 動態報表成果連結： https://datastudio.google.com/s/jNlCCmBYgkQ

• 市面上唯一一堂帶你從資料蒐集到產品產出的課程，帶你一步步完成爬蟲長期監測，背後濃縮了講師多年資料工程師的技術心得，以及大量授課跨領域人才累積的經驗才誕生的全新課程

• 學習完本課程後，你將有能力從 Python 爬蟲的開發，到產出即時更新數據的視覺化報表，真正完成從資料到產品的流程，而不再只是一次性蒐集資料的能力，自己一個人就能成功開發動態更新數據的資料產品！

• 利用本課程雲端資料流的技巧，未來面對任何有興趣的資料都能以課程學習到的知識為基礎，進一步設計出屬於自己的爬蟲長期監測系統，像是大樂透歷次開獎統計、PTT 熱門貼文排行榜、Amazon 商品歷史價格走勢等等（連結範例僅提供示意，而非講師作品）

經歷與背景

• 現任 QSearch 資料工程師，擁有 Google 雲端架構師證照，負責設計與開發公司內大型社群媒體的雲端爬蟲系統
• 台大化學系理論計算組碩士，畢業後至台大計算語言學研究室擔任研究助理，曾受邀擔任台大 CS+X 資料科學跨領域課程助教及大學相關課程講師，長期與台大人文社會領域師生技術合作

教學經驗

Newsurvey 程式工作坊講師，從 2016 年至今已開授超過四十堂課程，曾受邀為推動數位化轉型的知名媒體例如中央社、天下雜誌等，提供客製化的 Python 資料科學課程，進行實體小班互動教學。授課對象也包括沒有資訊背景、來自各領域的眾多工作者，由於課程採取深入的實作教學，深獲學生好評！

課程架構

本堂線上課程，預計安排十大章節，利用案例帶大家如何建立屬於你的雲端爬蟲系統：

• 課程挑選出最常碰到的三種資料來源：Open Data (表格/CSV 格式)、HTML＆CSS 網頁以及 Web API (JSON格式)，讓任何網路上的資料都能成為你的資料源
• 每個單元都會從 Python 爬蟲程式開發開始，告訴你面對不同類型的資料時，要如何利用不同的爬取技巧來取得資料
• 對應不同的資料類型爬蟲程式，教你如何串接雲端系統上的各項服務，自動化的在雲端上執行排程、爬取、儲存、視覺化等所有步驟，也就是一個完整的雲端資料流，從一次性的爬蟲任務進化為能夠持續更新數據的長期監測系統
• 在雲端資料流的最後一步串接動態報表，讓數據不只是靜靜地待在你的資料庫，讓爬蟲長期監測系統化身為人人皆能理解的吸睛作品
• 課程將以螢幕側錄操作畫面，並搭配程式教材一步步跟著講師實作

➢ 【案例一】COVID-19 ①｜以 Python 爬蟲抓取 Open Data

越來越多的政府和民間主動提供格式清爽的 Open Data，包含各式各樣過去難以獲取到的數據，像是台灣的政府資料開放平臺。

Open Data 本身是已經處理好的資料，不需要太多的處理，易於分析並從中獲得量化的價值，非常適合作為起點。

我將以約翰·霍普金斯大學提供的 COVID-19 世界疫情資料集為例，教導大家要如何自動化下載及處理 CSV 表格資料，並產出能隨時間推移變動的動畫長條圖表。

➢ 【案例二】Youtube Data API①｜以 Python 爬蟲爬取 Web API 資料

Web API 是一種相當常見，透過網路 http 協定提供服務的方式，而最常見到的便是提供資料的服務。

隨著社群網站的興起，許多大型社群網站如 Facebook、Twitter、Youtube 等累積了人類歷史上前所未見，極具價值的巨量用戶互動資料。這些社群網站都提供了各自的 Web API，有限度的開放資料，讓人們能夠一窺這些具有改變世界力量的資料的面貌。

在這個單元中我將以 Youtube Data API 為例，教導大家如何申請使用 API，以及如何自動化的透過 API 取得最新的資料，觀察熱門 Youtuber 的成長曲線。

➢ 【案例三】新聞媒體①｜以 Python 爬蟲抓取  HTML & CSS 網站資料

上述的 Open Data 以及 Web API 基本上都是別人整理好、格式化的資料，但並不是各個網站都有提供這樣的服務，因此非常多的時候必須要自己從網頁原始碼中將的資料提取出來。在這個單元中我會以大型新聞媒體網站，教導大家如何觀察網路資料傳輸過程以及網頁原始碼，藉此來提取出網頁中任何你感興趣的資料欄位，並繪製出新聞關鍵字文字雲。

➢ 部署雲端資料流，自動更新資料｜拆分工作流程，拓展雲端資料流｜無痛進行大數據分析，挖掘資料流內的寶藏

雲端系統能夠非常有效率的打造爬蟲長期監測系統的每個環節，從資料的抓取、處理、儲存，甚至是後續的數據分析都能自動化的完成，每日每夜不停歇地網羅最新數據。

➢ 製作 Data Studio 動態報表｜串接雲端資料流｜產生熱門話題文字雲

冷冰冰的資料是無法引起共鳴的。透過 Data Studio，你能輕鬆地將雲端資料流持續更新的數據化為一張張視覺化圖表，讓使用者能夠依照需求切換不同的時間區間或是條件來檢視資料，讓蒐集來的資料轉變為吸睛作品。

購課免費贈送 python 與爬蟲入門課程 100 分鐘

千萬別錯過講師林士凱特別為程式新手、爬蟲麻瓜錄製全新入門影片，完全銜接募資課，讓你無後顧之憂！

濃縮講師多年實際教學經驗，強調應用與實例，活潑風趣，輕鬆上手 python 和爬蟲！
講師決定將 112 分鐘入門影片【免費贈送】符合資格者 👇👇👇

Ｑ：怎樣才能獲得免費資格？

Ａ：要使用講師的【專屬連結】購買募資課，且【不要用折扣碼】才有喔！

用專屬連結購課去 ▶▶▶ https://hahow.in/cr/data-pipeline

活動詳情請點開👉公佈欄👈，並追蹤官方 FB 粉絲團

購課後，請填單索取程式入門影片。

已經使用折扣碼購課的學員別走，立刻填單告訴你領取方法！

這是講師為了新手學員，額外錄製的程式入門影片，只能透過 google 雲端觀看，並不會在 Hahow 上架喔！

兩支影片分別是 python 與爬蟲入門課程，獲贈學員可免費線上觀看兩週，兩週結束後，還可再申請一次免費觀看。

精彩 python 程式入門，搶先看⬇⬇⬇

https://www.facebook.com/Newsurvey.team/posts/3052492394786068

　如何用程式計算夾娃娃一次要多少錢？

　如何揪出冒牌的超級英雄？

　撿到一百塊，用 for 迴圈＋if 條件判斷找出買的起的燒臘便當！

免費學 python 還不過癮？別擔心，我們還為您準備了精采的爬蟲入門影片準備免費送給您！

用精彩的爬蟲實例，讓您快速無痛上手，邁向程式之路！

　如何用 python 寫出爬蟲程式自動抓取新聞網頁的資訊？

　如何突破防爬蟲機制？

　抓下金融股市的表格資料，打造專屬於你的選股爬蟲分析工具！

每一支入門影片，我們除了力求解說清晰、有趣的影片錄製，同時也開發相對應的程式碼教材及補充說明筆記。

此外，還細心地在每一個單元重點之前加上提示卡，並在每一集影片尾聲進行重點複習與概念澄清。

我們的目的，就是希望透過這兩份 112 分鐘的教材，能夠非常確實、有效地引領程式初學者入門，輕鬆無痛上手 python 與爬蟲程式！

雖然是免費提供給學員們觀看，但我們完全不馬虎，花費了極大的心力和時間籌備，才產製出的精彩教材。

趕緊加入程式學習的行列吧！

注意！要用 專屬連結 ▶▶ https://hahow.in/cr/data-pipeline 購買募資課程，且【不能使用折扣碼】，才能獲贈免費入門影片喔！

購課後，請填單索取免費影片，並追蹤 FB 粉絲團

課程解鎖活動

募資達 400% 解鎖單元「Google 雲端架構師認證備考指南」

這個單元將與你分享證照攻略！Google 雲端架構師認證 Professional Cloud Architect Certificate 備考指南大解密

募資達 800% 解鎖單元「資料流設計實務分享」

細節中的魔鬼，資深工程師告訴你，新手不會想到的資料流設計實務難題與解決方案

募資達 1500% 解鎖抽獎「線下實作工作坊名額」

開課後半年至最晚一年內（詳細開課時間會另行公告），將舉辦一場線下實作工作坊，為實體講座課程，由講師親自面對面替學員上課，主題為雲端爬蟲資料流實戰演練。將於實體課程名額中開出 15 個完全免費的上課名額，提供給募資期間內購買課程的學員。

募資解鎖規則

• 只有在「募資期間」達標，才會進行上列項目解鎖哦！
• 「解鎖單元」將於正式課程影片，開課後的兩個月內開始提供。
• 「解鎖抽獎」將於「線下實體課程開課」前一個月抽出中獎同學。
• 募資結束前購買此堂課程，並且於購買時填妥「Email」，至粉專活動貼文中留言，即符合參加抽獎資格（Email 填寫截止日為 2020/07/17 23:59 前）。
• 活動中獎名單將會公布於粉專與課程公告上，請中獎同學於 3 天內私訊粉專，回覆提供購課時參與抽獎所填的 Email 確認中獎通知，如未確認視同放棄獲獎資格。

回覆與作業設計

回答問題頻率

對於大家的課程內容提問，收到通知後會儘速來 Hahow 上回答你的問題，預計最晚於一週內答覆你的提問！

批改作業頻率

• 作業相關說明：每一個案例會針對特定能力附上一個作業，在學員們線上回傳答案後批改，檢視自己的學習狀況
• 作業批改頻率：作業預計會以兩週至三週的頻率來批改，預計固定會在每週五批改 5~10 位學生的作業，若稍有延遲敬請見諒。