試看單元影片僅作為教學示意影片,實際完整影片以課程開課後呈現為主。資料分析的七個練習專案:累積個人作品集
關於課程
課程包含
課程時長
課程總人數
觀看限制
學習升級
最新消息
課程內容
課程試看單元 - 2-4 成品實作
在 2012 年 10 月哈佛商業評論拋出「資料科學家是 21 世紀最性感的職業」那刻,資料科學從美國向全世界颳起浪潮,至今已經 12 年,報章雜誌與社群媒體的熱門字彙也從大數據、資料科學、機器學習、深度學習、神經網路、生成式 AI、大型語言模型一直演進到通用人工智慧。
各行各業因應資料科學與數據驅動決策的浪潮,造成「以程式處理並分析資料」的相關職缺在就業市場需求量大增,即便有為數不少的倡議者聲稱未來在人工智慧的協助下,不再需要初階的程式設計師或資料分析師,但是從過往經驗推敲,在眾多 No-code/Low-code 或強調推拉點選的商業智能工具的夾擊下,「擅長程式設計的分析師」與「擅長資料分析的工程師」持續屹立於鎂光燈下的實際案例,擁有跨領域知識與技能的資料科學從業人員,仍舊會是就業市場的當紅炸子雞。
基於程式設計與資料分析整合應用的重要性,我從 2019 年起在 Hahow 開設了一系列資料科學課程,從「如何成為資料分析師」、「SQL 的五十道練習」、「Python 的 50+ 練習」、「R 語言的 50+ 練習」到「進階 SQL 的五十道練習」,我感受到修課學生對程式設計與資料分析整合知識與技能的熱忱學習動機,更有許多完課同學表示希望能開設「作品集」課程再提升自己的功力。
這門課程「資料分析的七個練習專案」跟過往課程最大的不同在於,以「練習題」作為核心的學習理念我們稱之為 Exercise-based learning,這次進一步以「專案」作為核心的學習理念我們稱之為 Project-based learning,同學不再像過往學習時以「練習題」作為問題解決的單位,而是改以「專案」作為問題解決的單位,課程會告訴你這個專案的亮點為何、盤點需要擷取哪些資料來源、有什麼功能要被涵蓋在專案中,最後會手把手帶你實作,並提供替代選項,協助同學發想專屬於自己的作品集。
課程共有九個章節,除了第一個章節是簡介、最後一個章節是總結之外,第二到第八章節分別都是一個練習專案,在每一個練習專案,我們都會依循「資料來源」、「資料整理」、「概念驗證(Proof of Concept, POC) 、「成品實作」、「亮點統整」與「優化延伸」的軌跡,讓學員可以歷練七次從零到一(Built from scratch)的專案實作。
簡介
課程簡介與電腦開發環境安裝建立。我們主要使用 Python 與 SQL 來完成所有的專案,其中 Python 的開發環境會採用 Miniconda 以及 Visual Studio Code,使用 conda 管理專案環境,使用 pip 與 conda 管理專案模組。SQL 的開發環境會採用 SQLite、SQLiteStudio 並且透過 sqlite3 與 Python 互動。
專案一:兩百個國家、兩百年、四分鐘
- 專案說明:資料視覺化的經典案例之一,來自瑞典國際衛生教授 Hans Rosling 著名的 TED 演講,以視覺化形式呈現過去兩百年來,200 個國家在收入與預期壽命方面的變化。透過動態數據,觀察全球國家經濟與健康發展的趨勢。
- 專案成品:動態播放的散佈氣泡圖(scatter bubble plot)根據收入(X 軸)與預期壽命(Y 軸)進行分佈,氣泡的大小代表該國家的人口。
- 資料來源:gapminder.org
- 專案亮點:資料清理、資料庫正規化、資料視覺化與部署網頁應用程式等。
圖片僅為專案成品示意圖,非實際專案成品
專案二:拿破崙征俄戰爭
- 專案說明:資料視覺化的經典案例之二,來自 18 世紀的法國土木工程師 Charles Joseph Minard 著名的 Sankey diagram,圖中描述拿破崙軍隊從立陶宛考那斯(Kaunas, Lithuania)進軍俄羅斯莫斯科(Moscow, Russia),最終撤退的過程,這個視覺化展現了戰爭失敗的主因有三:征途遙遠、酷寒低溫與交戰折損。
- 專案成品:靜態地理 Sankey diagram,圖表呈現拿破崙的軍隊數量、行進的距離、溫度、經緯度和相關的河流和地名、行駛方向、和特定日期的相對位置等數據,展示出軍隊規模隨著時間和地理位置的縮減狀況。
- 資料來源:Michael Friendly, York University
- 專案亮點:資料清理、資料視覺化與地理圖資處理。
圖片僅為專案成品示意圖,非實際專案成品
專案三:資料科學家的工具箱
- 專案說明:Kaggle 是資料科學家與機器學習工程師的集散地,從 2017 年到 2023 年間每年都有年度調查問卷,透過問卷資料的探索,可以掌握資料科學家的特徵與技能組合,這是一個可以幫助資料科學初學者快速暸解這個領域的相關技能、日常工作職責以及最推薦學習的技能。
- 專案成品:縱向研究(cross-longitudinal)報告,學生可以整合近三年的調查問卷,針對相關技能、日常工作職責與最推薦學習的技能進行趨勢分析,並以此作為未來學習規劃的依據。
- 資料來源:kaggle.com
- 專案亮點:資料清理、資料庫正規化、資料視覺化與部署網頁應用程式。
圖片僅為專案成品示意圖,非實際專案成品
專案四:找出章魚里
- 專案說明:在選舉中,有些地區的選票結果與全市或全國的結果相近,這些地區被視為具有代表性,常用來進行選舉預測或民意抽樣。章魚里專案的目的是幫助使用者了解其戶籍所在地在選舉結果中的代表性,並計算其所在「里」的抽樣準確度,進而判斷是否有潛力成為「章魚里」。
- 專案成品:一個網頁應用程式,讓使用者輸入縣市、鄉鎮與村鄰里,暸解自己戶籍所在地的抽樣準確度有多高,是否有機會成為與全國選票結果相近的「章魚里」。
- 資料來源:台灣中選會選舉資料庫,使用 2024 年的總統與立法委員選舉的投票所明細。
- 專案亮點:資料清理、資料庫正規化、資料視覺化、地理圖資處理與部署網頁應用程式。
圖片僅為專案成品示意圖,非實際專案成品
專案五:大疫世代
- 專案說明:在 2020-2023 年期間,我們親身歷經了一場人類歷史上致死人數最多的流行病之一:嚴重特殊傳染性肺炎(COVID-19)。透過專案使用者能夠規劃在給定資料中,如何用三到四個圖表監控公共衛生事件,包含確診地圖、死亡地圖和時間序列等。
- 專案成品:一個網頁應用程式,具有互動元件的儀表板。藉由這個案例學生可以理解如何規劃與設計企業的銷售、業績儀表板,而不需要每天透過公司信箱寄送 Excel 報表。
- 資料來源:Johns Hopkins CSSE,涵蓋全球疫情的資料,起始日為 2020-01-22,終止日為 2023-03-09。
- 專案亮點:資料清理、資料庫正規化、資料視覺化、地理圖資處理與部署網頁應用程式。
圖片僅為專案成品示意圖,非實際專案成品
專案六:奔跑的長條圖
- 專案說明:Racing bar chart 是一個動態長條圖,用來呈現隨時間軸而變動的數值排名(Ranked by values),是近年來在社群媒體上常見的溝通媒介。
- 專案成品:動態播放的長條圖(Racing bar chart),展示 2024 年台灣總統及立法委員選舉的投票結果隨時間變化的排名,能更方便、清楚地觀察和分析選舉結果的演變過程。
- 資料來源:台灣中選會選舉資料庫,我們將會使用 2024 年的總統與立法委員選舉的投票所開票完成時間資料。
- 專案亮點:資料清理、資料視覺化與部署網頁應用程式。
圖片僅為專案成品示意圖,非實際專案成品
專案七:小小停車場
- 專案說明:車牌辨識系統在生活周遭的停車場都已經相當普及,取代了傳統透過代幣來管理進出場的機制,專案中將使用電腦視覺(computer vision)的基礎 Python 模組,做出一個以秒計費的小小停車場的網頁應用程式。
- 專案成品:一個網頁應用程式,使用者可以輸入或上傳手寫的車牌號碼,應用程式以車牌辨識系統來識別車牌並計算停車時間及費用,介面包含車牌號碼識別顯示、停車時間計算和費用顯示。
- 資料來源:使用者手寫在白紙上的車牌號碼。
- 專案亮點:資料清理、資料視覺化與部署網頁應用程式。
圖片僅為專案成品示意圖,非實際專案成品
總結
透過自身經驗分享,總結常見五關卡面試(人資關、技術關、小主管關、資深同事關、大主管關)的成功要素,祝福各位同學的職涯鵬程萬里。
Hahow 線上課程
- 如何成為資料分析師:從問題解決到行動方案
- SQL 的五十道練習:初學者友善的資料庫入門
- Python 的 50+ 練習:資料科學學習手冊
- R 語言的 50+ 練習:統計分析的前哨站
- 進階 SQL 的五十道練習:資料庫功力再提升
書籍
相關網站
- 「數聚點」粉絲頁:https://www.facebook.com/datainpoint
- 「數聚點」網站:https://www.datainpoint.com
- 「數聚點」文摘:https://medium.com/datainpoint
- 「數聚點」部落格:https://datainpoint.substack.com/about
- 練習專案的章節皆有實作練習專案作業,強烈建議同學親手實作練習專案。
- 實作完成以後請同學自行執行單元測試程式碼。
- 募資期間,暫定每 3 天回覆購課前問答關於課程或作業的問題。
- 開課後依照課程進度,暫定每兩週於問題討論區回覆 5 - 15 個同學關於課程或作業的問題,另外也會視同學修課進度於課程公告中發佈直播連結,與同學互動解答。
課程字幕分批上架公告
為了使課程更加豐富且完整,老師用心規劃了約 14 小時的課程內容,也因此整體的課程籌備、錄製加上後期製作時間,將會需要較長的時間準備才能上架完畢!目前課程影片將於 2024/12/25 開課日完整上架,而課程字幕預計分成三階段上架: - 第一批字幕(4hr):2024-12-25 (三)開課釋出。 - 第二批字幕(6hr):2025-01-08(三)釋出。 - 第三批字幕(4hr):2025-01-22(三)釋出。 📍 若製作進度有超前,將會儘早更新上架,感謝各位學員的耐心!
