入門數據分析的第一個大門檻：SQL／Hive 取數為何重要

在眾多數據分析技能中，SQL 是入門容易、熟悉難的工具。本文邀請邱國欣與你分享接觸 SQL 的心路歷程來分享 SQL 的重要性和不好學的原因。

對文章有興趣來不及看？點選右上角「橘色小書籤」收藏 文章，再也不怕錯過就是一輩子！

最近注意了幾所大學都創建了數據相關的學程或社群，例如：中山管院商業大數據、逢甲資料科學大講堂，也有企業在做推廣（例如，國泰金控數數發團隊），覺得現在的學生真幸福，不禁回想自己 5 年前剛入這行時的學習過程。當初的基礎僅有還不錯的統計學、一點點 Excel、一點點 R。隨著工作難度的增加，這一點點技能已經不敷使用。開始到處找書、找案例、找課程。學習過程幾乎是缺哪補哪，沒有什麼系統章法，走了不少冤望路。而我自己感覺學得最艱辛的，就是 SQL／Hive 了。本篇文章將從自己接觸 SQL 的心路歷程來分享 SQL 的重要性和不好學的原因。

數據分析
圖片來源：Hahow 圖庫

SQL 重要嗎？

剛入行我是很純粹的分析師，例如：「分析廣告推廣的效果如何？」、「分析新的產品訂價該如何設計？」當時基本數據都已經有報表了，所以可以根據報表的歷史數據往下分析。然而，隨著分析的角度不斷深入，或是分析的項目越來越多元，或是老闆的問題越來越多樣化，報表的數據已經不足夠了。為了滿足分析所需的各種數據，我只得頻繁地跟 DBA 要數據，但心裡總是不踏實，要是有人質疑我的分析結果的話，我自己能保證 Input 都是合理的嗎？不能，因為最原始的數據不是我掌握的。我必須要會自己取數！

這是我開始學 SQL 以及發現「取數」有多重要的時期。我在研究所學計量經濟學時，網上或課程都已經提供了數據，接著開始做清洗、挖掘、選特徵、建模等操作。我想大多數人學習數據分析時，也是一樣的場景。

但真實環境中，數據都是存在數據資料庫中，不會 SQL、無法將數據取出來，基本上寸步難行。所以我們可以看到很多人說，數據分析 60% 以上時間都是在取數，身為一個數據分析師，操作 SQL 是一個必備技能。到了現在，我觀察到的職場環境，對 SQL 的要求已經不僅限於數據分析師，甚至營運、PM，凡事要依賴、參考數據做出決策的職位，或多或少都會要求具備基本的 SQL 操作的能力。

SQL 難學嗎？

我認為 SQL 上手不難，但要精通 SQL 很難，因為只能通過長時間的實戰才能掌握好它。當時分析部門剛成立沒多久，大家的背景也都是分析為主，專精 SQL 的人不多。我記得每晚 6 點吧，team leader 會在牆上教我們一些 SQL 的語法，從最簡單的 select、通配符，到表關聯，計算函數 count() 等，奠定了我最基礎的 SQL 語言。

數據分析
圖片來源：Hahow 圖庫

配合真實環境的操作以及網上的資源，我開始進入可以自己取數，但一切就順利了嗎？不，還是太天真了。我發現我取的數，光是跟報表對就對不上，到底差異在哪？

我跟 DBA 要了幾個報表的代碼來看時，看到腳本用到的多表關聯和子査詢多層嵌套讓我不禁懷疑人生，網上少提的 CASE WHEN 組合邏輯查詢也遍地開花，一個報表的取數 SQL 數百行甚至上千行的代碼也不足為奇。

「我還是太淺了，買本書好好啃吧！」我這麼想，畢竟研究所的學習，最大收穫就是自己找資料。然而尋尋覓覓，外面的書籍內容，講的最多的卻是資料庫設計、數據管理、底層架構。對數據分析師來說，査詢才是做的最多的操作，畢竟使用工具是為了完成分析，畢竟我們不是維運也不是數據開發工程師，實際工作中也確實用不到這些知識。

因此，我的學習過程就是看 DBA 的腳本，以及從分散各處的資訊，配合業務方千奇百怪的需求，實際操作、一點一滴、片段式的逐漸累積。我想每個人在通往熟練使用 SQL 的道路上都會有這個「陣痛期」。當然，如今我已度過這個「陣痛期」，SQL 也算熟練，但每每想到那段時間的摸索過程，還是覺得辛苦。
我認為 SQL 上手不難，但要精通 SQL 很難，因為只能通過長時間的實戰才能掌握好它。而且 SQL 的學習資源是最缺乏的（相較 Excel、機器學習、R、GA 等）。