你是否曾有過這些問題
- 接了一個分析需求,卻因為 SQL不熟練,無法順利取出需要的數據,導致分析開展不順⋯⋯
- 花費大量時間分析、做了 PPT 準備匯報,最後關頭卻發現取數邏輯有問題,又要重新搞一次
- 最近剛上線了一個新的功能 / 新的活動,想透過數據看看效果如何,請數據工程師協助,需求排期卻遙遙無期...
入門大數據分析,掌握 Hive SQL 取數邏輯力
提到數據分析的必備程式語言,大多數人腦中出現的關鍵字通常是 R 或 Python,大多 R/Python 的課程已經提供好分析所需要的數據了,但在真實的大數據工作環境中,公司的數據都放在資料倉庫(Data Warehouse)中,我們必須透過 HiveSQL語言到資料倉庫中把數取出來 (簡稱:取數)。
然而不少剛入門的數據分析師卻卡在這裡,他們無法順利的取出需要的數據做進一步分析。
因此,在這堂課的內容會以為分析工作中常用的查詢操作為主,讓你能快速應用到工作中。
Hive 是基於 Hadoop 框架下的數據倉庫(Data Warehouse)工具。而 Hadoop 則是一個分佈式計算的基礎架構,因為高可靠、高拓展、低成本的特點,是目前最主流的大數據架構。在工作中,公司的數據大多是儲存在 Hive 中的。
聽說 HiveSQL 很簡單?真的是這樣嗎?
大部分人都會覺得很簡單,不就是 select * from 嗎? 隨便在網上搜一篇教程或者找一本數據庫的書,一天基本就可以學會了。
HiveSQL 困難的地方在於,在實際工作中,沒有一個現成的表格讓你select 一下就出結果了,你需要進行組裝,運用各種各樣的 join 、group by 等操作,才能得到想要的結果。如何組裝每一步操作才是利用HiveSQL進行數據分析的難點。
如果 HiveSQL 入門是 0-1,那實際應用是 1-100
就好像我們一開始學英語一樣,「How are you」 、「Good Morning」 一樣,這樣隨便說幾句和流利地與人溝通,這差的還是十萬八千里。
我自己學習 HiveSQL 過程中,曾因缺少完善的資源,經歷了許多陣痛期。
- 線上平台的內容太簡單。記得剛入行時,看到 DBA 開發一個報表的 SQL 充滿多表關聯、子査詢多層嵌套及各種函數;因為業務邏輯的複雜,有時數百行甚至上千行的語句也不足為奇。
- 數據庫相關的書籍,內容講的多是數據庫設計、數據管理、底層架構、甚至是運行原理等知識,但畢竟我們不是運維也不是數據開發工程師,實際工作中也確實用不到這些知識。對數據分析來說,查詢才是做的最多的操作。
課程目標為學習後能立刻上手開展數據分析相關工作
做到學以致用,不只是 Learning Hive,而是 Learning with Hive
特色一:循序漸進的課程內容,零基礎也能無痛入門
課程內容分為四大部分,由易到難循序漸進,即使零基礎也可入門。從掌握的基本語法,進行簡單統計分析,再學習透過函數進行數據清洗,最後進階到複雜的查詢,包含多表操作、窗口函數、建表與插入數據及執行效能優化。
特色二:大量且貼近商業場景的數據,讓你更靠近真實工作場景
教科書或網上提供的數據往往不符合商業情境,例如人口資料、氣象站資料、班級成績的樣本。
在這堂課程中,設計了電商常用的數據教學,例如訂單表、會員表,透過實戰演練營運場景,讓你更靠近真實工作場景。
特色三:掌握常見的分析場景
是不是每個分析問題,都要先在數據庫取出明細,再 import 到 R/python/Excel 進一步分析?其實不少問題,是可以在 Hive 中就處理好的,而且效率還明顯增加!
本課程以常見的分析問題作為教學案例,例如描述統計、趨勢分析、客戶忠誠 RFM 模型、數據質量分析、連續N天等問題,讓你在工作中學以致用。
特色四:業界唯一!提供真實的大數據開發環境實操
大數據基礎環境的安裝過程比較複雜,導致往往只能紙上談兵的學習。在 Hadoop 框架下,HUE 平台是許多公司在用的大數據開發環境,為此本課程也搭建了HUE平台,學員可以在自己電腦安裝HUE實操課程代碼,也可以針對自己有興趣的維度自主分析。
除了在電腦安裝外,隨著雲端的普及,您也可以使用雲端資料倉庫,課程選用了Google Cloud的BigQuery!(影片以HUE平台操作,講義則同時提供HiveSQL與BigQuery語句,一次滿足)
親自動手動練習是進步最快的方法!

