R語言和文字探勘 - 洞悉巨量文字的商業價值

「文字資料」是非結構性資料中最有價值的一種。每天消費者在 Amazon、ptt 等網站留下無數的產品心得與回饋，大量專業投資分析人員撰寫了無數的金融研究報告，或者是政治人物分享影片後總是有無數的留言幫助他們了解「風向」。 將成長快速、內容龐雜的文字資料轉換成「具有商業意義」的洞見，是無數企業熱烈追求的目標。

分析師以往需要大量時間處理消費者意見、競爭者產品資訊等文字資料，透過自動化的文件分析方法，企業將能大幅降低文字資料處理的成本。因此，越來越多公司在招聘資料科學家時，將「文字探勘」與「自然語言處理」視為資料科學家招聘時的加分或必要條件。

我們從「資料科學」與「商業應用」的角度出發，設計了一套內容完整的文字分析課程，讓任何有文字分析需求的朋友，不需要有任何數學背景（需要基本的 R 語言實作能力），就可以理解並實作複雜的文字探勘演算法，獨立完成文字分析專案！課程分為三大模塊、六大主題：

第一部分：文字資料處理

在課程的一開始，我們會介紹「文字資料」的特殊性，以及如何利用 R 的各項套件（如：stringr、tm）清理與轉換文字資料。同時，我們會介紹正規表達式 (regular experssion)，幫助你了解電腦是如何辨識文字資料。最後，我們也會介紹常見的斷詞工具（如：Jieba 結巴斷詞）與視覺化工具（如：文字雲 ）等，幫助你將文件段落轉換成詞彙組成，作為之後分析的基礎。

第二部分：以「詞彙」為基礎的分析方法

「詞彙」是文章組成的基本要素，透過分析大量文件的詞彙，我們可以獲得許多洞見。舉例來說：消費者在抱怨服務的時候，通常在抱怨哪些面向？投資一間公司時，不同券商的研究報告是如何評價該公司的？病理報告的哪些診斷說明，可能與癌症高度有關？透過大量文件的詞彙分析，你將能夠有效回答上面的問題。

在這門課程中，我們會介紹兩類特別重要的詞彙分析技法，一是「關鍵字萃取」(keyword extraction)，二是「詞嵌入模型」(word embedding)。關鍵字萃取能幫你有效過濾文件庫中重要的詞彙；詞嵌入模型則可以幫助你將文字資料轉換成數量表達，幫助你有效判別詞彙間的關聯性，並作為日後分類與分群的輸入資料。

第三部分：以「文件」為基礎的分析方法

學會以「詞彙」為基礎的技巧後，我們會接著介紹以「文件」為分析單位的技巧。首先，我們會介紹「主題模型」，透過機率模型辨認每篇文章的「主題」是什麼，幫助我們快速理解文件中的重要議題；接著，我們會透過前面的關鍵字萃取與詞嵌入模型，將一篇文件轉換成「數量化」的表達形式，並進行文件的分群與分類。透過這些技巧，你將能夠分析大量的新聞文章 / 留言 / 評論，快速找到可以帶來價值的洞見，而不需要逐一閱讀每篇文件。

目前市面上文字探勘與自然語言處理的「中文課程」選擇有限，且課程內容通常是由電腦科學家設計，通常專注於爬蟲的細節，或是特定的自然語言處理方法，較少有完整介紹「資料蒐集 -> 模型/演算法評估 -> 視覺化 -> 決策建議」的課程。此外，許多課程對於數學或程式撰寫的要求較高，使初學者與非資料科學專業的朋友難以一探文字分析的奧秘。因此，我們花費近一年的時間設計，讓課程能擁有以下特色：

熟悉文字探勘的關鍵流程

文字探勘的商業應用中，雖然和一般商業分析有類似的流程，但在特徵建立的方法、希望達到的效果仍有一定程度的差異。透過清楚的流程拆解，能幫助你更加熟悉文字探勘的每一個關鍵步驟。

化繁為簡，以圖解方法瞭解演算法的核心精神

儘管文字探勘背後有許多複雜的數學與演算法（如：機率圖模型、貝氏推論等），透過簡單的圖解分析，不需要任何背景，也能夠用最平易近人的方式了解演算法的核心精神！以下是課程的範例投影片：將「文件生成」的貝氏機制以簡單的「流程圖」清楚闡述。

不只有建模，也重視洞見的視覺化呈現

在呈現文字資料時，大家總是會想到「文字雲」，但除了文字雲，其實還有更多方法，可以呈現文字資料的洞見，幫助你有效的跟 Stakeholder 溝通。在這門課程中，我們將會針對不同的模型，介紹對應的視覺化方法，幫助你完整呈現文字資料的內涵資訊。比如說，以下是 LDA 的視覺化方法。

手把手帶你完成文字探勘專案

除了講解演算法，我們將會手把手帶你分析文字資料。在過程中，除了熟悉相關的套件與程式碼，我們也會分享好用的視覺化方法，透過圖像化表達瞭解文字探勘模型的意涵並分享洞見。比如說，以下是各個 Youtuber 在「旅遊」相關影片中的詞彙分析：

課程內容補充說明

1. 課程內容也會涵蓋商業分析的方法論嗎？
這門課程的重點在於「文字探勘重要演算法」與「文字資料實際操作」，比較少會提及「商業分析與辨認商業問題」的方法論。如果同學們更想要學習如何進行商業分析與資料探勘，建議修習我們另外一堂「R 語言與商業分析」課程，與本門課程一起學習可以達到相輔相成的效果喔！

2. 會從R語言的基礎開始教起嗎？
這門課程的 R 語言教學會著重「文字資料的清理與轉換」，聚焦在 stringr、tm、jiebaR 等套件操作；只會用一個單元快速複習 R 語言的基本流程控制和 dplyr 套件。如果同學們想要紮實的 R 語言訓練，也建議直接修習「R 語言與商業分析」課程中 - R 語言特訓班完整的四個章節！

兩位講師去年七月在 Hahow 推出「R 語言和商業分析 - 洞悉商業世界中的資料科學」課程，推出後立即收到廣大迴響，截至 2019 年 6 月底有超過 780 位學員報名，獲得 4.94 分的高分評價 (總共 51 則評價，其中 48 則為 5 分滿分評價，僅有 3 則為 4 分高分評價)。除了根據同學提供的寶貴意見進行課程優化外，我們將會持續保留同學特別喜愛的課程特色（透過課程評價文字探勘找出的高頻詞彙 ）：

特點一： 兼具理論與實務

課程的兩位講師都具有近四年的資料科學經驗，將不同演算法的原理、數理細節、應用與實務經驗緊密結合，建立「理論與實務兼具」的資料分析課程。

特點二：強調分析邏輯與思維

課程除了教導程式撰寫與工具外，更強調「如何使用工具解決問題」。因此，課程會介紹每個演算法的數學原理，並根據這些原理理解這些演算法的優點與缺點；此外，我們會將演算法連結實務問題，幫助同學建立正確的分析邏輯。

特點三：適合所有程度的同學學習

許多資料科學課程常常要求學生具有一定的數學與程式設計能力，才能夠了解課程內容。在課程中，我們會將複雜的數學公式轉化為容易理解的架構和圖表，並幫助同學建立程式撰寫能力，讓所有程度的同學都能夠體會到資料科學的魅力！

課堂作業會有兩種形式：

選擇題

以選擇題的形式幫助同學們檢查觀念與程式碼的正確性，完成作業後，我們也會提供作業詳解供大家參考。

個案討論

針對不同的課程主題，我們會設計對應的個案與練習題，幫助同學掌握資料分析、程式碼撰寫、以及演算法選擇的重要觀念，並依情況提供同學意見與回饋，幫著大家理解主題與個案內容。

相關問題回答

開課前我們會在每個週末統一回覆同學提出的問題；開課後依照課程進度，暫定每兩週回覆 5 - 15 個同學關於課程或作業的問題，若有足夠的時間會盡快回答所有同學的問題！另外，我們也有 Facebook 的專屬社團，讓同學可以在社團中發問，並與其他修課同學互相討論。

黃大維 (大鼻)

• 國立臺灣大學統計碩士（初等統計學助教，評分：4.61 / 5.00）

• 國立清華大學計量財務金融學士，斐陶斐榮譽會員

• 目前於熱鬧點科技 (Migo) 擔任資深資料科學家，透過數據分析了解 Next Billion Users 的使用習慣，以提供新興市場使用者高品質但可負擔的影音娛樂服務。過去一年在 APT（現為 Mastercard Data & Services）擔任顧問，協助大中華區與東南亞財星五百大公司透過數據分析解決重要商業問題；文字探勘專案經驗包含：產品文字探勘、消費者偏好分析、對話式機器人、戲劇輿情分析等。

沈辰禧 (Hsi)

• 國立臺灣大學商研所碩士

• 國立政治大學企管系學士

• 目前於 PayPal 上海擔任資料分析師，過去一年在 Synergies Intelligent Systems 擔任資料科學家，提供大中華區製造業中的指標企業，相關商業智能和數據分析的解決方案。其他工作經驗：鼎泰豐(實習資料分析師)；專案經驗包含：半導體良率預測、海運業需求預測、麻醉病患脈波辨識等。

希望大家能透過社群分享我們的課程，這是對我們最大的鼓勵！為了回饋大家，兩位講師將會在達成特地目標時，解鎖以下活動：

募資解鎖規則說明

• 募資達成率累計至「課程募資 30 天結束的那一刻」！
• 「解鎖單元」將於正式課程影片，開課後的一個月內開始提供。
• 「募資解鎖活動」均會在課程正式上線後推出，線上諮詢時間與工作坊的時間、地點、主題、形式、抽籤資格等細節（抽獎人數可詳見註 1、2），將於募資結束後另行公告於課程頁面及大鼻觀點粉絲專頁，抽籤結果會公佈於大鼻觀點粉絲專頁、課程公布欄。
• 募資結束前購買此堂課程，且於購買時填妥「Email」並達成後續公布的抽籤條件，即符合參加解鎖活動的抽籤資格（Email 填寫截止日為 2019/08/30 23:59 前）。

300%：爬蟲程式撰寫，以 ptt、新聞網站為例

想要蒐集更豐富的文字資料，完成更多文字探勘專案嗎？我們在這邊帶大家拆解網頁的架構(html、css、api等)，利用 R 語言的套件，靈活地抓取想分析的資料，建立自己的爬蟲程式。

600%：1 對 1 線上學習與職涯諮詢時間 - 10 位

兩位老師平時都會收到來自同學們，關於學習路徑和職涯發展的問題，這次特別安排1對1的線上諮詢時間，讓兩位老師能夠更了解你的背景和需求，盡可能提供最適合你的建議和規劃。

1000%：舉辦實體工作坊 - 20 位

將舉辦一場實體的文字探勘工作坊，有了上一次的經驗和準備，這次會提供更有趣的真實資料和商業案例，讓不同背景的同學們，都能交流彼此的想法，也能一起進步、一起成長。

註 1：線上諮詢時間則由老師主動與同學約定雙方都可以的時間，約定後如有需要更改時間，需於三天前與講師協調，每人只能更改一次。於約定時間未能準時上線者，視為放棄權利。
註 2：工作坊的時間將為固定時間，因場地、人力與同學間的溝同協調，較難讓大家共同選擇時間。預計抽出 20 位正取與 10 位備取同學（備取同學也會有遞補順序），只要超過 5 人出席即會舉辦，若未超過 5 人能夠出席則改期辦理。改期後不會重新抽籤，依照原先正取與遞補順序依序通知詢問是否參加活動。
註 3：兩位講師保有募資解鎖最終解釋權，亦有修改活動內容的權利。

請問購買後，要在哪裡填寫「Email」呢？

按下「馬上預購」後，將導向「付款資訊」頁面，最下方即是「Email」填答欄位，請參考下方附圖。點選「我要參加本課程贈獎/抽獎活動」並填寫有效「Email」，則確認參加。

如何確認自己有沒有付款成功呢？

完成購課流程後，請點選「網頁右上方的大頭貼」進入「訂單記錄」頁面，於「訂單狀況」的欄位顯示「完成付款」的訂單即代表付款成功。