MATLAB 音訊處理入門 - 專屬語音助理

過去五年，觸控改變生活。

未來五年，聲控將改變世界！

聲控您的電腦關機，不再是難事。 

傳統人類與機器的溝通方式都為「直接接觸」，各式各樣的家電、電子器材上都充滿著按鍵供使用者操作。接著，觸控螢幕的誕生，讓功能更多元化，所有的儀器上都是由觸控螢幕包辦了資訊的顯示及功能的選擇。

然而，近年來「自然互動（Natural Interaction）」成為人機間最新的溝通橋梁，透過聲音、感觀、運動、手勢和生理訊號等，更直接且快速的傳達訊息給機器，產生了不一樣的可能。

2016年，美國亞馬遜發行的「Amazon Echo」銷售量已超過650萬台。

Amazon Echo 是智慧語音助理，使用者只要通過簡單的語音指令，就能播放音樂、查詢信息，甚至控制各種智能家居設備。除了亞馬遜，Google 及 Apple 也先後發表自家的智慧助理，這代表聲控即將成為未來科技發展的重點，而其中精髓必然就是「音訊處理」。

課程將分為以下六大種類，共16單元：

（如果以下內容有看不懂的專有名詞，老師在課程中都會有詳細說明唷！）

 一、前言

• 課程概述
• 認識音訊

首先，先介紹聲音如何轉換成電腦看得懂的數位訊號、儲存成 WAV 格式時，標頭檔中取樣頻率和儲存位元等參數代表的意義。接著大家都知道聲音的特徵分為：響度、音高及音色，然而這些特徵對應到數位訊號中，更具體的數值意義為何，這些基本音訊知識都將在此單元一一介紹。

二、MATLAB

• 如何使用 MATLAB 撰寫程式
• 如何使用使用圖形使用者介面（GUI）

瞭解完音訊的組成後，我將帶大家實作於 MATLAB。MATLAB 常被用於開發演算法，因其擅長於矩陣計算、資料視覺化及各式數值運算，是款相當高階的程式語言（意思是很聰明、很方便），此課程會先帶大家熟悉它的程式命令，如基本變數、矩陣、迴圈和判斷式的使用方法，故沒操作過的人也能輕易上手。

MATLAB 另一項特點是「圖形使用者介面（GUI）」，透過更直接的互動環境，操作並實現演算法。此課程會解說 GUI 常用的功能，如按鈕、圖像顯示和資料傳遞等，並特別以製作遊戲的角度進行編排。

三、基礎

• 讀取與顯示
• 音框化與視窗化
• 特徵擷取
• 語音活動偵測
• 即時運算

從此章開始，每個單元都會介紹音訊處理的基本原則，無論是想實現「語音辨識（Speech recognition）」或「語者辨識（Speaker recognition）」，都需要經過這些步驟。

接著，基於這些原則實作於程式上，我會將兩者互相輔助並講解其關聯。在「讀取與顯示」，先讓大家試著使用 MATLAB 讀取任意音訊，從時域圖和頻域圖中，找到用肉眼就能看到的特性。由於音訊的變化非常快速，我們要利用「音框化與視窗化」處理，藉由極短時距下，特性會趨於一致的原理「擷取特徵」。

在「語音活動偵測」單元中，會利用擷取出來的特徵值們，教大家判定是否有人在說話。最後，瞭解完離線處理的過程，進而利用計時器（Timer），將音訊處理應用在「即時運算」。

四、進階

• 語者字詞辨識
• 建立個人語音資料庫

此章節用到的演算法為：梅爾頻率倒譜系數（Mel-Frequency Cepstral Coefficients, MFCC）和 向量量化（Vector quantisation, VQ）。

MFCC 是將語音數位訊號轉換到人耳對於頻率的真實感受程度，藉由更符合人耳聽覺系統的特徵，執行 VQ 重新壓縮編碼。利用建立完成的資料庫，可以用來比對之後的輸入音訊是否符合先前建立的關鍵字。

語者字詞辨識 = 特定人 + 特定指令詞

只能用於辨識簡短指令詞，並非整段話。

五、實作專題：聲控遊戲

• 啊啊賈維斯
• 用喊的OOXX

透過聲控遊戲，讓學習音訊處理更加有趣，藉此理解語音助理的基礎模型。

ㄚㄚㄚ～實現最夯的聲控遊戲！

模仿知名手遊八分音符醬，教你如何透過音量大小讓角色跳躍！

八分音符醬曾是App Store免費榜冠亞軍、Google Play累積下載超過一百萬次

（由於地圖是隨機產生，我40秒的時候差點斷氣......）

不用手也能玩圈圈叉叉，自動辨別誰講的！

語者字詞辨識的簡單應用，只要先建立兩使用者的指令資料庫（一、二、三......九，兩人各講一遍即可），遊戲就能進行囉！

系統可以自動辨別是誰講的什麼字，同樣的技術也能用在門禁系統等需要個人聲紋識別的應用。

六、作業

• 終極密碼
• 啊啊賈維斯二代
• 用喊的五子棋

跟著我完成「實作專題：聲控遊戲」後，我會設計進階版的要求給各位當作練習唷！

課程內容全都會以上方三個步驟進行編排。

1. 解釋該單元的原理與處理流程圖
2. 教導如何使用講師的函式，如輸入什麼參數就能得到什麼結果
3. 逐步瞭解程式細節，一行一行解釋其作法和理論的關聯性

不喜歡理論的人

大致瀏覽第一步 → 仔細觀看第二步 → 略過第三步

這樣就足以使用功能，但如果不了解程式過程，很難自行修改細節喔！

這門課不教「人工智慧」

這是入門課程，最終只會教到「語者字詞辨識」，並未涵蓋「人工智慧」。

語者字詞辨識 = 特定人 + 特定指令詞

需要先建立資料庫，再進行特徵擷取和分類演算法，以達到識別能力，即為銀行常用的聲紋分析。

人工智慧 = 自主學習 + 自主思考

就像圍棋程式 AlphaGo，能夠在對弈過程中不斷進步、iPhone Siri 可以理解毫無文法規則的語句，照樣回答你。這些都是人工智慧的應用，而這門課無法教你怎麼讓電腦自己做出回應。

這門課與市面上「語音轉文字」套件模組的差別

中文的語音轉文字（Text-to-Speech）服務常被應用於以下場景：

• Android app 開發
• Arduino 擴充硬體套件
• Python 語音辨識 （可能搭配 Raspberry Pi ）

提供 library 的廠商多為國際軟體大廠，你只能輸入聲音並得到文字，或是給定想要辨識的字詞拼音，由擴充硬體回應輸入是否符合，這些都僅是功能的實現，也就是讓你能夠「做出什麼（What）」。

我在 Hahow 開設的這門課，將解釋音訊處理的「原理」和「做法」，除了讓你可以做出簡單成果外，也教你「如何做出（How）」這些功能。好處是懂了內容就能靠自己修改到更好，其中的任何知識都足以做為研究題目的基礎、延伸或應用。

Jarvus 擔任科技公司的 AI工程師，擅長人工智慧、數據分析、音訊處理、影像處理、最佳化等相關領域。經營「賈維斯的智慧工坊」部落格（粉絲頁），認為人工智慧將會改變人類的生活方式。曾開發多項「軟體即服務」(SaaS)，使用人數超過千人。

曾在 Hahow 開設「MATLAB 音訊處理入門」線上課程，獲得滿分好評；同時也是 T客邦「音訊處理與Azure語音辨識」的課程講師。實戰經驗豐富，做過股票分析、運彩分析、仔豬聲、心跳聲、打擊聲音辨識與馬達異常檢測等，並與上市公司、牙醫診所合作開發多種辨識系統。