深度學習(DL, Deep Learning)是機器學習(ML, Machine Learning)領域中一個新的研究方向，它被引入機器學習使其更接近于最初的目標——人工智能(AI, Artificial Intelligence)。

深度學習是學習樣本數(shù)據(jù)的內在規(guī)律和表示層次，這些學習過程中獲得的信息對諸如文字、圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。它的最終目標是讓機器能夠像人一樣具有分析學習能力，能夠識別文字、圖像和聲音等數(shù)據(jù)。 深度學習是一個復雜的機器學習算法，在語音和圖像識別方面取得的效果，遠遠超過先前相關技術。

深度學習在搜索技術、數(shù)據(jù)挖掘、機器學習、機器翻譯、自然語言處理、多媒體學習、語音、推薦和個性化技術以及其他相關領域都取得了很多成果。深度學習使機器模仿視聽和思考等人類的活動，解決了很多復雜的模式識別難題，使得人工智能相關技術取得了很大進步。  

 

深度學習是一類模式分析方法的統(tǒng)稱，就具體研究內容而言，主要涉及三類方法：

(1)基于卷積運算的神經網(wǎng)絡系統(tǒng)，即卷積神經網(wǎng)絡(CNN)。

(2)基于多層神經元的自編碼神經網(wǎng)絡，包括自編碼( Auto encoder)以及近年來受到廣泛關注的稀疏編碼兩類( Sparse Coding)。

(3)以多層自編碼神經網(wǎng)絡的方式進行預訓練，進而結合鑒別信息進一步優(yōu)化神經網(wǎng)絡權值的深度置信網(wǎng)絡(DBN)。 

通過多層處理，逐漸將初始的“低層”特征表示轉化為“高層”特征表示后，用“簡單模型”即可完成復雜的分類等學習任務。由此可將深度學習理解為進行“特征學習”（feature learning）或“表示學習”（representation learning）。

以往在機器學習用于現(xiàn)實任務時，描述樣本的特征通常需由人類專家來設計，這稱為“特征工程”（feature engineering）。眾所周知，特征的好壞對泛化性能有至關重要的影響，人類專家設計出好特征也并非易事；特征學習（表征學習）則通過機器學習技術自身來產生好特征，這使機器學習向“全自動數(shù)據(jù)分析”又前進了一步。 

近年來，研究人員也逐漸將這幾類方法結合起來，如對原本是以有監(jiān)督學習為基礎的卷積神經網(wǎng)絡結合自編碼神經網(wǎng)絡進行無監(jiān)督的預訓練，進而利用鑒別信息微調網(wǎng)絡參數(shù)形成的卷積深度置信網(wǎng)絡。與傳統(tǒng)的學習方法相比，深度學習方法預設了更多的模型參數(shù)，因此模型訓練難度更大，根據(jù)統(tǒng)計學習的一般規(guī)律知道，模型參數(shù)越多，需要參與訓練的數(shù)據(jù)量也越大。

20世紀八九十年代由于計算機計算能力有限和相關技術的限制，可用于分析的數(shù)據(jù)量太小，深度學習在模式分析中并沒有表現(xiàn)出優(yōu)異的識別性能。自從2006年， Hinton等提出快速計算受限玻耳茲曼機(RBM)網(wǎng)絡權值及偏差的CD-K算法以后，RBM就成了增加神經網(wǎng)絡深度的有力工具，導致后面使用廣泛的DBN(由 Hinton等開發(fā)并已被微軟等公司用于語音識別中)等深度網(wǎng)絡的出現(xiàn)。與此同時，稀疏編碼等由于能自動從數(shù)據(jù)中提取特征也被應用于深度學習中。基于局部數(shù)據(jù)區(qū)域的卷積神經網(wǎng)絡方法近年來也被大量研究。

深度學習是機器學習的一種，而機器學習是實現(xiàn)人工智能的必經路徑。深度學習的概念源于人工神經網(wǎng)絡的研究，含多個隱藏層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。研究深度學習的動機在于建立模擬人腦進行分析學習的神經網(wǎng)絡，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像、聲音和文本等。

 

從一個輸入中產生一個輸出所涉及的計算可以通過一個流向圖（flow graph）來表示：流向圖是一種能夠表示計算的圖，在這種圖中每一個節(jié)點表示一個基本的計算以及一個計算的值，計算的結果被應用到這個節(jié)點的子節(jié)點的值。考慮這樣一個計算集合，它可以被允許在每一個節(jié)點和可能的圖結構中，并定義了一個函數(shù)族。輸入節(jié)點沒有父節(jié)點，輸出節(jié)點沒有子節(jié)點。 

這種流向圖的一個特別屬性是深度（depth）：從一個輸入到一個輸出的最長路徑的長度。

傳統(tǒng)的前饋神經網(wǎng)絡能夠被看作擁有等于層數(shù)的深度（比如對于輸出層為隱層數(shù)加1）。SVMs有深度2（一個對應于核輸出或者特征空間，另一個對應于所產生輸出的線性混合）。

人工智能研究的方向之一，是以所謂 “專家系統(tǒng)” 為代表的，用大量 “如果-就”（If - Then）規(guī)則定義的，自上而下的思路。人工神經網(wǎng)絡（Artificial Neural Network），標志著另外一種自下而上的思路。神經網(wǎng)絡沒有一個嚴格的正式定義。它的基本特點，是試圖模仿大腦的神經元之間傳遞，處理信息的模式。  

計算機視覺

香港中文大學的多媒體實驗室是最早應用深度學習進行計算機視覺研究的華人團隊。在世界級人工智能競賽LFW（大規(guī)模人臉識別競賽）上，該實驗室曾力壓FaceBook奪得冠軍，使得人工智能在該領域的識別能力首次超越真人。 

語音識別

微軟研究人員通過與hinton合作，首先將RBM和DBN引入到語音識別聲學模型訓練中，并且在大詞匯量語音識別系統(tǒng)中獲得巨大成功，使得語音識別的錯誤率相對減低30%。但是，DNN還沒有有效的并行快速算法，很多研究機構都是在利用大規(guī)模數(shù)據(jù)語料通過GPU平臺提高DNN聲學模型的訓練效率。 

在國際上，IBM、Google等公司都快速進行了DNN語音識別的研究，并且速度飛快。國內方面，阿里巴巴、科大訊飛、百度、中科院自動化所等公司或研究單位，也在進行深度學習在語音識別上的研究。 

【來源：網(wǎng)絡】