1深度學(xué)習(xí)背景

深度學(xué)習(xí)是近十年來人工智能領(lǐng)域取得的最重要的突破之一，通過建立類似于人腦的分層模型結(jié)構(gòu)對輸入數(shù)據(jù)逐級提取從底層到高層的特征從而能很好地建立從底層信號到高層語義的映射關(guān)系。

近年來谷歌微軟IBM百度等擁有大數(shù)據(jù)的高科技公司相繼投入大量資源進行深度學(xué)習(xí)技術(shù)研發(fā)，在語音識別、自然語言處理、計算機視覺、圖像與視頻分析、多媒體等諸多領(lǐng)域都取得了巨大成功。從對實際應(yīng)用的貢獻來說，深度學(xué)習(xí)可能是機器學(xué)習(xí)領(lǐng)域最近這十年來最成功的研究方向。卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中重要的發(fā)展分支，達觀數(shù)據(jù)整理了相關(guān)資料并給出了深入淺出的介紹。（達觀數(shù)據(jù) 符漢杰）

2深度學(xué)習(xí)基礎(chǔ)知識：神經(jīng)網(wǎng)絡(luò)

了解深度學(xué)習(xí)的原理之前，首先要對神經(jīng)網(wǎng)絡(luò)有一定的了解。神經(jīng)網(wǎng)絡(luò)是對生物上大腦學(xué)習(xí)方式進行建模。當你嘗試進行一個新任務(wù)時，一系列特定的神經(jīng)元集合會被激活。你觀察到結(jié)果，接下來利用反饋來調(diào)整哪些神經(jīng)元應(yīng)該被激活，以此來訓(xùn)練大腦。多次之后，一些神經(jīng)元之間的聯(lián)系將變強而另外一些則變?nèi)?，這就形成了記憶的基礎(chǔ)。

最簡單的神經(jīng)網(wǎng)絡(luò)是僅由一個神經(jīng)元組成，一個神經(jīng)元由輸入、截距和激活函數(shù)組成，當輸入進入神經(jīng)元可以得到唯一的輸出

單一的神經(jīng)元實際上是對輸入的線性組合，在很多問題上不能夠得到很好的擬合能力。所謂的神經(jīng)網(wǎng)絡(luò)是對許多的神經(jīng)元聯(lián)結(jié)起來，一個神經(jīng)元的輸出是另一個神經(jīng)元的輸入，通過對神經(jīng)元多次線性組合，得到了對原始特征的非線性組合，可以得到更好的泛化能力。一般神經(jīng)網(wǎng)絡(luò)由一個輸入層、多個隱藏層和一個輸出層組成。

通過前向傳播算法，可以得到隱藏層以及輸出層的輸出：

用z表示層的輸出值，a表示層的激活值。

通過后向傳播算法，可以用批量梯度下降的方法求解神經(jīng)網(wǎng)絡(luò)：

單個樣本的代價函數(shù)

整體代價函數(shù)為

梯度下降

3深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)具有很強的非線性能力，但是非常明顯的缺點是參數(shù)數(shù)量多、收斂速度慢、容易過擬合等問題，20世紀計算機的計算能力比較薄弱，而且支持向量機等機器學(xué)習(xí)方法的興起，導(dǎo)致神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）并沒有得到重視。

轉(zhuǎn)機在2006年出現(xiàn)！加拿大多倫多大學(xué)教授機器學(xué)習(xí)領(lǐng)域的泰斗Hinton和他的學(xué)生Salakhutdinov在頂尖學(xué)術(shù)刊物《科學(xué)》上發(fā)表了一篇文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。深度學(xué)習(xí)相比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)層數(shù)更深，參數(shù)更少，且網(wǎng)絡(luò)能夠自主的學(xué)習(xí)特征，在圖像視頻識別、自然語言處理領(lǐng)域上取得了很好的成績。而卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡稱CNN）是其中比較有代表性的網(wǎng)絡(luò)之一。

4 Convolutional Neural Networks卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)CNNs是第一個真正成功訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)算法。它利用空間關(guān)系減少需要學(xué)習(xí)的參數(shù)數(shù)目以提高一般前向（Back Propagation）BP算法的訓(xùn)練性能。CNNs作為一個深度學(xué)習(xí)架構(gòu)提出是為了最小化數(shù)據(jù)的預(yù)處理要求。CNNs中圖像的局部區(qū)域作為下一層的輸入，每一層通過數(shù)字濾波器來提取圖像局部顯著特征，同時可以采樣保留局部區(qū)域的重要信息

4.1卷積的概念

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks）的卷積操作是通過可訓(xùn)練的濾波器對上一層的輸出進行卷積求和，然后添加上偏移量經(jīng)過激活函數(shù)，得到了特征映射圖作為下一層的輸入。卷積操作相對于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)主要有稀疏鏈接、權(quán)值共享和等變表達的特性。

4.1.1稀疏鏈接

卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比的一個特點是稀疏鏈接，與神經(jīng)網(wǎng)絡(luò)的全鏈接相比極大的減少參數(shù)的數(shù)量。參數(shù)數(shù)量的減少，可以防止過擬合，同樣運算的效率也能得到提升。

如上圖所示作圖是神經(jīng)網(wǎng)絡(luò)的全鏈接，右圖是稀疏鏈接。右圖中每個神經(jīng)元之和10×10個元素鏈接，減少為原來的萬分之一。（達觀數(shù)據(jù)復(fù)旦大學(xué) 符漢杰/陳運文）

一般認為人對外界的認知是從局部到全局的，從圖像上看空間的聯(lián)系是局部的像素聯(lián)系比較緊密，而較遠的像素的聯(lián)系比較弱。所以神經(jīng)網(wǎng)絡(luò)中的權(quán)值鏈接只需要對上一層的局部感知即可獲得對整個圖像的全局感知。

如上圖，神經(jīng)元g3只和隱含層h的3個神經(jīng)元直接相連，但是和層x是間接的全鏈接，所以層g對層x有間接的全局感知。

4.1.2權(quán)值共享：

當所有參數(shù)選擇不同的數(shù)值時，層與層之間的參數(shù)數(shù)量依然是非常巨大的。權(quán)值共享后對于每一個神經(jīng)元的輸入使用相同的卷積操作，使得參數(shù)的數(shù)量減少為卷積核的大小。權(quán)值共享可以看作是對不同位置的共同特征提取方式，這樣的有益效果除了參數(shù)數(shù)量的減少，還具有一定的平移不變性，當物體在圖像中有一定的平移時依然可以用相同的卷積核提取出對應(yīng)的特征。達觀數(shù)據(jù)（http://datagrand.com）

上圖是對原圖使用卷積核提取特征，每個像素減去周圍鄰近的像素值的效果，可以看出提取特征得到了原圖的大概邊緣。

4.1.3等變表達：

4.1.4卷積的前向傳播公式：

4.1.5卷積的后向傳播公式：

4.2什么是池化？

在通過卷積獲得特征后進行分類，依然面臨計算量大的挑戰(zhàn)。及時一張96×96像素的圖片，經(jīng)過400個8×8的卷積核獲取特征，每個特征映射圖有（96-8+1）×（96-8+1)=7921維特征，總共有400×7921=3768400維特征向量，在此基礎(chǔ)上進行分類是一個計算量很大的過程，由此引出了池化操作。

卷積神經(jīng)網(wǎng)絡(luò)的一個重要步驟是池化，對輸入劃分不重疊的矩形，對于每個矩形進行池化函數(shù)操作，例如取最大值、取最小值、加權(quán)平均等。池化的優(yōu)勢在于（1）降低輸入的分辨率，極大的極大的減少上一層的計算復(fù)雜度（2）具有一定的轉(zhuǎn)變不變性（例平移不變性、旋轉(zhuǎn)不變性），這有益于我們來關(guān)注某一些特征是什么而不是特征的位置。

上圖反映的是池化的旋轉(zhuǎn)不變性，對于輸入手寫5，有三個濾波器分別檢測選擇不同角度的手寫5。當濾波器和對應(yīng)的手寫5匹配時，濾波器會得到一個較大的激活值，然后池化會選擇得到最大的激活值，無論手寫5是怎樣的旋轉(zhuǎn)的。

4.2.1池化的前向傳播公式：
，down是下采樣操作

4.2.2池化的后向傳播公式：

5 卷積神經(jīng)網(wǎng)絡(luò)運用實例

上圖是一個識別數(shù)字的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5。LeNet-5共有一層輸入，6層隱藏層和1層輸出層。輸入的圖像是一個32×32的圖像。

C1層、C3層和C5層都是卷積層，分別有5個28×28特征圖、16個10×10特征圖和120個1×1特征圖。在例子中由于進行卷積計算的過程中，卷積核的步長為1，所以一般得到的特征圖的大小為(L-n+1)×(R-m+1)，L和R是上一層特征圖的行數(shù)和列數(shù)，n×m是卷積核的大小。如圖所示，卷積層的特征圖數(shù)量取決于卷積核的數(shù)量，并且隨著層數(shù)的遞增特征圖的規(guī)模會逐漸變小。

S2、S4是下采樣層，分別有6個14×14的特征圖和16個5×5的特征圖。在例子中，采樣窗口的大小為2×2且采樣范圍不重疊，所以得到的特征圖的大小為(L/2)×(R/2)，分辨率為原來的1/4。下采樣層的特征圖數(shù)量取決于上一層的數(shù)量?？梢钥闯?，下采樣層相比卷積層在縮小特征圖規(guī)模的能力更強，但丟失了更多的信息。

F6層是C5層構(gòu)成全鏈接與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)類似。最后輸出層是由歐式徑向基函數(shù)單元組成，輸出與參數(shù)向量的距離。

5.1前向傳播

（1）樣本集中取一個樣本（X，Y），X是一個圖像，Y是圖像對應(yīng)的分類；

（2）按順序計算每一層的特征圖以及輸出層的輸出分類。

按照網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，從輸入層的信息經(jīng)過卷積核計算得到C1層的特征圖，1層經(jīng)過采樣計算得到S2層的特征圖，以此類推，最終輸出層得到了模型輸出結(jié)果。

5.2后向傳播

（1）從輸出層出發(fā)到輸入層，計算每一層的誤差敏感項；

（2）通過每一層的誤差敏感項分別對每一層的鏈接矩陣進行更新。

6深度學(xué)習(xí)加速技術(shù)

達觀數(shù)據(jù)（http://datagrand.com）在實際的應(yīng)用場景中，深層模型的訓(xùn)練需要各種的經(jīng)驗技巧，例如網(wǎng)絡(luò)結(jié)構(gòu)的選取、神經(jīng)元個數(shù)的設(shè)定、參數(shù)初始化、學(xué)習(xí)速率調(diào)整等。因此為了方便對模型的構(gòu)建，需要對模型進行多次訓(xùn)練以及調(diào)整，對模型的訓(xùn)練速度有較高的需求。但目前深度學(xué)習(xí)有以下幾個特點：1、數(shù)據(jù)量大，例在CNN圖像處理領(lǐng)域中，圖像的數(shù)量往往是百萬級別的；2、模型的深度深，相比其它的模型，深度學(xué)習(xí)模型更復(fù)雜且參數(shù)數(shù)量很多，計算量大導(dǎo)致收斂的速度慢。對于大規(guī)模訓(xùn)練數(shù)據(jù)，主要有以下三個方面進行對模型加速。

6.1 GPU加速

矢量化編程提高算法速度。在模型的計算過程中往往需要對特定的運算操作進行大量的重復(fù)計算，而矢量化編程強調(diào)對單一指令并行操作相似的數(shù)據(jù)，然而在單個CPU上矢量運算本質(zhì)還是串行執(zhí)行。

GPU（圖形處理器）包含幾千個流處理器可以將矢量運算并行執(zhí)行。深度學(xué)習(xí)中大量的操作都是層與層之間的矩陣運算，使用GPU計算能大幅減少計算時間，充分發(fā)揮計算的高效并行能力。下圖可以看出，對于矩陣運算數(shù)量的增多，GPU的運行速度接近CPU的十倍。

6.2數(shù)據(jù)并行

在模型的訓(xùn)練過程中，可以對訓(xùn)練數(shù)據(jù)進行劃分，同時采用多模型分別對每個分片的數(shù)據(jù)進行訓(xùn)練。隨著數(shù)據(jù)分片數(shù)量的增多，每個分片的訓(xùn)練樣本大量的減少，模型的訓(xùn)練速度能得到線性級別的提升。每個分片的模型訓(xùn)練相互獨立，訓(xùn)練完畢后需要進行模型參數(shù)的交換，需要參數(shù)服務(wù)器更新模型參數(shù)。當分片模型把參數(shù)對的變化量告訴參數(shù)服務(wù)器，參數(shù)服務(wù)器更新為最新的模型，然后把最新的模型返回給各個訓(xùn)練模型。

6.3模型并行

CNN除了在特定層是全鏈接以外，其它的鏈接關(guān)系可以作為模型的并行?？梢詫⒛Ｐ涂刹⑿袌?zhí)行部分拆分到多個GPU上，利用多個GPU對各個子模型進行計算，大大加快模型的前向傳播和后傳播的時間。例如在多個卷積核對上一層采樣層的特征圖進行卷積操作，各個卷積核共用同一輸入但運算之間并不相互依賴，可以并行計算提高運算的速率。

總結(jié)和展望

2012 年以來，深度學(xué)極大的推動了圖像識別的研究進展，突出體現(xiàn)在 ImageNet ILSVRC 和人臉識別，而且正在快速推廣到與圖像識別相關(guān)的各個問題。卷積神經(jīng)網(wǎng)絡(luò)CNN也逐漸和RNN等深度學(xué)習(xí)模型結(jié)合取得很好的效果，可以預(yù)見在未來深度學(xué)習(xí)在算法、應(yīng)用方面將產(chǎn)生越來越深遠的影響，達觀數(shù)據(jù)也將密切關(guān)注深度學(xué)習(xí)的最新技術(shù)進展。（達觀數(shù)據(jù) 符漢杰）