大觀數(shù)據(jù)深度學習資料的卷積神經(jīng)網(wǎng)絡 1 深度學習背景 深度學習是近十年來人工智能領域*重要的突破之一。通過建立類似于人腦的分層模型結構，從底層逐步提取輸入數(shù)據(jù)的高層特征，可以很好地建立從低層信號到高層語義的映射關系。近年來，谷歌、微軟、IBM、百度等擁有大數(shù)據(jù)的高科技公司在語音識別、自然語言處理、計算機視覺、圖像視頻分析、多媒體等諸多深度學習技術研發(fā)上投入了大量資源。領域取得了巨大的成功。從對實際應用的貢獻來看，深度學習可能是近十年來機器學習領域*成功的研究方向。卷積神經(jīng)網(wǎng)絡是深度學習的一個重要發(fā)展分支。資料整理了相關信息并進行了深入介紹。大觀數(shù)據(jù)付漢杰 2 深度學習基礎知識 神經(jīng)網(wǎng)絡 在了解深度學習的原理之前，首先要對神經(jīng)網(wǎng)絡有一定的了解。神經(jīng)網(wǎng)絡是生物大腦學習方法的建模。當您嘗試執(zhí)行一項新任務時，會激活一組特定的神經(jīng)元。你觀察結果。然后使用反饋來調(diào)整應該激活哪些神經(jīng)元來多次訓練大腦。之后，一些神經(jīng)元之間的連接會發(fā)生變化。強，別人弱。這構成了記憶的基礎。*簡單的神經(jīng)網(wǎng)絡僅由一個神經(jīng)元組成。一個神經(jīng)元由輸入截取函數(shù)和激活函數(shù)組成。當輸入進入神經(jīng)元時卷積模板的翻譯，可以得到唯一的輸出 hwbxfwxbT 單個神經(jīng)元實際上是輸入的線性組合。許多問題不能很好地解決。所謂的神經(jīng)網(wǎng)絡連接了許多神經(jīng)元。一個神經(jīng)元的輸出是另一個神經(jīng)元的輸入。元素的多個線性組合得到原始特征的非線性組合，從而獲得更好的泛化能力。一般的神經(jīng)網(wǎng)絡由一個輸入層、多個隱藏層和一個輸出層組成。隱藏層和輸出層可以通過前向傳播算法得到。它出現(xiàn)于2006年，加拿大多倫多大學機器學習領域教授Hinton和他的學生Salakhutdinov位居榜首。發(fā)表在學術期刊《科學》上的一篇文章開啟了學術界和深度學習的浪潮。行業(yè)。與傳統(tǒng)的神經(jīng)網(wǎng)絡相比，深度學習具有更深的層次和更少的參數(shù)，并且網(wǎng)絡可以自成一體。

主要學習特征在圖像和視頻識別自然語言處理領域取得了不錯的成績。卷積神經(jīng)網(wǎng)絡，簡稱CNN，是比較有代表性的網(wǎng)絡之一。4 Convolutional Neural Networks Convolutional Neural Networks Convolutional Neural Networks CNNs是第一個真正成功訓練多層網(wǎng)絡結構的學習算法。它利用空間關系來減少需要學習的參數(shù)數(shù)量，以提高一般前向BackPropagationBP算法的訓練性能。CNN 被提議作為一種深度學習架構，以*小化數(shù)據(jù)的預處理要求。局部區(qū)域用作下一層的輸入。每一層都使用數(shù)字濾波器來提取圖像的局部顯著特征，可以對局部區(qū)域的重要信息進行采樣和保留。41 卷積的概念。卷積神經(jīng)網(wǎng)絡 ConvolutionalNeuralNetworks 的卷積操作是可訓練的。filter對上一層的輸出進行卷積求和，然后加上偏移量得到特征圖作為下一層的輸入卷積操作。與傳統(tǒng)的神經(jīng)網(wǎng)絡相比，主要有稀疏鏈接權重共享等。變量表達特征 411稀疏鏈接卷積神經(jīng)網(wǎng)絡與傳統(tǒng)神經(jīng)網(wǎng)絡相比，一個特點是稀疏鏈接與神經(jīng)網(wǎng)絡的全鏈接相比大大減少了參數(shù)數(shù)量。承包建設工程承包，股權轉讓合同協(xié)議、租賃合同模板、購房合同協(xié)議，計算效率也可以提高。具有 10×10 個元素的鏈接減少到原始數(shù)據(jù)的十分之一。復旦大學的付漢杰和陳韻文普遍認為，人們對外部世界的感知是從局部到全球的。從圖像上看，空間連接是局部像素連接比較近。遠處像素的連接較弱，所以神經(jīng)網(wǎng)絡中的權重環(huán)節(jié)只需要上層的局部感知就可以得到整幅圖像的全局感知。如上圖所示，只有神經(jīng)元g3和隱藏層h的3個神經(jīng)元直接連接但間接全鏈接到層x，所以層 g 具有層 x 412 權重共享的間接全局感知。當所有參數(shù)選擇不同的值時，層與層之間的參數(shù)數(shù)量仍然非常巨大，權重共享之后，對每個神經(jīng)元的輸入使用相同的卷積操作，將參數(shù)數(shù)量減少到卷積核的大小。權重共享可以看作是不同位置的通用特征提取方法。這種有益的效果除了參數(shù)數(shù)量的減少之外，還具有一定的平移不變性。當物體在圖像中有一定的平移時，仍然可以用相同的卷積核提取相應的特征來實現(xiàn)視圖數(shù)據(jù)。上圖是利用卷積核提取原始圖像的特征。每個像素減去周圍環(huán)境。可以看出相鄰像素值的影響，提取特征得到原圖的近似邊緣。413 等距表達。在卷積運算中，函數(shù) fx 和函數(shù) gx 等價當且僅當 fgxgfx 表示兩個相鄰的卷積。操作順序?qū)Y果沒有影響。414卷積lxljfxil1kijbljMj的前向傳播公式就是上一層的特征圖。圖為卷積運算 k 為卷積函數(shù) iMj415 卷積 l 的反向傳播公式 函數(shù) fx 和函數(shù) gx 等價當且僅當 fgxgfx 表示兩個相鄰的卷積。操作順序?qū)Y果沒有影響。414卷積lxljfxil1kijbljMj的前向傳播公式就是上一層的特征圖。圖為卷積運算 k 為卷積函數(shù) iMj415 卷積 l 的反向傳播公式 函數(shù) fx 和函數(shù) gx 等價當且僅當 fgxgfx 表示兩個相鄰的卷積。操作順序?qū)Y果沒有影響。414卷積lxljfxil1kijbljMj的前向傳播公式就是上一層的特征圖。圖為卷積運算 k 為卷積函數(shù) iMj415 卷積 l 的反向傳播公式

jlj1f39uljuplj1 是錯誤敏感項 upxx1nnup 操作是上采樣 EljuvbjuvEll1puvjuvilkijuv42 什么是池化？通過卷積得到特征后，分類仍然面臨著大量計算的挑戰(zhàn)。隨著時間的推移，一張 96×96 像素的圖片通過 400 個 8×8 的卷積核獲得特征。每個特征圖有96-81×96-817921維特征，共400×79213768400維特征向量。在此基礎上進行分類是一個計算量非常大的過程，這導致了卷積神經(jīng)網(wǎng)絡的池化操作。池化的一個重要步驟是將輸入劃分為不重疊的矩形。對每個矩形進行池化函數(shù)操作，如取*大值取*小值、加權平均等。池化的好處是大大降低了輸入的分辨率。降低前一層的計算復雜度。2 具有一定的變換不變性。示例翻譯不變性。旋轉不變性。這有助于我們關注某些特征是什么，而不是特征的位置。上圖反映了pooling的旋轉不變性。輸入筆跡 5 具有三個過濾器來檢測和選擇不同角度的筆跡。5 當過濾器匹配到對應的筆跡5時，過濾器會得到一個較大的激活值，然后無論筆跡5是什么，池化都會選擇*大的激活值。旋轉后的421池化前向傳播公式xljfljdownxlj1bljdown是下采樣操作422池化后向傳播公式ljf39uljconv2lj1rot180klj139fullconv2是matlab中的反向卷積操作神經(jīng)網(wǎng)絡LeNet-5 LeNet-5有一個輸入，6個隱藏層和1個輸出。輸入圖像是 32×32 的圖像。C1層、C3層和C5層都是具有5個28×28特征的卷積層。圖 16 10×10 特征圖和 120 1×1 特征圖。例子中由于卷積核在卷積計算過程中的步長為1，所以一般得到的特征圖的大小為L-n1×R-m1L，R為特征圖的行列數(shù)上一層。n×m 是卷積核的大小。如圖所示，隨著層數(shù)的增加，卷積層的特征圖的數(shù)量取決于卷積核和特征的數(shù)量。圖的大小會逐漸變小。S2S4 是下采樣層，有 6 個 14×14 的特征圖和 16 個 5×5 的特征圖。在例子中，采樣窗口的大小為2×2并且采樣范圍不重疊，所以得到的特征圖的大小為L2×R2。分辨率是原來的14下采樣層。特征圖的數(shù)量取決于前一層的數(shù)量?？梢钥闯?，與卷積層相比，下采樣層正在減小特征圖的大小。F6的能力更強，但丟失的信息更多。F6層由C5層組成。全鏈路類似于傳統(tǒng)的神經(jīng)網(wǎng)絡。*終輸出層由歐洲徑向基函數(shù)單元組成。輸出與參數(shù)向量的距離 51 前向傳播 1 樣本集 取一個樣本 XYX 是圖像 Y 是圖像對應的分類 2 依次計算各層和輸出層的特征圖

輸出分類是根據(jù)網(wǎng)絡拓撲結構，通過卷積核從輸入層的信息中得到C1層的特征圖。對第一層進行采樣計算得到S2層的特征圖。計算從輸出層到輸入層的每一層的錯誤敏感項。2 通過每一層的誤差敏感項更新每一層的鏈路矩陣。訓練需要多種經(jīng)驗技巧，如網(wǎng)絡結構選擇神經(jīng)元數(shù)量、設置參數(shù)、初始學習率調(diào)整等，因此為了便于模型的構建，需要多次訓練模型并調(diào)整模型的訓練速度。需求，但目前，深度學習有以下特點：1 數(shù)據(jù)量大。在CNN圖像處理領域，圖像數(shù)量往往是數(shù)百萬級。2 模型的深度比其他模型復雜，參數(shù)數(shù)量多。大量導致收斂緩慢。對于大規(guī)模訓練數(shù)據(jù)，加速模型61 GPU加速矢量化編程提高算法速度主要有以下三個方面。在模型的計算過程中，對于特定的計算操作往往需要進行大量的重復計算，向量線性規(guī)劃強調(diào)在單條指令上對相似數(shù)據(jù)進行并行操作。但是，單個 CPU 上的向量操作的本質(zhì)是串行執(zhí)行。GPU 圖形處理器包含數(shù)千個流處理器。向量運算可以并行執(zhí)行。深度學習中的大量運算都是層與層之間的矩陣運算，使用GPU計算可以大大減少計算時間，充分發(fā)揮計算的高效并行性。下圖顯示了矩陣運算次數(shù)的增加。GPU的運行速度接近CPU的十倍。62 數(shù)據(jù)并行在模型的訓練過程中?？梢詫τ柧殧?shù)據(jù)進行分割，使用多個模型來訓練每個分片的數(shù)據(jù)。隨著數(shù)據(jù)分片數(shù)量的增加，每個分片的訓練樣本大大減少。模型的訓練速度可以線性提高。分片的模型訓練是相互獨立的。培訓結束后，需要交換模型參數(shù)。參數(shù)服務器需要更新模型參數(shù)。當分片模型告訴參數(shù)服務器參數(shù)對的變化時，參數(shù)服務器更新*新的模型，然后將*新的模型返回給每個訓練的Model 63模型并行CNN，除了特定層的全鏈接，其他鏈接關系可以作為模型的平行線。模型的并行可執(zhí)行部分可以拆分為多個 GPU。多個GPU用于計算每個子模型，大大加快了模型的速度。前向傳播和反向傳播的時間，例如在多個卷積核中對上采樣層的特征圖進行卷積運算。每個卷積核共享相同的輸入但運算不相互依賴，可以并行計算以提高計算速度。總結 月度工作總結和計劃 工作總結和工作計劃 圖像識別的研究進展突出體現(xiàn)在ImageNetILSVRC和人臉識別上，并且正在迅速推廣到與圖像識別相關的各種問題。卷積神經(jīng)網(wǎng)絡CNN逐漸與RNN等深度學習模型結合，取得了不錯的效果。在未來的深度學習中是可以預見的。算法的應用將產(chǎn)生越來越深遠的影響。大觀數(shù)據(jù)也將密切關注深度學習*新技術動態(tài)大觀數(shù)據(jù)付漢杰 總結 月度工作總結和計劃 工作總結和工作計劃 圖像識別的研究進展突出體現(xiàn)在ImageNetILSVRC和人臉識別上卷積模板的翻譯，并且正在迅速推廣到與圖像識別相關的各種問題。卷積神經(jīng)網(wǎng)絡CNN逐漸與RNN等深度學習模型結合，取得了不錯的效果。在未來的深度學習中是可以預見的。算法的應用將產(chǎn)生越來越深遠的影響。大觀數(shù)據(jù)也將密切關注深度學習*新技術動態(tài)大觀數(shù)據(jù)付漢杰 總結 月度工作總結和計劃 工作總結和工作計劃 圖像識別的研究進展突出體現(xiàn)在ImageNetILSVRC和人臉識別上，并且正在迅速推廣到與圖像識別相關的各種問題。卷積神經(jīng)網(wǎng)絡CNN逐漸與RNN等深度學習模型結合，取得了不錯的效果。在未來的深度學習中是可以預見的。算法的應用將產(chǎn)生越來越深遠的影響。大觀數(shù)據(jù)也將密切關注深度學習*新技術動態(tài)大觀數(shù)據(jù)付漢杰 卷積神經(jīng)網(wǎng)絡CNN逐漸與RNN等深度學習模型結合，取得了不錯的效果。在未來的深度學習中是可以預見的。算法的應用將產(chǎn)生越來越深遠的影響。大觀數(shù)據(jù)也將密切關注深度學習*新技術動態(tài)大觀數(shù)據(jù)付漢杰 卷積神經(jīng)網(wǎng)絡CNN逐漸與RNN等深度學習模型結合，取得了不錯的效果。在未來的深度學習中是可以預見的。算法的應用將產(chǎn)生越來越深遠的影響。大觀數(shù)據(jù)也將密切關注深度學習*新技術動態(tài)大觀數(shù)據(jù)付漢杰