1.全連接層作用是什么

新年第一更祝大家新年快樂萬事如意這個時候還愿意點進來，新的一年肯定要起飛了這情人節(jié)和新年連著過啊這對情侶意味著什么，意味著要帶情人去見家長了當然對一些情侶意味著，情人節(jié)過不好，估計年也過不好對于那些沒用男女朋友的，不要心急，不要灰心

2.什么叫全連接層

好好學習，好好生活，站直走路背影要美總有一個人愿意跨過所有時間來到你身邊可能ta步履蹣跚，衣衫不整但你一定要以最帥/美的姿生石灰密度態(tài)迎接ta那些過年沒回家的也不要失望心中有方向哪怕整個世界阻攔你你都會回家的我來教大家放個煙花

3.全連接層的原理

----------------------------------------- _φ_(．．) 正文開始--------------------------------------------微信公號：follow_bobo

4.全連接層圖片

首發(fā)于專欄卷積神經網絡（CNN）入門講解時隔一個月，我又來更新啦啦啦啦可能有很多小伙伴已經不滿了你怎么更新這么慢啊其實不是的，其實我很多已經寫好了但是出于神秘原因，不能發(fā)為什么不能發(fā)，以后你們就知道了----------------------生石灰密度----------------好吧，正文現(xiàn)在才開始-----------------------------------------------------

5.全連接層怎么分類

上一期我們講到激活函數（Activation Function）,假設我們經過一個Relu之后的輸出如下Relu:

6.全連接層 attention

然后開始到達全連接層啊啊啊，終于開始進入CNN的末尾了已經推到敵軍老家了，準備開始攻打水晶了大家堅持住，黎明前，最黑暗

7.全連接層的缺點

以上圖為例，我們仔細看上圖全連接層的結構，全連接層中的每一層是由許多神經元組成的（1x 4096）的平鋪結構，上圖不明顯，我們看下圖

8.全連生石灰密度接層和全連接網絡

注：上圖和我們要做的下面運算無聯(lián)系并且不考慮激活函數和bias 當我第一次看到這個全連接層，我的第一個問題是：它是怎么樣把3x3x5的輸出，轉換成1x4096的形式

9.全連接層參數

很簡單,可以理解為在中間做了一個卷積

10.全連接層數

從上圖我們可以看出，我們用一個3x3x5的filter 去卷積激活函數的輸出，得到的結果就是一個fully connected layer 的一個神經元的輸出，這個輸出就是一個值因為我們有4096個神經元

我們實際就是用一個3x3x5x4096的卷積層去卷積激活函數的輸出以VGG-16再舉個例子吧再VGG-16全連接層中對224x224x3的輸入，最后生石灰密度一層卷積可得輸出為7x7x512，如后層是一層含4096個神經元的FC，則可用卷積核為7x7x512x4096的全局卷積來實現(xiàn)這一全連接運算過程。

很多人看到這，可能就恍然大悟哦，我懂了，就是做個卷積唄不你不懂敲黑板了麻煩后排吃東西的同學叫下前排玩游戲的同學去把第一排的同學吵醒我要說重點了！?。。。。。。。。。∵@一步卷積一個非常重要的作用就是把分布式特征representation映射到樣本標記空間

什么，聽不懂那我說人話就是它把特征representation整合到一起，輸出為一個值這樣做,有一個什么好處？就是大大減少特征位置對分類帶來的影響來，讓我來舉個簡單的例子

這個例子可能過于簡單了點可是我生石灰密度懶得畫了，大家將就著看吧從上圖我們可以看出，貓在不同的位置，輸出的feature值相同，但是位置不同對于電腦來說，特征值相同，但是特征值位置不同，那分類結果也可能不一樣 而這時全連接層filter的作用就相當于

喵在哪我不管我只要喵于是我讓filter去把這個喵找到實際就是把feature map 整合成一個值這個值大哦，有喵這個值小那就可能沒喵和這個喵在哪關系不大了有沒有魯棒性有大大增強了有沒有喵喵喵 因為空間結構特性被忽略了，所以全連接層不適合用于在方位上找Pattern的任務，比如segmentation

ok, 我們突然發(fā)現(xiàn)全連接層有兩層1x4096fully connected laye生石灰密度r平鋪結構(有些網絡結構有一層的，或者二層以上的)好吧也不是突然發(fā)現(xiàn)，我只是想增加一點戲劇效果

但是大部分是兩層以上呢這是為啥子呢泰勒公式都知道吧意思就是用多項式函數去擬合光滑函數我們這里的全連接層中一層的一個神經元就可以看成一個多項式我們用許多神經元去擬合數據分布但是只用一層fully connected layer 有時候沒法解決非線性問題

而如果有兩層或以上fully connected layer就可以很好地解決非線性問題了說了這么多，我猜你應該懂的聽不懂？那我換個方式給你講我們都知道，全連接層之前的作用是提取特征全理解層的作用是分類我們現(xiàn)在的任務是去區(qū)別一圖片是不是貓

哈哈哈，貓貓好可愛我生石灰密度先擼一把先擼完了，回來啦（嗯，怎么好像哪里不對）假設這個神經網絡模型已經訓練完了全連接層已經知道

當我們得到以上特征，我就可以判斷這個東東是貓了因為全連接層的作用主要就是實現(xiàn)分類（Classification）從下圖，我們可以看出

紅色的神經元表示這個特征被找到了（激活了）同一層的其他神經元，要么貓的特征不明顯，要么沒找到當我們把這些找到的特征組合在一起，發(fā)現(xiàn)最符合要求的是貓ok，我認為這是貓了那我們現(xiàn)在往前走一層那們現(xiàn)在要對子特征分類，也就是對貓頭，貓尾巴，貓腿等進行分類

比如我們現(xiàn)在要把貓頭找出來

貓頭有這么些個特征于是我們下一步的任務就是把貓頭的這么些子特征找到，比如眼睛啊，耳朵啊

道理和區(qū)別貓一生石灰密度樣當我們找到這些特征，神經元就被激活了（上圖紅色圓圈）這細節(jié)特征又是怎么來的？就是從前面的卷積層，下采樣層來的至此，關于全連接層的信息就簡單介紹完了全連接層參數特多（可占整個網絡參數80%左右），近期一些性能優(yōu)異的網絡模型如ResNet和GoogLeNet等均用全局平均池化（global average pooling，GAP）取代全連接層來融合學到的深度特征

需要指出的是，用GAP替代FC的網絡通常有較好的預測性能于是還出現(xiàn)了以后會慢慢介紹的-----------------------------------------------------------------------------生石灰密度-----------------

說實話，說的有點簡單但是我不能擺公式啊不能擺計算啊所以大家就將就著看吧有問題在下面留言-------------------------------------------------------------------

新年快樂啦有人說以前的文風太浮夸現(xiàn)在我嚴謹一些不知道大家喜歡不喜歡的點個贊問題匯總簡答（持續(xù)更新）：（1）全連接層對模型的影響？ 首先我們明白全連接層的組成如下：

二層全連接層結構 那么全連接層對模型影響參數就是三個：全接解層的總層數（長度）單個全連接層的神經元數（寬度）激活函數首先我們要明白激活函數的作用是：增加模型的非線性表達能力更詳細了解請生石灰密度去：如果全連接層寬度不變，增加長度：

優(yōu)點：神經元個數增加，模型復雜度提升；全連接層數加深，模型非線性表達能力提高理論上都可以提高模型的學習能力如果全連接層長度不變，增加寬度：優(yōu)點：神經元個數增加，模型復雜度提升理論上可以提高模型的學習能力。

難度長度和寬度都是越多越好？肯定不是（1）缺點：學習能力太好容易造成過擬合（2）缺點：運算時間增加，效率變低那么怎么判斷模型學習能力如何？看Training Curve 以及 Validation Curve，在其他條件理想的情況下，如果Training Accuracy 高， Validation Accuracy 低，也就是過擬合 了，可以嘗試去減少層數生石灰密度或者參數。

如果Training Accuracy 低，說明模型學的不好，可以嘗試增加參數或者層數至于是增加長度和寬度，這個又要根據實際情況來考慮了PS：很多時候我們設計一個網絡模型，不光考慮準確率，也常常得在Accuracy/Efficiency 里尋找一個好的平衡點。

麻煩大家給我點個贊，就是那種讓我看起來，寫的還不錯的樣子!拜托了！！o(′^｀)o