1.全連接層作用是什么

正如你所說(shuō)的，Attention的最終輸出可以看成是一個(gè)“在關(guān)注部分權(quán)重更大的全連接層”但是它與全連接層的區(qū)別在于，注意力機(jī)制可以利用輸入的特征信息來(lái)確定哪些部分更重要舉個(gè)例子：輸入層有A,B,C三個(gè)特征向量

2.什么叫全連接層

，我們需要構(gòu)造一層網(wǎng)絡(luò)來(lái)確定三者的權(quán)重，然后加權(quán)求和得到輸出O也就是得到三個(gè)權(quán)重 wA,wB,wCw_A,w_B,w_C ，然后地藏經(jīng)全文(注音版)帶回向文誦讀得到 O=wAA+wBB+wCCO=w_AA+w_BB+w_CC 這個(gè)式子形式上看上去確實(shí)是全連接層沒(méi)錯(cuò)。

3.全連接層圖片

然而如果用全連接層有什么問(wèn)題呢？問(wèn)題就在于在全連接層里， wA,wB,wCw_A,w_B,w_C 是根據(jù)位置確定的我第一次給你三個(gè)數(shù)據(jù)ABC，然后你得出了B最重要，也就是讓 wBw_B 最大然而我下次給你的順序可能是BAC，這次A在剛才B的位置，如果你用全連接層來(lái)實(shí)現(xiàn)的話(huà)，得出的結(jié)果就會(huì)變成 。

4.全連接層的原理

O=wAB+wBA+wCCO=w_AB+w_BA+w_CC 這就變成了A最重要了，這顯然不是我們想要的結(jié)果那么如何解決這個(gè)問(wèn)題呢？我們就要根據(jù)實(shí)體自身的特征，而不是地藏經(jīng)全文(注音版)帶回向文誦讀它們的位置來(lái)確定它們的重要程度也就是說(shuō)， 。

5.全連接層和全連接網(wǎng)絡(luò)

wA,wB,wCw_A,w_B,w_C 不該是固定的，而是要與A,B,C的值相關(guān)簡(jiǎn)單考慮，也就是要定義一個(gè)函數(shù)f，令wA=f(A),wB=f(B),wC=f(C)w_A=f(A),w_B=f(B),w_C=f(C)。

6.全連接層工作原理

于是我們就給每個(gè)實(shí)體分配了一個(gè)與它們的位置無(wú)關(guān)的權(quán)重這里的函數(shù)f就是我們所說(shuō)的注意力機(jī)制注意力機(jī)制f的定義方式有很多種，但是不屬于這個(gè)問(wèn)題的范圍，這里我就不討論了我們最終得出的輸出為O=wAA+wBB

7.全連接層的缺點(diǎn)

+wCC=f(A)A+f(B)B+f(C)CO=w_AA+w_BB+w_CC=地藏經(jīng)全文(注音版)帶回向文誦讀f(A)A+f(B)B+f(C)C可以看出，最終整合信息時(shí)加權(quán)求和的形式?jīng)]有變，所以可能是這樣才讓題主產(chǎn)生了注意力機(jī)制與全連接層沒(méi)有區(qū)別的疑惑。

8.全連接層如何進(jìn)行分類(lèi)

然而事實(shí)上注意力機(jī)制的意義是引入了權(quán)重函數(shù)f，使得權(quán)重與輸入相關(guān)，從而避免了全連接層中權(quán)重固定的問(wèn)題2019年4月21日更新：經(jīng)評(píng)論區(qū)一位朋友的提醒，想到可以從另外一個(gè)角度解釋這個(gè)問(wèn)題：全連接的作用的是對(duì)一個(gè)實(shí)體進(jìn)行從一個(gè)。

9.全連接層 attention

特征空間到另一個(gè)特征空間的映射，而注意力機(jī)制是要對(duì)來(lái)自同一個(gè)特征空間的多個(gè)實(shí)體進(jìn)行整合全連接的權(quán)重對(duì)應(yīng)的是一個(gè)實(shí)體上的每個(gè)特征的重要性，而注意力機(jī)制的輸出結(jié)果是各個(gè)實(shí)體的重要性地藏經(jīng)全文(注音版)帶回向文誦讀比如說(shuō)，一個(gè)單詞“l(fā)ove”在從200維的特征空間轉(zhuǎn)換到100維的特征空間時(shí)，使用的是全連接，不需要注意力機(jī)制，因?yàn)樘卣骺臻g每一維的意義是固定的。

10.全連接層參數(shù)怎么設(shè)置

而如果我們面對(duì)的是詞組“I love you”，需要對(duì)三個(gè)200維的實(shí)體特征進(jìn)行整合，整合為一個(gè)200維的實(shí)體，此時(shí)就要考慮到實(shí)體間的位置可能發(fā)生變化，我們下次收到的句子可能是“l(fā)ove you I”，從而需要一個(gè)與位置無(wú)關(guān)的方案。