1.神經(jīng)網(wǎng)絡(luò)權(quán)重是什么

dropout層要解決的問題：在機(jī)器學(xué)習(xí)的一些模型中，如果模型的參數(shù)太多，而訓(xùn)練樣本又太少的話，這樣訓(xùn)練出來的模型很容易產(chǎn)生過擬合現(xiàn)象內(nèi)容：在訓(xùn)練時(shí)， 每個(gè)神經(jīng)元以概率p保留， 即以1-p的概率停止工作， 每次前向傳播保留下來的神經(jīng)元都不同。

2.神經(jīng)網(wǎng)絡(luò)權(quán)重取值范圍

好處：1. 多模型的平均： 不同的固定神經(jīng)網(wǎng)絡(luò)會有不同快樂家族成員名單的過擬合， 多個(gè)取平均則有可能讓一些相反的擬合抵消掉， 而Dropout每次都是不同的神經(jīng)元失活， 可以看做是多個(gè)模型的平均， 類似于多數(shù)投票取勝的策略。

3.神經(jīng)網(wǎng)絡(luò)中的權(quán)重是怎么確定出來的

2. 減少神經(jīng)元間的依賴： 由于兩個(gè)神經(jīng)元不一定同時(shí)有效， 因此減少了特征之間的依賴， 迫使網(wǎng)絡(luò)學(xué)習(xí)有更為魯棒的特征， 因?yàn)樯窠?jīng)網(wǎng)絡(luò)不應(yīng)該對特定的特征敏感， 而應(yīng)該從眾多特征中學(xué)習(xí)更為共同的規(guī)律，這也起到了正則化的效果。

4.求解神經(jīng)網(wǎng)絡(luò)的權(quán)重系數(shù)

3. 生物進(jìn)化： Dropout類似于性別在生物進(jìn)化中的角色， 物種為了適應(yīng)環(huán)境變化， 在繁衍時(shí)取雄性和雌性的各一半基因進(jìn)行組合， 這樣可以適應(yīng)更復(fù)雜的新環(huán)境， 避快樂家族成員名單免了單一基因的過擬合， 當(dāng)環(huán)境發(fā)生變化時(shí)也不至于滅絕。

5.神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏差

6.訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)權(quán)重值

pytorch舉例：# PyTorch將元素置0來實(shí)現(xiàn)Dropout層， 第一個(gè)參數(shù)為置0概率， 第二個(gè)為是否原地操作 dropout = nn.Dropout(0.5, inplace=False)

7.神經(jīng)網(wǎng)絡(luò)權(quán)值是什么

pooling層本質(zhì)：降采樣 作用：降低特征圖的參數(shù)量， 提升計(jì)算速度， 增加感受野可以使模型更關(guān)注全局特征而非局部出現(xiàn)的位置可以保留一些重要的特征信息， 提升容錯能力， 并且還能在一定程度上起到防止過擬合的作用 。

8.神經(jīng)網(wǎng)絡(luò)的權(quán)重矩陣

分類：最大值池化，平快樂家族成員名單均值池化參數(shù)：kernel_size, stridepytorch舉例：max_pooling = nn.MaxPool2d(2, stride=2) aver_pooling = nn.AvgPool2d(2, stride=2)

9.神經(jīng)網(wǎng)絡(luò)權(quán)重初始化方法

BN層要解決的問題： 卷積網(wǎng)絡(luò)被設(shè)計(jì)得越來越深， 然而網(wǎng)絡(luò)卻變得難以訓(xùn)練收斂與調(diào)參。內(nèi)容：1. 對每一個(gè)batch的輸入特征進(jìn)行白化操作， 即去均值方差過程。

10.神經(jīng)網(wǎng)絡(luò) 權(quán)重衰減

進(jìn)行線性變換操作

γ與β為新引進(jìn)的可學(xué)習(xí)參數(shù)優(yōu)點(diǎn)：緩解梯度消失， 加速網(wǎng)絡(luò)收斂簡化調(diào)參， 網(wǎng)絡(luò)更穩(wěn)定防止過擬合 pytorch使用：1 impor快樂家族成員名單t torch 2 from torch import nn 3 # 使用BN層需要傳入一個(gè)參數(shù)為num_features， 即特征的通道數(shù) 4 bn = nn.BatchNorm2d(64) 5 print(bn) 6 >> BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) 7 8 # eps為公式中的?， momentum為均值方差的動量， affine為添加可學(xué)習(xí)參數(shù) 快樂家族成員名單 9 input = torch.randn(4, 64, 224, 224) 10 output = bn(input) 11 # BN層不改變輸入、 輸出的特征大小 12 print(output.shape) 13 >> torch.Size([4, 64, 224, 224])。

全連接層內(nèi)容： 每一個(gè)節(jié)點(diǎn)都與上下層的所有節(jié)點(diǎn)相連， 輸入與輸出都被延展成一維向量缺點(diǎn)：最致命的問題在于其參數(shù)量的龐大存在著大量的參數(shù)冗余， 也容易發(fā)生過擬合的現(xiàn)象參考鏈接：(神經(jīng)網(wǎng)絡(luò)基本組成 - 池化層、Dropout層、BN層、全快樂家族成員名單連接層 13。

)