不要告訴別人(人工神經(jīng)網(wǎng)絡發(fā)展前景)人工神經(jīng)網(wǎng)絡歷史,GPT的背后,從命運多舛到顛覆世界,人工神經(jīng)網(wǎng)絡的跌宕80年,15件事讓你懷疑世界,
5.17知識分子The Intellectual
圖源:pixabay撰文 | 孫睿晨責編 | 李珊珊● ● ●今天,ChatGPT等大型語言預訓練神經(jīng)網(wǎng)絡模型已經(jīng)成為廣為人知的名字,GPT背后的算法內(nèi)核——人工神經(jīng)網(wǎng)絡算法,在此之前,卻曾經(jīng)歷了跌宕沉浮的80年,這80年間,除了少數(shù)的幾個爆發(fā)時刻,大部分時候,這個理論處于沉寂、無人問津,甚至經(jīng)費“毒藥”的狀態(tài)。
人工神經(jīng)網(wǎng)絡的誕生,來自不羈天才皮特斯與當時已功成名就的神經(jīng)生理學專家麥卡洛克的黃金組合,然而,他們的理論超越了他們那個時代的技術水平,因而沒能獲得廣泛關注與實證驗證幸而,在誕生之初的二十多年里,不停地有研究者進來添磚加瓦,人工神經(jīng)網(wǎng)絡領暖宮貼有助于疏通輸卵管嗎域從最初最簡單的神經(jīng)元數(shù)學模型和學習算法進化到了具有學習能力的感知機模型,然而,來自其他研究者的質(zhì)疑與“感知機”創(chuàng)始人之一羅森布拉特在航行中隕難共同襲來,在那之后,這個領域陷入了二十多年的寒冬,直到反向傳播算法被引入人工神經(jīng)網(wǎng)絡的訓練過程中。
在那之后,經(jīng)歷了沉寂的20年,人工神經(jīng)網(wǎng)絡方面的研究才終于又獲得重啟,蓄力的近20年中,卷積神經(jīng)網(wǎng)絡與遞歸神經(jīng)網(wǎng)絡依次登場但該領域在學術界與產(chǎn)業(yè)界的飛速發(fā)展還是要等到17年前,硬件方面的突破——通用計算GPU芯片的出現(xiàn),于是,才有了今天,隨著ChatGPT等大型語言預訓練神經(jīng)網(wǎng)絡模型,成為廣為人知的名字。
從一定意義上,人工神經(jīng)網(wǎng)絡的成功是一種幸運,因為,不暖宮貼有助于疏通輸卵管嗎是所有的研究,都能等到核心的關鍵突破,等到萬事齊備在更多的領域,技術的突破出現(xiàn)得太早或是太晚,導致只能慢慢消亡然而,這幸運中,不能被忽略地是那些身處其中的研究者們的堅定與執(zhí)著,靠著這些研究者們的理想主義,人工神經(jīng)網(wǎng)絡才走過了它跌宕沉浮的80年,終得正果。
麥卡洛克-皮特斯神經(jīng)元1941年,沃倫·斯特吉斯·麥卡洛克(Warren Sturgis McCulloch)跳槽到美國芝加哥大學醫(yī)學院,擔任神經(jīng)生理學教授搬到芝加哥后不久,一位朋友介紹他認識了沃爾特·皮特斯(Walter Pitts)。
正在芝加哥大學攻讀博士的皮特斯與麥卡洛克對神經(jīng)科學與邏輯學有共同的興趣,于是二人一拍即合,成為了科研上志同道暖宮貼有助于疏通輸卵管嗎合的好友和伙伴皮特斯生性好學,12歲時便在圖書館讀完了羅素與懷特黑德所著的《數(shù)學原理》,并致信羅素,指出書中的幾處錯誤。
羅素很欣賞這位小讀者的來信,回信邀請他到劍橋大學讀書(盡管皮特斯只有12歲)然而,皮特斯的家人受教育程度低,無法理解皮特斯的求知欲、反而時常惡語相向皮特斯與原生家庭關系逐漸惡化,他15歲便離家出走自那之后,皮特斯成為了芝加哥大學校園里的一名流浪漢,白天選擇喜歡的大學課程旁聽,晚上隨便找個課室睡覺。
在皮特斯認識麥卡洛克時,他雖然已是學校在冊博士生,但仍沒有固定住處麥卡洛克了解到這個情況后,便邀請皮特斯到自家居住二人認識的時候,麥卡洛克已經(jīng)發(fā)表了多篇關于神經(jīng)系統(tǒng)的論文,是該領域有暖宮貼有助于疏通輸卵管嗎名的專家而皮特斯雖然還是一名博士生,但他已經(jīng)在數(shù)理邏輯領域有所建樹,并獲得包括馮諾依曼等領域大牛們的賞識。
盡管二人專業(yè)領域非常不同,但他們都對人腦的工作原理深感興趣,并堅信數(shù)學模型可以描述、模擬大腦的功能在這個共同的信念的驅(qū)使下,二人合作發(fā)表了多篇論文他們建立了第一個人工神經(jīng)網(wǎng)絡模型他們的工作為現(xiàn)代人工智能與機器學習領域奠定了基礎,而他們二人也因此被公認為神經(jīng)科學與人工智能領域的開創(chuàng)者。
1943年,麥卡洛克和皮特斯提出了最早的人工神經(jīng)網(wǎng)絡模型:麥卡洛克-皮特斯神經(jīng)元(McCulloch-Pitts Neuron)模型[1]該模型旨在用二進制開關的“開”與“關”的機制來模擬神經(jīng)元的工作原理。
該模暖宮貼有助于疏通輸卵管嗎型的主要組成部分為:接收信號的輸入節(jié)點,通過預設閾值處理輸入信號的中間節(jié)點,以及生成輸出信號的輸出節(jié)點在論文中,麥卡洛克與皮特斯證明了該簡化模型可以用于實現(xiàn)基礎邏輯(如“與”、“或”、“非”)運算除此以外,該模型還可以用于解決簡單問題,如模式識別與圖像處理。
麥卡洛克-皮特斯神經(jīng)元圖源:www.cs.cmu.edu/~./epxing/Class/10715/reading/McCulloch.and.Pitts.pdf赫布式學習(Hebbian Learning)
1949年,加拿大心理學家唐納德·赫布(Donald Hebb)出版了一本題為《行為的組織(The Organization of 暖宮貼有助于疏通輸卵管嗎Behavior)》,并在書中提出了著名的赫布式學習(Hebbian Learning)理論
[2]該理論認為“共同激活的神經(jīng)元往往是相互連接的(Cells that fire together, wire together)”,也就是神經(jīng)元具有突觸可塑性(synaptic plasticity, 突觸是神經(jīng)元之間相互連接進行信息傳遞的關鍵部位),并認為突觸可塑性是大腦學習與記憶功能的基礎。
機器學習理論中的關鍵步驟是如何使用不同的更新算法(update rule)來更新模型使用神經(jīng)網(wǎng)絡模型進行機器學習時,需設定初始模型的架構與參數(shù)在模型訓練過程中,每一個來自訓練數(shù)據(jù)集中的輸入數(shù)據(jù)都會導致模型更新暖宮貼有助于疏通輸卵管嗎各項參數(shù)。
這個過程,就需要使用到更新算法赫布式學習理論為機器學習提供了最初更新算法:Δw = η x xpre x xpostΔw為突觸模型的參數(shù)的變化大小, η為學習速率,xpre 為突觸前神經(jīng)元活動值大小,xpost為突觸后神經(jīng)元活動值大小。
赫布更新算法為利用人工神經(jīng)網(wǎng)絡來模仿大腦神經(jīng)網(wǎng)絡的行為提供了理論基礎赫布式學習模型是一種無監(jiān)督學習模型——該模型通過調(diào)節(jié)其感知到的輸入數(shù)據(jù)之間聯(lián)系程度的強弱來實現(xiàn)學習目的也正因為如此,赫布式學習模型在對輸入數(shù)據(jù)中的子類別聚類分析尤其擅長。
隨著神經(jīng)網(wǎng)絡的研究逐漸加深,赫布式學習模型后來也被發(fā)現(xiàn)適用于強化學習等其他多個細分領域感知機(Perceptron)暖宮貼有助于疏通輸卵管嗎1957年,美國心理學家弗蘭克·羅森布拉特(Frank Rosenblatt)首次提出感知機(Perceptron)模型,并且首次使用了感知機更新算法
[3]感知機更新算法延伸了赫布更新算法的基礎,通過利用迭代、試錯過程來進行模型訓練在模型訓練時,感知機模型對于每一個新的數(shù)據(jù),計算出模型預測的該數(shù)據(jù)輸出值與實際測得的該數(shù)據(jù)輸出值的差值,然后使用該差值更新模型中的系數(shù)。
具體方程如下:Δw = η x (t - y) x x在提出最初的感知機模型后,羅森布拉特繼續(xù)深入探討、發(fā)展感知機相關理論1959年,羅森布拉特成功研發(fā)出一臺使用感知機模型識別英文字母的神經(jīng)計算機Mark1。
感知機模型與麥卡洛克-皮暖宮貼有助于疏通輸卵管嗎特斯神經(jīng)元類似,也是基于神經(jīng)元的生物學模型,以接收輸入信號,處理輸入信號,生成輸出信號為基本運作機理感知機模型與麥卡洛克-皮特斯神經(jīng)元模型的區(qū)別在于后者的輸出信號只能為0或1——超過預設閾值為1,否則為零——而感知機模型則使用了線性激活函數(shù),使得模型的輸出值可以與輸入信號一樣為連續(xù)變化值。
另外,感知機對每一條輸入信號都設置了系數(shù),該系數(shù)能影響每條輸入信號對于輸出信號的作用程度最后,感知機是學習算法,因為其各輸入信號的系數(shù)可以根據(jù)所看到的數(shù)據(jù)進行調(diào)整;而麥卡洛克-皮特斯神經(jīng)元模型因沒有設置系數(shù),所以其行為無法根據(jù)數(shù)據(jù)反饋進行動態(tài)更新。
1962年,羅森布拉特將多年關于感知機模型的研究集結成《神經(jīng)動暖宮貼有助于疏通輸卵管嗎力學原理:感知機與大腦原理(Principles of Neurodynamics: Perceptrons and the theory of brain mechanisms)》一書。
感知機模型在人工智能領域是一項重大的進步,因為它是第一種具有學習能力的算法模型,能自主學習接收到的數(shù)據(jù)中的規(guī)律與特點并且,它具有模式分類的能力,可以將數(shù)據(jù)根據(jù)其特點自動分為不同的類別另外,感知機模型相對簡單,所需計算資源也較少。
盡管感知機具有種種優(yōu)點與潛力,但它畢竟是一個相對簡化的模型,存在許多局限性1969年,計算機科學家馬文·明斯基(Marvin Minsky)與西摩爾·派普特(Seymour Paper暖宮貼有助于疏通輸卵管嗎t)合作出版了《感知機(Perceptron)》一書。
[5]在書中,兩位作者對感知機模型進行了深入的批判,分析了以感知機為代表的單層神經(jīng)網(wǎng)絡的局限,包括但不限于“異或”邏輯的實現(xiàn)以及線性不可分問題但是,二位作者與羅森布拉特都已經(jīng)意識到,多層神經(jīng)網(wǎng)絡可以解決這些單層神經(jīng)網(wǎng)絡不能解決的問題。
可惜的是,《感知機》一書對感知機模型的負面評價影響巨大,使得公眾與政府機構對于感知機研究一下子失去了興趣1971年,感知機理論的提出者兼頭號支持者羅森布拉特不幸在一次出海航行中遇難,享年43歲在《感知機》一書與羅森布拉特之死的雙重打擊下,與感知機相關的論文發(fā)表數(shù)目逐年迅速減少。
人工神經(jīng)網(wǎng)絡的發(fā)展進入了“寒冬”
感暖宮貼有助于疏通輸卵管嗎知機模型圖源:towardsdatascience.com反向傳播算法多層神經(jīng)網(wǎng)絡能夠解決單層神經(jīng)網(wǎng)絡無法解決的問題,但它帶來了新的問題:更新多層神經(jīng)網(wǎng)絡模型的每一層神經(jīng)元的權重涉及到大量精確計算,而普通的計算方法費時費力,使得神經(jīng)網(wǎng)絡學習過程變得非常緩慢,實用性很差。
為了解決這個問題,美國社會學家、機器學習工程師保羅·韋伯(Paul Werbos)在1974年的哈佛大學的博士論文《Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences》中提出了反向傳播算法(backpropagat暖宮貼有助于疏通輸卵管嗎ion)
[6]該算法的基本思想是通過將預測到的輸出值與實際輸出值之間的誤差從輸出層反向傳播,從而調(diào)整神經(jīng)網(wǎng)絡各個神經(jīng)元的權重這個算法的本質(zhì)是根據(jù)微積分中常用的鏈式法則從輸出層到輸入層反向(沿著負梯度方向)實現(xiàn)對由多層感知機組成的神經(jīng)網(wǎng)絡的訓練。
令人感到遺憾的是,韋伯的論文在發(fā)表后很長一段時間內(nèi)都沒有得到足夠的關注直到1985年,加州大學圣地亞哥分校的心理學家大衛(wèi)·魯梅爾哈特(David Rumelhart)、認知心理學家與計算機學家杰弗里·辛頓(Geoffrey Hinton),以及計算機學家羅納德·威廉姆斯(Ronald Williams)合作發(fā)表了一篇關于反向傳播算法在神經(jīng)網(wǎng)絡中的應用的論暖宮貼有助于疏通輸卵管嗎文。
[7]這篇論文在人工智能領域獲得了很大的反響魯梅爾哈特等人的想法與韋伯的想法本質(zhì)上是相似的,但魯梅爾哈特他們沒有引用韋伯的論文,這一點近來常常為人詬病反向傳播算法在人工神經(jīng)網(wǎng)絡的發(fā)展中起著關鍵作用,并使得深度學習模型的訓練成為可能。
自從反向傳播算法于八十年代重新受到人們的重視以來,它被廣泛應用于訓練多種神經(jīng)網(wǎng)絡網(wǎng)絡除了最初的多層感知機神經(jīng)網(wǎng)絡以外,反向傳播算法還適用于卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡等由于反向傳播算法的重要地位,韋伯與魯梅爾哈特等人被認為是神經(jīng)網(wǎng)絡領域的先驅(qū)之一。
事實上,反向傳播算法是人工智能領域的“文藝復興”時代(20世紀80年代和90年代期間)的重要成果并行分布式處理(Par暖宮貼有助于疏通輸卵管嗎allel Distributed Processing)是這段時間的主要方法論該方法論關注多層神經(jīng)網(wǎng)絡,并推崇通過并行處理計算來加速神經(jīng)網(wǎng)絡的訓練過程與應用。
這與先前的人工智能領域的主流思想背道而馳,因而具有劃時代的意義另外,該方法論受到了計算機科學以外,包括心理學、認知科學,以及神經(jīng)科學等不同領域的學者的歡迎因此,這段歷史常常被后人認為是人工智能領域的文藝復興。
反向傳播算法原理圖源:www.i2tutorials.com卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)如果把麥卡洛克·皮特斯神經(jīng)元作為人工智能誕生的標志,那么美國可以說是人工神經(jīng)網(wǎng)絡的發(fā)源地。暖宮貼有助于疏通輸卵管嗎
人工神經(jīng)網(wǎng)絡誕生后的三十年里,美國在人工智能領域一直扮演著主角,孕育了感知機、反向傳播算法等關鍵技術但在第一個人工智能的"寒冬"中,包括政府、學術界在內(nèi)的美國各方人士對人工神經(jīng)網(wǎng)絡的潛能失去了信心,大大放緩了對神經(jīng)網(wǎng)絡技術迭代的支持與投入。
也因為如此,在這個席卷美國的”寒冬“中,其他國家的人工神經(jīng)網(wǎng)絡的研究走到了歷史發(fā)展的聚光燈之下卷積神經(jīng)網(wǎng)絡與遞歸神經(jīng)網(wǎng)絡就是在這樣的背景下出場的卷積神經(jīng)網(wǎng)絡是一種包含了卷積層,池化層,以及全連接層等多種獨特結構的多層神經(jīng)網(wǎng)絡模型。
該模型利用卷積層提取出輸入信號的局部特征,然后通過池化層降低數(shù)據(jù)的維度與復雜性,最后通過全連接層將數(shù)據(jù)轉(zhuǎn)化為一維的特征向量并生成輸暖宮貼有助于疏通輸卵管嗎出信號(一般為預測或分類結果)卷積神經(jīng)網(wǎng)絡的獨特結構使得它在處理具有網(wǎng)格結構屬性的數(shù)據(jù)(圖像,時間序列等)時尤有優(yōu)勢。
卷積神經(jīng)網(wǎng)絡圖源:https://www.analyticsvidhya.com/blog/2022/01/convolutional-neural-network-an-overview/最早的卷積神經(jīng)網(wǎng)絡是日本計算機科學家福島邦彥(Kunihiko Fukushima)于1980年提出
[8]福島所提出的模型包含卷積層與下采樣層,是當今主流卷積神經(jīng)網(wǎng)絡結構仍然一直沿用的結構福島的模型與今日的卷積神經(jīng)網(wǎng)絡唯一不同之處在于前者沒有使用反向傳播算法——如前文所敘,反向傳播算法要等到暖宮貼有助于疏通輸卵管嗎1986年才受到關注。
由于福島的卷積神經(jīng)網(wǎng)絡模型沒有該算法的助力,該模型與當時的其他多層神經(jīng)網(wǎng)絡一樣存在訓練時間長、計算復雜的問題1989年,任職于美國貝爾實驗室法國計算機科學家楊·立昆(Yann LeCun)及其團隊提出了名為LeNet-5的卷積神經(jīng)網(wǎng)絡模型,并在該模型中使用了反向傳播算法進行訓練
[9]立昆證明了該神經(jīng)網(wǎng)絡可以用于識別手寫數(shù)字與字符這標志著卷積神經(jīng)網(wǎng)絡在圖像識別中的廣泛應用的開始遞歸神經(jīng)網(wǎng)絡(Recursive Neural Network, RNN)與卷積神經(jīng)網(wǎng)絡一樣,遞歸神經(jīng)網(wǎng)絡也是一類具有獨特結構特征的神經(jīng)網(wǎng)絡。
該類神經(jīng)網(wǎng)絡的主要結構特征在于各層級間具有遞歸關系,而不是暖宮貼有助于疏通輸卵管嗎順序關系由于以上這些特殊結構特征,遞歸神經(jīng)網(wǎng)絡特別適于處理自然語言以及其他文本類的數(shù)據(jù)1990年,美國認知科學家、心理語言學家杰弗里·艾爾曼(Jeffrey Elman)提出了艾爾曼網(wǎng)絡模型(又稱為簡化遞歸網(wǎng)絡)
[10]艾爾曼網(wǎng)絡模型是首個遞歸神經(jīng)網(wǎng)絡艾爾曼利用該模型證明了遞歸神經(jīng)網(wǎng)絡能夠在訓練時維持數(shù)據(jù)本身的先后順序性質(zhì),為日后該類模型在自然語言處理領域的應用奠定了基礎遞歸神經(jīng)網(wǎng)絡存在梯度消失現(xiàn)象在使用反向傳播算法訓練神經(jīng)網(wǎng)絡時,離輸入近的層級的權重更新梯度逐漸變得近似于零,使得這些權重變化很慢,導致訓練效果變差。
為了解決這個問題,1997年,德國計算機科學家瑟普·霍克賴特(Sepp Hoc暖宮貼有助于疏通輸卵管嗎hreiter)及其博士導師于爾根·施密德胡伯(Jürgen Schmidhuber)提出了長短期記憶網(wǎng)絡[11]該模型為一種特殊的遞歸神經(jīng)網(wǎng)絡模型。
它引入了記憶節(jié)點,使得模型具有更好的長期記憶存留的能力,從而化解了梯度消失現(xiàn)象該模型目前仍是使用最普遍的遞歸神經(jīng)網(wǎng)絡模型之一通用計算GPU芯片2006年,美國英偉達公司(NVIDIA)推出了第一款通用計算GPU(圖形處理單元)芯片并將其命名為CUDA(Compute Unified Device Architecture)。
在此之前,GPU本是專門用于圖形渲染與計算的芯片處理器,常用于計算機圖形學相關的應用(如圖像處理,游戲場景實時計算渲染,視頻暖宮貼有助于疏通輸卵管嗎播放與處理等)CUDA允許通用目的的并行計算,使原本僅能調(diào)用CPU(中央處理單元)的任務可以通過GPU來完成計算。
GPU的強大的并行計算能力使其能夠同時執(zhí)行多個計算任務,并且計算速度比CPU更快,適合矩陣運算神經(jīng)網(wǎng)絡的訓練往往需要進行大規(guī)模矩陣和張量運算在通用GPU出現(xiàn)之前,人工神經(jīng)網(wǎng)絡的發(fā)展長期受到傳統(tǒng)的CPU有限計算能力的限制。
這種限制包括了對于理論研究的創(chuàng)新以及對現(xiàn)有模型的產(chǎn)品化、產(chǎn)業(yè)化的應用而GPU的出現(xiàn),讓這兩方面的掣肘被大大削弱了2010年,施密德胡伯團隊中的博士后研究員丹·奇雷尚(Dan Ciresan)利用GPU實現(xiàn)了對卷積神經(jīng)網(wǎng)絡訓練的顯著加速
[12]但GPU真正在人工神經(jīng)網(wǎng)暖宮貼有助于疏通輸卵管嗎絡領域里聲名大噪是在2012年那一年,加拿大計算機科學家亞歷克斯·克里澤夫斯基(Alex Krizhevsky)、伊利亞·蘇茨克維(Ilya Sutskever)以及前文提到過的杰弗里·辛頓提出了亞歷克斯網(wǎng)絡模型(AlexNet)。
[13]亞歷克斯網(wǎng)絡模型本質(zhì)上是一類卷積網(wǎng)絡模型克里澤夫斯基等人在訓練模型時使用了GPU,并用該模型參加了一個國際著名的圖像分類與標記的競賽(ImageNet ILSVRC)令人意外的是,該模型最后竟以大比分的優(yōu)勢獲得了冠軍。
亞歷克斯網(wǎng)絡模型的成功極大地激發(fā)了各界對于人工神經(jīng)網(wǎng)絡在計算機視覺領域應用的興趣與關注生成式神經(jīng)網(wǎng)絡與大型語言模型遞歸神經(jīng)網(wǎng)絡可以逐字連續(xù)生成暖宮貼有助于疏通輸卵管嗎文本序列,因此常常被認為是早期的生成式神經(jīng)網(wǎng)絡模型然而,盡管遞歸神經(jīng)網(wǎng)絡善于處理、生成自然語言數(shù)據(jù),但它對于長序列數(shù)據(jù)一直無法有效捕捉全局信息(對于距離較遠的信息無法進行有效聯(lián)系)。
變壓器模型 圖源:[14]2017年,美國谷歌公司的研究員阿希瑟·瓦斯瓦尼(Ashish Vaswani)等人提出了變壓器模型(Transformer)[14]該大型神經(jīng)網(wǎng)絡分為編碼器與解碼器兩個主要部分。
編碼器對輸入序列進行編碼處理,通過自注意力層等來進一步處理編碼后的信息此后,信息傳至解碼器,并經(jīng)過解碼器部分的自注意力層等網(wǎng)絡結構來生成輸出序列該模型的重要創(chuàng)新在于自注意力層(self-attention)。
自注暖宮貼有助于疏通輸卵管嗎意力層使得神經(jīng)網(wǎng)絡模型能擺脫順序處理文本的局限性,而是直接去文本中的不同位置抓取信息并捕捉各處信息之間的依賴關系,并且并行化計算不同位置之間在語義上的相關性變壓器模型的橫空出世對自然語言處理領域乃至整個人工智能領域產(chǎn)生了巨大影響。
在短短的幾年里,變壓器模型已經(jīng)被廣泛用在各類人工智能大模型中在層出不窮基于變壓器結構的大型語言模型中,OpenAI公司推出的聊天機器人ChatGPT最為出名ChatGPT所基于的語言模型為GPT-3.5(生成式預訓練變壓器模型-3.5)。
OpenAI公司在訓練該模型時用了大量的語料庫數(shù)據(jù),使其最終具備了廣泛的語言理解能力與生成能力,包括提供信息、交流,文本創(chuàng)作、完成軟暖宮貼有助于疏通輸卵管嗎件代碼寫作、以及輕松勝任各類涉及語言理解相關的考試尾聲幾周前,我去參加一個中學生與科研人員共進午餐的志愿者活動。
活動上,我與幾名十五六歲的中學生聊天很自然的我們就聊到了ChatGPT我問他們:”你們用ChatGPT嗎?你們可以跟我說實話,我不會告訴你們的老師的"其中一位男生靦腆的笑了笑,說他現(xiàn)在已經(jīng)離不開ChatGPT了。
80年前,四處流浪的皮特斯只能想象著那能夠模擬大腦功能的數(shù)學模型而在今天年輕人的世界里,神經(jīng)網(wǎng)絡不再僅是虛幻的數(shù)學公式,而變得無時無出不在下一個80年會發(fā)生什么?人工神經(jīng)網(wǎng)絡中會像人類的神經(jīng)網(wǎng)絡一樣產(chǎn)生意識嗎?碳基大腦會持續(xù)主宰硅基大腦嗎?還是會被硅基大腦主宰?。
參考文獻:1暖宮貼有助于疏通輸卵管嗎.Warren S. McCulloch and Walter Pitts. "A Logical Calculus of Ideas Immanent in Nervous Activity." The Bulletin of Mathematical Biophysics, vol. 5, no. 4, 1943, pp. 115-133.
2.Donald O. Hebb. "The Organization of Behavior: A Neuropsychological Theory." Wiley, 1949.3.Frank Rosenblatt. "The Perceptron:暖宮貼有助于疏通輸卵管嗎 A Probabilistic Model for Information Storage and Organization in the Brain." Psychological Review, vol. 65, no. 6, 1958, pp. 386-408.
4.Frank Rosenblatt. "Principles of Neurodynamics: Perceptrons and the theory of brain mechanisms." MIT Press, 1962.
5.Marvin Minsky and Seymour Papert. "Perceptrons: 暖宮貼有助于疏通輸卵管嗎An Introduction to Computational Geometry." MIT Press, 1969.
6.Paul Werbos. "Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences.". Harvard University, 1974.
7.David E. Rumelhart, Geoffrey E. Hinton, and Ronald J. Williams. "Learning representations by back-propagating 暖宮貼有助于疏通輸卵管嗎errors." Nature, vol. 323, no. 6088, 1986, pp. 533-536.
8.Kunihiko Fukushima. "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position." Biological Cybernetics, vol. 36, no. 4, 1980, pp. 193-202.
9.Yann LeCun, Léon Bottou, Yoshua Beng暖宮貼有助于疏通輸卵管嗎io, and Patrick Haffner. "Gradient-based learning applied to document recognition." Proceedings of the IEEE, vol. 86, no. 11, 1998, pp. 2278-2324.
10.Jeffrey L. Elman. "Finding Structure in Time." Cognitive Science, vol. 14 1990, pp. 179-211.11.Sepp Hochreiter and Jürgen Schmidhuber. "Long Short-Term暖宮貼有助于疏通輸卵管嗎 Memory." Neural Computation, vol. 9, no. 8, 1997, pp. 1735-1780.
12.Dan C. Ciresan, Ueli Meier, Luca Maria Gambardella, and Jürgen Schmidhuber. "Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition." Neural Computation, vol. 22, no. 12, 2010, pp. 3207-3220.
13.Alex Krizhevsky, Ilya Suts暖宮貼有助于疏通輸卵管嗎kever, and Geoffrey E. Hinton. "ImageNet Classification with Deep Convolutional Neural Networks." Advances in Neural Information Processing Systems, 2012, pp. 1097-1105.
14.Vaswani, Ashish, et al. "Attention is All You Need." Advances in Neural Information Processing Systems, 2017, pp. 5998-6008.