在近幾年的人工智能浪潮中,涌現(xiàn)了眾多優(yōu)秀的技術(shù):視頻監(jiān)控設(shè)備的人臉識(shí)別功能,智能手機(jī)上的語(yǔ)音識(shí)別或谷歌最新的自動(dòng)翻譯 ,都源于一種稱為“深度學(xué)習(xí)”的技術(shù)?,F(xiàn)在,人工智能成為了非常熱門(mén)的話題,而實(shí)際上目前人工智能發(fā)展的眾多貢獻(xiàn)都有賴于其下屬的深度學(xué)習(xí),以及神經(jīng)網(wǎng)絡(luò)領(lǐng)域的發(fā)展成果。
實(shí)際上,深度學(xué)習(xí)是人工智能實(shí)現(xiàn)方法的新名稱,這種方法已經(jīng)存在了70多年。神經(jīng)網(wǎng)絡(luò)于1944年由Warren McCullough和Walter Pitts(芝加哥大學(xué)的兩位研究人員,也被認(rèn)為是認(rèn)知科學(xué)的創(chuàng)始成員)首次提出后伴隨人工智能的發(fā)展幾經(jīng)沉?。?
人工智能最早一次的興起是1956-1974,以命題邏輯、謂詞邏輯等知識(shí)表達(dá)、啟發(fā)式搜索算法為代表,當(dāng)時(shí)已經(jīng)有關(guān)于如何下棋的研究展開(kāi)。
1980 年代初又興起了第二次熱潮,主要圍繞專家系統(tǒng)、知識(shí)工程、醫(yī)療診斷等領(lǐng)域。隨后,人工智能跌入了近30 年的寒冬。
第三次熱潮就是最近兩年興起的深度學(xué)習(xí)推動(dòng)的,主要表現(xiàn)是人臉識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等技術(shù)的成熟。
至于神經(jīng)網(wǎng)絡(luò),直到1969年,神經(jīng)網(wǎng)絡(luò)都是神經(jīng)科學(xué)和計(jì)算機(jī)科學(xué)的一個(gè)主要研究領(lǐng)域。其后,它隨同人工智能的寒冬經(jīng)歷了一段被冷落的時(shí)期。在20世紀(jì)80年代神經(jīng)網(wǎng)絡(luò)方面的研究再次興起,并由于圖形芯片處理能力的提高,大規(guī)模的提升和應(yīng)用在2010年后大爆發(fā)。
神經(jīng)網(wǎng)絡(luò)是一種進(jìn)行機(jī)器學(xué)習(xí)的方法,計(jì)算機(jī)通過(guò)分析訓(xùn)練樣例來(lái)學(xué)習(xí)執(zhí)行某些任務(wù)。通常,這些例子是事先標(biāo)記的。例如,物體識(shí)別系統(tǒng)可以饋送數(shù)千個(gè)汽車,房屋,咖啡杯等不同類別的標(biāo)記圖像,并且它將在圖像中找到始終與特定標(biāo)簽相關(guān)聯(lián)的視覺(jué)圖案。
神經(jīng)網(wǎng)絡(luò)模仿人腦而構(gòu)建,由數(shù)千甚至數(shù)百萬(wàn)個(gè)密集互連的簡(jiǎn)單處理節(jié)點(diǎn)組成?,F(xiàn)今的大多數(shù)神經(jīng)網(wǎng)絡(luò)被組織成節(jié)點(diǎn)層,它們是“前饋”網(wǎng)絡(luò),意味著數(shù)據(jù)只在一個(gè)方向上穿過(guò)它們。單個(gè)節(jié)點(diǎn)可能連接到其下面的層中的幾個(gè)節(jié)點(diǎn),從中接收數(shù)據(jù),以及它上面的層中的幾個(gè)節(jié)點(diǎn),它們向其發(fā)送數(shù)據(jù)。
對(duì)于每個(gè)傳入連接,節(jié)點(diǎn)將分配一個(gè)稱為“權(quán)重”的數(shù)字。當(dāng)網(wǎng)絡(luò)處于活動(dòng)狀態(tài)時(shí),節(jié)點(diǎn)在其每個(gè)連接上接收不同的數(shù)據(jù)項(xiàng)(不同的數(shù)字),并將其乘以相關(guān)權(quán)重。
然后它將得到的乘積,加在一起,產(chǎn)生一個(gè)結(jié)果數(shù)字。如果該數(shù)字低于傳輸閾值,則節(jié)點(diǎn)不將數(shù)據(jù)傳遞給下一層。如果數(shù)量超過(guò)傳輸閾值,則節(jié)點(diǎn)“觸發(fā)”,意味著沿其所有傳出連接發(fā)送數(shù)字 - 加權(quán)輸入的總和。
當(dāng)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí),其所有權(quán)重和閾值最初都設(shè)置為隨機(jī)值。訓(xùn)練數(shù)據(jù)被饋送到底層 - 輸入層 - 它通過(guò)后續(xù)層,以復(fù)雜的方式相乘并加在一起,轉(zhuǎn)換傳輸?shù)捷敵鰧印T谟?xùn)練期間,系統(tǒng)不斷調(diào)整權(quán)重和閾值,直到具有相同標(biāo)簽的訓(xùn)練數(shù)據(jù)始終產(chǎn)生類似的輸出。
神經(jīng)網(wǎng)絡(luò)的發(fā)展
McCullough和Pitts在1944年描述的神經(jīng)網(wǎng)絡(luò)具有閾值和權(quán)重,但它們沒(méi)有排列成層,研究人員沒(méi)有指定任何訓(xùn)練機(jī)制。McCullough和Pitts所展示的是,神經(jīng)網(wǎng)絡(luò)原則上可以計(jì)算數(shù)字計(jì)算機(jī)可以執(zhí)行的任何功能,關(guān)注重點(diǎn)是人腦可以被認(rèn)為是一種計(jì)算設(shè)備的概念。
康奈爾大學(xué)心理學(xué)家弗蘭克羅森布拉特于1957年展示了第一個(gè)可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)Perceptron。Perceptron的設(shè)計(jì)與現(xiàn)代神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)非常相似,只是它只有一層可調(diào)節(jié)重量和閾值,夾在輸入之間和輸出圖層。
而現(xiàn)代GPU使20世紀(jì)60年代的單層網(wǎng)絡(luò)和20世紀(jì)80年代的2到3層網(wǎng)絡(luò)成為當(dāng)今的10層,15層甚至50層網(wǎng)絡(luò)。這也是“深度學(xué)習(xí)”中的“深層”所指的意思——網(wǎng)絡(luò)層的深度。
神經(jīng)網(wǎng)絡(luò)后續(xù)展望
2010年后神經(jīng)網(wǎng)絡(luò)的復(fù)興 - 深度學(xué)習(xí)革命 – 首先來(lái)自計(jì)算機(jī)游戲行業(yè)。視頻游戲的復(fù)雜圖像和快節(jié)奏需要能夠跟上的硬件,結(jié)果是圖形處理單元(GPU)快速發(fā)展,它在單個(gè)芯片上包含數(shù)千個(gè)相對(duì)簡(jiǎn)單的處理核心。不久人們就意識(shí)到GPU的架構(gòu)與神經(jīng)網(wǎng)絡(luò)的架構(gòu)非常相似。
同時(shí),為了更高效的研究和利用神經(jīng)網(wǎng)絡(luò),更多硬件方案涌現(xiàn)了出來(lái), Intel收購(gòu)Altera,谷歌自研TPU,業(yè)界還在尋找更高效的方法,也在側(cè)面印證神經(jīng)網(wǎng)絡(luò)的火爆程度。
現(xiàn)在,神經(jīng)網(wǎng)絡(luò)更是計(jì)算機(jī)領(lǐng)域和神經(jīng)科學(xué)領(lǐng)域的寶貴工具。用于調(diào)整權(quán)重和閾值的特定網(wǎng)絡(luò)布局或規(guī)則已經(jīng)再現(xiàn)了人類神經(jīng)解剖學(xué)和認(rèn)知學(xué)里觀察到的特征,表明它幫助獲取了關(guān)于大腦如何處理信息的機(jī)制。
但是,神經(jīng)網(wǎng)絡(luò)有些令人不滿意的不足:足夠的訓(xùn)練會(huì)改變神經(jīng)網(wǎng)絡(luò)的設(shè)置,使其可以對(duì)數(shù)據(jù)進(jìn)行分類,但其中的過(guò)程過(guò)于復(fù)雜,查看單個(gè)連接的權(quán)重?zé)o法解釋其原理;物體識(shí)別器看重的圖像特征是什么,以及它是如何將它們拼湊成汽車,房屋和咖啡杯的獨(dú)特視覺(jué)特征的也尚不明確;類似這些問(wèn)題都導(dǎo)致神經(jīng)網(wǎng)絡(luò)作用的機(jī)制具有一定的不透明性和不可解釋性。
在這些問(wèn)題得到解決后,神經(jīng)網(wǎng)絡(luò)的作用機(jī)制將進(jìn)一步可控。同時(shí),神經(jīng)網(wǎng)絡(luò)作為神經(jīng)科學(xué)和計(jì)算科學(xué)領(lǐng)域的工具,將在人工智能大時(shí)代,得到更好的發(fā)展。
本文標(biāo)簽: 神經(jīng)網(wǎng)絡(luò) 慧翼科技
咨詢熱線
400 660 8086