摘要：以指數(shù)函數(shù)替代神經(jīng)網(wǎng)絡(luò)中常用的S形激活函數(shù)，進(jìn)而構(gòu)造出能夠計(jì)算非線性判別邊界的概率神經(jīng)網(wǎng)絡(luò)（PNN），該判定邊界接近于貝葉斯最佳判定面。還討論了擁有類似性質(zhì)的其他激活函數(shù)。所提出的這種4層神經(jīng)網(wǎng)絡(luò)能夠把任何輸入模式映射到多個(gè)類別。如果能取得新數(shù)據(jù)的話，可以使用新數(shù)據(jù)實(shí)時(shí)地修改判定邊界，并可以使用完全并行運(yùn)行的人工“神經(jīng)元”付諸實(shí)現(xiàn)。還為估計(jì)類別的出現(xiàn)概率和可靠性，以及做判別作好準(zhǔn)備。對(duì)于反向傳播增加的適應(yīng)時(shí)間占總計(jì)算時(shí)間的重大部分的問(wèn)題，這種方法顯示出非?？焖俚膬?yōu)點(diǎn)。PNN范式比反向傳播快200，000倍。

關(guān)鍵詞：神經(jīng)網(wǎng)格，概率密度函數(shù)，并行處理機(jī)，“神經(jīng)元”，模式識(shí)別，Parzen窗口，貝葉斯策略，相聯(lián)存儲(chǔ)器


1. 動(dòng)機(jī)

神經(jīng)網(wǎng)絡(luò)常用來(lái)依據(jù)向?qū)嵗龑W(xué)習(xí)進(jìn)行模式分類。不同的神經(jīng)網(wǎng)格范式（paradigm）使用不同的學(xué)習(xí)規(guī)則，但都以某種方式，根據(jù)一組訓(xùn)練樣本確定模式的統(tǒng)計(jì)量，然后根據(jù)這些統(tǒng)計(jì)量進(jìn)行新模式分類。

通用方法如反向傳播，使用探試法獲得基礎(chǔ)的類別統(tǒng)計(jì)量。探試法通常包含對(duì)系統(tǒng)參數(shù)的許多小的改進(jìn)，逐漸提高系統(tǒng)的性能。除了訓(xùn)練需要長(zhǎng)的計(jì)算時(shí)間外，還表明，反向傳播增加的適應(yīng)近似法對(duì)錯(cuò)誤的最小值很敏感。為了改進(jìn)這種方法，找到了基于己確立的統(tǒng)計(jì)原理的分類方法。

可以表明，盡管最終得到的網(wǎng)絡(luò)在結(jié)構(gòu)上類似于反向傳播,且其主要區(qū)別在于以統(tǒng)計(jì)方法推導(dǎo)的激活函數(shù)替代S形激活函數(shù)，但這個(gè)網(wǎng)絡(luò)具有的特點(diǎn)是：在某些易滿足的條件下，以PNN實(shí)現(xiàn)的判別邊界漸進(jìn)地逼近貝葉斯最佳判定面。

為了了解PNN范式的基礎(chǔ)，通常從貝葉斯判定策略以及概率密度函數(shù)的非參數(shù)估計(jì)的討論開(kāi)始。之后可以表明，這種統(tǒng)計(jì)方法如何映射到前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)是以許多簡(jiǎn)單處理器（神經(jīng)元）代表的，所有處理器都是并行運(yùn)行。