這篇文章我將從感知機(jī)與神經(jīng)網(wǎng)絡(luò)的聯(lián)系與差異進(jìn)行小結(jié)。
感知機(jī)是一個(gè)二分類器，能夠根據(jù)輸入的特征將數(shù)據(jù)劃分為兩個(gè)類別，其過程就是使用一個(gè)直線或超平面將兩類數(shù)據(jù)分開。它的基本結(jié)構(gòu)包括輸入、權(quán)重和激活函數(shù)。但是，感知機(jī)只能處理線性可分的問題。它依賴于一個(gè)全局最優(yōu)解，可能會(huì)陷入局部最優(yōu)解的困境。當(dāng)我們處理復(fù)雜的分類問題時(shí)，需借助多層感知機(jī)。比如采用與電路，或、與非電路組合構(gòu)成異或電路。多層感知機(jī)由多個(gè)隱藏層構(gòu)成，每個(gè)隱藏層包含多個(gè)神經(jīng)元。而從多層感知機(jī)到神經(jīng)網(wǎng)絡(luò)，只需將激活函數(shù)從階躍函數(shù)修改為ReLU函數(shù)。相較于早期使用的sigmoid函數(shù)，ReLU函數(shù)更簡(jiǎn)單，求導(dǎo)的復(fù)雜度更低，而且能緩解梯度消失的問題。
我們?yōu)槭裁匆M(jìn)神經(jīng)網(wǎng)絡(luò)呢？即使是計(jì)算機(jī)進(jìn)行的復(fù)雜處理，理論上感知機(jī)也可以將其表示出來，但是設(shè)定權(quán)重的工作需由人工進(jìn)行。而神經(jīng)網(wǎng)絡(luò)可以自動(dòng)地從數(shù)據(jù)中學(xué)習(xí)到合適的權(quán)重參數(shù)。常見的有兩種算法，前向傳播和反向傳播。前向傳播指從輸入層開始，通過每一層的加權(quán)和激活函數(shù)，將信號(hào)傳遞到下一層，每個(gè)神經(jīng)元會(huì)接收上一層的輸出，并根據(jù)權(quán)重和激活函數(shù)計(jì)算自己的輸出，這個(gè)過程一直持續(xù)到輸出層，產(chǎn)生最終的預(yù)測(cè)結(jié)果。反向傳播是一種訓(xùn)練多層感知機(jī)的常用方法，通過計(jì)算預(yù)測(cè)結(jié)果與真實(shí)結(jié)果之間的誤差，然后沿著網(wǎng)絡(luò)反向調(diào)整權(quán)重，以最小化誤差。
