náhled|V levém sloupci sigmoida spolu se svými limitními případy, v pravém sloupci možné transformace dat přiváděných na vstupní resp. výstupní neurony. Aktivační (přenosová) funkce neuronu v umělých neuronových sítích definuje výstup neuronu při zadání sady vstupů neuronu. Nelineární aktivační funkce umožňují neuronovým sítím řešit netriviální, nelineární problémy. Klasická nelineární funkce je sigmoida o parametrech strmosti (určující šířku pásma citlivosti neuronu na svůj aktivační potenciál) a prahové hodnoty (určující posunutí počátku funkce) spolu s jejími limitními tvary jako je linearita pro strmost blížící se nule a ostrá nelinearita pro strmost blížící se nekonečnu: pak a pro resp. pro dostaneme resp.
Volbou aktivační funkce neuronů vstupní resp. výstupní vrstvy neuronové sítě můžeme určit způsob transformace dat na síť přiváděných:
Sigmoida: – z ad 1) a ad 2) (viz níže) plyne
ad 1) z plyne
ad 2) z plyne
Gaussova křivka: – z plyne
Mexický klobouk: – uvedené transformaci resp. její nezáporné části odpovídají různá pásma citlivosti.
Parametry uvedených transformací mají následující význam:
ϑ – střední hodnota dat přiváděných na daný neuron z trénovací množiny
σ – směrodatná odchylka dat přiváděných na daný neuron z trénovací množiny
Kromě uvedených aktivačních funkcí se užívají ještě jejich různé modifikace: Identita – linearita modifikovaná posunutím středu symetrie do počátku Hyperbolická tangenta – rozšíření oboru hodnot sigmoidy na interval od -1 do +1 ReLU – složení ostré linearity (vlevo od počátku) s identitou (vpravo od počátku) Radiální báze – Gaussova křivka resp. Mexický klobouk
Reference
Kategorie:Umělé neuronové sítě