Page 19 - Learning Dosen

Gambar 6 Fungsi Aktivasi Linear
Sumber: wikipedia.org
b. Fungsi Rectified Linear Unit (ReLU)

Pada fungsi ini input dari neuron berupa bilangan negatif,

kemudian fungsi tersebut diterjemahkan ke dalam nilai 0 dan jika
input bernilai positif maka output dari neuron adalah nilai aktivasi

itu sendiri. Kelebihan dari fungsi ReLU yaitu dapat mempercepat

proses konfigurasi yang dilakukan dengan Stochastic Gradient

Descent (SGD). Namun fungsi ini juga memiliki kelemahan yaitu
dapat membuat unit mati apabila learning rate yang diinisialisasi

terlalu tinggi, jika learning rate yang diinisialisasi secara tepat

maka hal tersebut tidak menjadi masalah. fungsi aktivasi ReLU

ditunjukkan pada Gambar 7.

Gambar 7 Fungsi Aktivasi ReLU

Sumber: wikipedia.org

12