它主要用於模擬神經網絡的傳遞操作。 由於在激活層中使用的激活函數通常是非線性的，因此也稱為非線性傳遞函數。 將激活函數添加到神經網絡可以解決更複雜的非線性問題。 Tanh函數和線性整流器函數（ReLU）。 通常用作激勵函數，如圖6所示。ReLU的定義如下：
