激活函数

主要有sigmoid函数、tanh函数、relu函数和leaky relu函数

tanh函数相比sigmoid函数是具有优势的，因为tanh函数使得输出值的平均值为0，而sigmoid函数使得输出值的平均值为1/2，对下一层来说tanh输出的0更好进行处理。

激活函数tanh和sigmoid函数的不同和缺点

两者在趋近正负无穷时，函数值的变化量基本忽略不计。

relu函数

relu函数的缺点是，当x小于0时，函数值为一个常数，对应地，其导数为0。